CONVOLUTION MEETS LORA(卷积遇到LORA)

CONVOLUTION MEETS LORA(卷积遇到LORA)

创新点

・我们提出了一种创新的参数高效微调（PEFT）技术 Conv-LoRA。通过引入补充的卷积操作，Conv-LoRA 从解决普通 ViT 局限性的角度出发，强化了 SAM 的局部先验。
・Conv-LoRA 利用混合专家（MoE）建模动态选择合适特征尺度的过程，以注入视觉特定的归纳偏置。
・我们的研究表明，SAM 的预训练阻碍了其 ViT 编码器学习高级图像语义信息的能力。然而，LoRA 显示出帮助 SAM 恢复这一关键能力的潜力。

内容

LoRA 与 Conv-LoRA 对比

Conv-LoRA 旨在在 LoRA 的编码器和解码器组件之间融入卷积操作（图 2（b））。一方面，卷积可注入与图像相关的局部先验，解决原始 ViT 的根本局限性；另一方面，低秩约束确保卷积层保持极轻量级，维持 Conv-LoRA 的参数高效微调（PEFT）特性