ViT、DETR 和 Swin Transformer ：基于 Transformer 的计算机视觉（CV）模型
1️⃣ Vision Transformer（ViT）
📌 主要特点：
- 直接将图像切成固定大小的 Patch（如 16×16），然后展平并当作 Transformer 的输入（类似 NLP 处理 Token）。
- 全局注意力（Self-Attention），可以看到整个图像，但计算复杂度高。
- 用于图像分类任务（如 ImageNet 分类）。
📌 主要缺点：
- 计算复杂度高，尤其是大图像时，O(N²) 复杂度。
- 不能自适应感受野（固定 Patch 大小）。
📌 适用场景：
- 图像分类（如 ImageNet）
- Fine-tuning 适用于医疗影像、卫星图像分析等
图像（224x224）
↓ 切成 16×16 小块
↓ 线性投影为 Patch Embedding
↓ 位置编码 + Transformer 层
↓ MLP 进行分类
2️⃣ DEtection TRansformer（DETR）
📌 主要特点：
- 基于 Transformer 的目标检测模型，将检测问题转换为**集合匹配（Set Prediction）**问题。
- 直接用 Transformer 替代了 CNN 目标检测中的 RPN（Region Proposal Network）。
- 使用二分匹配（Hungarian Matching） 来优化目标检测框的位置和类别。
📌 主要优点：
- End-to-End 训练，不需要额外的后处理（如 NMS）。
- 检测多个目标，不需要手工设计 Anchor Boxes（对小目标、遮挡目标更友好）。
📌 主要缺点：
- 计算复杂度较高，尤其是在高分辨率图像上。
- 收敛速度较慢，相比于传统的 Faster R-CNN 需要更长时间训练。
📌 适用场景：
- 目标检测（Object Detection）
- 实例分割（Instance Segmentation）
- 行人检测、自动驾驶等
图像输入 → CNN Backbone（提取特征） → Transformer（全局注意力） → 输出目标检测框和类别
3️⃣ Swin Transformer
📌 主要特点：
- 采用滑动窗口（Shifted Window）自注意力机制，减少计算量，适应大分辨率图像。
- 层次化设计（Hierarchical Feature Representation），更接近 CNN 方式，适用于下游任务（目标检测、分割等）。
- 可以在不同分辨率下提取特征，适合密集预测任务（如目标检测、分割）。
📌 主要优点：
- 计算量更小，相比 ViT 适用于更大图像。
- 支持多尺度特征提取（类似 CNN 的 FPN 结构），适用于目标检测、语义分割。
- 能够在 ImageNet 训练后迁移到其他任务，通用性更强。
📌 主要缺点：
- 相比 ViT 复杂度更高（但比标准 Transformer 低）。
- 由于窗口大小固定，可能在处理超大物体或小目标时不如 CNN+Transformer 组合方法。
📌 适用场景：
- 图像分类
- 目标检测（比 ViT 更适合 YOLO/Faster R-CNN 任务）
- 语义分割（适用于城市、医学影像等）
- 多任务 CV 任务（如 Action Recognition、Pose Estimation）
图像输入 → 线性 Patch Embedding → Swin Transformer Block（窗口注意力） → 多尺度特征提取 → 适用于分类、检测、分割
📊 总结对比
| 模型 | 主要任务 | 注意力机制 | 计算复杂度 | 适用场景 |
|---|---|---|---|---|
| ViT | 图像分类 | 全局注意力（O(N²)） | 高（需要大数据） | 分类 |
| DETR | 目标检测 | Transformer 全局注意力 | 高（慢收敛） | 目标检测 |
| Swin Transformer | 目标检测、分割、分类 | Shifted Window 注意力 | 低（比 ViT 好） | 分类 + 检测 + 分割 |