论文阅读--Orient Anything

通过渲染3D模型来学习不同方向下物体的外观，并从单张和自由视角的图像中估计物体方向

1. 数据生成：基于 3D 渲染构建大规模方向标注数据集

- 数据来源：

使用 Objaverse 数据库中的高质量 3D 模型，进行筛选和预处理。

- 筛选规范：

仅保留处于规范姿态的模型，过滤掉倾斜模型（通过 PCA 判断）。

- 方向标注流程：

• 渲染模型在 x/-x/y/-y 四个方向和俯视角；

• 利用先进视觉语言模型（如 Gemini-1.5-pro）判断哪个角度是“正面”；

• 结合对称性分析避免错误（通过图像结构相似性计算）；

• 对于对称物体，标记为“无方向”。

- 渲染过程：

• 使用球坐标（θ 极角，φ 方位角，δ 相机旋转角）定义方向；

• 每个模型从随机角度渲染 40 张图像，图像大小 512x512；

• 共构建包含200万张带方向注释图像的数据集。

---

2. 学习目标：方向概率分布拟合（核心创新）

背景问题：

直接使用 L2 回归预测角度难以收敛，且分类忽略了相邻角度间的关系。

核心方法：

将角度预测转化为概率分布拟合问题，分别建模三种角度（极角θ、方位角φ、旋转角δ）：

• 将 360° 或 180° 区间离散为每度一类；

• 构建高斯分布（极角）或环形高斯分布（方位角、旋转角）作为目标；

• 使用交叉熵损失函数对分布进行拟合训练。

推理策略：

• 输出三个分布；

• 使用最大概率对应角度作为预测值；

• 若模型判断该物体为“无方向”，则不输出具体角度。

---

3. 合成到真实迁移策略（Synthetic-to-Real Transfer）

为解决模型从渲染图像迁移到真实图像的困难，作者引入两种策略：

（1）模型初始化：

• 采用 DINOv2（在真实图像上预训练，感知精细）作为视觉编码器初始化；

• 明显优于 MAE、CLIP 等方案。

（2）数据增强：

• 使用随机裁剪模拟物体遮挡；

• 在推理时，使用分割掩码裁剪目标，减少干扰；

• 增强合成图像与真实图像之间的风格一致性。