论文阅读笔记——ZeroGrasp: Zero-Shot Shape Reconstruction Enabled Robotic Grasping

ZeroGrasp 论文
多视角重建计算大、配置复杂，本文将稀疏体素重建（快且效果好）引入机器人抓取且只考虑单目重建，通过利用基于物理的接触约束与碰撞检测（这对精确抓取至关重要），提升三维重建质量将直接改善抓取位姿预测。

表征

• 三维表征：
  采用八叉树作为基础表征形式，在最深层级存储SDF、法向量、图像特征和抓取位姿，可表示为最深层体素中心点 p 与对应图像特征 f 构成的元组：$x=(p,f),p\in R^{(N\times 3)},f\in R^{(N\times D)}$ 其中 N 为体素数量。（相较于点云，八叉树结构支持高效的深度优先搜索与递归八分空间划分，较低内存与计算成本）。
• 抓取位姿表征：
  与 GraspNet 一致的平行二指夹爪模型（6D 位姿参数）：表征抓取位置鲁棒性的视角抓取度评分 $s\in R^M$；基于力闭合算法计算的抓取质量 $q\in R^M$；视角方向 $v\in R^{3M}$ ；夹爪角度 $a\in R^M$；开合宽度 $w\in R^M$；进深 $d\in R^M$。$g=\left(\begin{array}{cccccc}s& q& v& a& w& d\end{array}\right)$ 其中 M 表示目标八叉树中抓取位姿总数，为每个点分配 5mm 半径内最近邻抓取位姿（若无则设抓取度为0）。由此得到八叉树的最终定义：$y=(p^{gt},f^{gt})=(p^{gt},[\varphi ,n,g])$ 其中 $\varphi \in R^M$ 是 SDF（有向距离场），$n\in R^M$ 是法向量场。
  特征提取：对于 RGB 图像 $I\in R^{H\times W\times 3}$ 进行编码得到图像特征 W，微调 SAM-2 生成 2D Mask $\in R^{H\times W}$ ，利用反投影函数 ${\pi }^{-1}$ 将图像特征转换为 3D 点云空间：$(q_i,w_i)={\pi }^{-1}(\mathbf{W},\mathbf{D},\mathbf{K},{\mathbf{M}}_{\mathbf{i}})$ 其中 D 为深度图，K 为相机内参，得到 $x_i=(p_i,f_i)=G(q_i,w_I)$。

CVAE

单视角观测（如一张RGB-D图像）无法确定物体被遮挡部分的形状，传统方法输出单一结果可能不准确。CVAE通过潜在变量（latent code）建模形状的多种可能性。
3D形状和抓取姿态的潜在表示建模为对角高斯分布。编码器 $ϵ(z_i|x_i,y_i)$ 基于输入八叉树 ${\mathbf{x}}_i$ 和真实标签 ${\mathbf{y}}_i$ 预测潜在编码 $z_i$ ；先验分布 $\mathcal{P}({\ell }_i,z_i|x_i)$ 生成潜在特征 ${\ell }_i\in {\mathbb{R}}^{N_i^{{}^{\prime }}\times D^{{}^{\prime }}}$ ，其中潜在编码通过重参数化从预测的均值和方差中采样；解码器 $\mathcal{D}({\mathbf{y}}_i|{\ell }_i,z_i,{\mathbf{x}}_i)$ 预测 3D 重建结果及抓取姿态。

• 多目标编码器：由于传统先验模型 P 只能为每个目标单独计算特征，无法考虑空间布局。引入 K 个 RoPE 编码的 Transformer
• 3D occlusion fields：通过细分体素和设置遮挡标志，将复杂的全局遮挡问题分解为局部问题，并通过 3D CNN 编码遮挡信息，最终整合到目标特征中。
• 损失函数：$$\begin{array}{c}{\mathcal{L}}_{\mathrm{rec}}={\omega }_{\mathrm{occ}}\sum _h^H{\mathcal{L}}_{\mathrm{occ}}^h+{\omega }_{\mathrm{nrm}}{\mathcal{L}}_{\mathrm{nrm}}+{\omega }_{\mathrm{SDF}}{\mathcal{L}}_{\mathrm{SDF}}\\ {\mathcal{L}}_{\mathrm{grasp}}={\omega }_{\mathrm{s}}{\mathcal{L}}_{\mathrm{s}}+{\omega }_{\mathrm{q}}{\mathcal{L}}_{\mathrm{q}}+{\omega }_a{\mathcal{L}}_{\mathrm{a}}+{\omega }_{\mathrm{w}}{\mathcal{L}}_{\mathrm{w}}+{\omega }_{\mathrm{d}}{\mathcal{L}}_{\mathrm{d}}\\ {\mathcal{L}}_{\mathrm{KL}}={\omega }_{\mathrm{KL}}{D}_{\mathrm{KL}}\left(\mathcal{E}\left({\mathbf{z}}_i\mid {\mathbf{x}}_i,{\mathbf{y}}_i\right)\Vert \mathcal{P}\left({\ell }_i,{\mathbf{z}}_i\mid {\mathbf{x}}_i\right)\right)\\ \mathcal{L}={\mathcal{L}}_{\mathrm{rec}}+{\mathcal{L}}_{\mathrm{grasp}}+{\mathcal{L}}_{\mathrm{KL}}\end{array}$$

抓取姿态优化

利用重建结果来优化预测的抓取姿态。首先检测抓取器左右指端在重建模型上的最近接触点 $c_L$ 和 $c_R$，通过调整抓取宽度 w 和深度 d 确保指端与物体接触：$$\begin{array}{rl}& \Delta w=\min (D(c_L),D(c_R)),\\ & w\leftarrow w+2\left(\max ({\gamma }_{\min },\min (\Delta w,{\gamma }_{\max }))-\Delta w\right)\\ & d\leftarrow \max (Z(c_L),Z(c_R)),\end{array}$$
其中，D© 表示接触点 c 的距离，Δw 表示接触距离，${\gamma }_{min}$ 和 ${\gamma }_{max}$​ 是预设的最小和最大接触距离，这确保了接触距离 Δw 保持在 ${\gamma }_{min}$ 到 ${\gamma }_{max}$ 的范围内。

• 碰撞检测：基于重建模型实现无模型碰撞检测，替代传统基于局部点云的方法（无法处理遮挡区域碰撞）。通过检测抓取器与重建模型的相交情况，剔除存在碰撞的抓取姿态

实验结果