Towards Transferable Targeted 3D Adversarial Attack in the Physical World--阅读笔记

目录

简介：

背景：

挑战：

目的： 

技术细节：

贡献：

​​1. NeRF的核心作用：3D重建与参数化表示​​

​​2. 对抗优化的创新：NeRF参数空间的双优化​​

​​2.1 传统方法的局限性​​

​​2.2 NeRF参数空间的对抗优化​​

​​3. 自然性约束：NeRF的多视角一致性​​

​​4. 几何优化的辅助作用​​

​​5. 实验结果中的NeRF优势​​

​​6. 总结：NeRF在本文中的技术价值​​

在论文《TT3D》中的应用​​

示例：EOT如何提升攻击成功率​​

论文框架解读

​​1. 研究背景与动机​​

​​2. 主要贡献​​

​​3. 方法框架：TT3D​​

​​3.1 核心思想​​

​​3.2 优化目标​​

​​3.3 物理攻击增强（EOT）​​

​​4. 实验结果​​

​​4.1 数字世界评估​​

​​4.2 物理世界验证​​

​​4.3 消融实验​​

​​5. 创新点与意义​​

​​6. 总结​​

---

简介：

虽然二维领域的可转移目标对抗性攻击已经得到了广泛的研究3D do-main中可转移目标攻击的探索仍然是空白。与2D对抗性攻击相比，3D攻击在现实世界中具有更大的实用价值，因为它具有跨各种视点进行一致攻击的潜力。

背景：

如表1所示，由于网格的3D一致性，现有的3D攻击方法[1,6,33,34,40,49,52]可以通过修改预先存在的网格的纹理或几何形状来确保多视图有效性。但是，它们很难同时确保可转移性和针对性攻击，特别是对于物理攻击。此外，也很难保持这些对抗性例子的自然性。

基于以上讨论，本文旨在为物理目标攻击生成可转移的、自然的3D对抗示例

挑战：

然而，要实现我们的目标，存在两个挑战:

(1)先前基于网格的优化方法涉及直接改变高维网格空间中的顶点颜色，容易陷入过拟合，从而导致不令人满意的可转移性。因此，第一个挑战是如何设计一种偏离网格空间的优化方法，避免过度拟合以获得更好的可转移性。

(2)现有的方法很难同时保证攻击性能和自然性，其攻击过程很容易伴随着极其不自然的现象，如外观的视觉异常或3D网格的变形或碎片化等。因此，如何平衡攻击性能和视觉自然性是另一个挑战

目的： 

为了应对上述挑战，我们设计了一种称为TT3D的新型框架，可以快速重建具有保证自然性的可转移目标3D对抗纹理网格。具体来说，在多视图重建技术(即基于网格的NeRF[23])的最新进展的推动下，我们首先从其多视图图像中重建初始3D网格，但不是直接在网格空间中进行操作，我们创新地在基于网格的NeRF空间中对外观渲染参数进行对抗性微调。这种方法不仅成功地避免了过拟合，而且消除了以前的方法对预先存在的3D网格的依赖，大大降低了成本。

技术细节：

对于3D对抗对象在现实世界中的鲁棒性，我们还引入了一个EOT（什么是EOT？），该EOT可以有效地集成3D和2D空间中的各种变换，以更逼真地模拟现实世界的条件。

贡献：

本文的贡献如下:
•我们提出了一个名为TT3D的新框架，用于生成可转移的目标3D对抗示例，这是填补该领域关键空白的第一个工作，消除了以前对预先存在的3D网格的依赖，扩大了3D攻击的可行区域。
•我们在基于网格的NeRF空间（？）内设计了双重优化策略，有效地扰动了神经网络的基本特征层和更复杂的决策梯级，同时保证了自然度。
•实验结果表明，我们的3D对抗对象很容易被错误分类为各种受害者模型、渲染和任务中的给定标签。此外，我们利用3D打印技术在现实世界中生成3D对抗对象，并在不同的设置(如不同的视角和背景)下验证其鲁棒性。 

NeRF（Neural Radiance Fields，神经辐射场）是一种基于神经网络的3D场景表示方法，能够从多视角的2D图像中重建出高质量的3D场景，并生成新视角下的逼真图像。它在计算机视觉和图形学领域引起了广泛关注，并被应用于3D重建、虚拟现实等领域。 （

在论文《Towards Transferable Targeted 3D Adversarial Attack in the Physical World》中，​​NeRF（Neural Radiance Fields）​​ 被创新性地应用于生成可转移的定向3D对抗样本。以下是NeRF在文章中的具体应用及其技术细节：

---

​​1. NeRF的核心作用：3D重建与参数化表示​​

• ​​背景​​：
  传统3D对抗攻击依赖预定义的3D网格（Mesh），直接修改顶点颜色或几何，导致高维优化困难、易过拟合且缺乏自然性。NeRF通过隐式神经场表示物体，提供了一种更高效的参数化方法。
• ​​基于网格的NeRF（Grid-based NeRF）​​：
  作者采用​​Instant-NGP​​（Instant Neural Graphics Primitives）技术，利用​​多分辨率哈希编码​​的特征网格（Feature Grid）和浅层MLP快速重建3D模型：
  • ​​特征网格​​：显式存储几何（Ggeo​）和纹理（Gtex​）特征。
  • ​​MLP解码​​：将特征映射为体积密度（σ）和颜色（c），公式为：σ=Mgeo​(Ggeo​(x)),c=Mtex​(Gtex​(x))
  • ​​优势​​：相比传统NeRF，计算效率更高，支持实时优化。

---

​​2. 对抗优化的创新：NeRF参数空间的双优化​​

​​2.1 传统方法的局限性​​

• ​​网格空间优化​​：直接修改顶点颜色（T）或坐标（V）易陷入局部最优，导致过拟合和低可转移性。
• ​​高维问题​​：网格顶点数量庞大（如数万顶点），优化复杂度高。

​​2.2 NeRF参数空间的对抗优化​​

• ​​优化目标​​：
  避开直接操作网格，转而优化NeRF的​​特征网格参数（ΘGtex​​）​​和​​MLP参数（ΘMtex​​）​​，公式为：

  ΘGtex​∗​,ΘMtex​∗​min​Ev∈V​Lf​(I^v​(Madv​),y∗)+β⋅R(Madv​,M)
  • ​​攻击损失（Lf​）​​：迫使渲染图像被分类为目标类别。
  • ​​正则化（R）​​：约束自然性（见下文）。

• ​​双优化策略​​：

  1. ​​特征网格优化（ΘGtex​​）​​：
     在底层特征空间注入扰动，影响全局纹理分布。
  2. ​​MLP优化（ΘMtex​​）​​：
     调整颜色解码过程，增强对抗扰动的语义一致性。
  • ​​优势​​：
    同时扰动底层特征和高层语义，提升跨模型可转移性。

---

​​3. 自然性约束：NeRF的多视角一致性​​

• ​​视觉自然性​​：

• • ​​RGB一致性损失（Rrgb​）​​：
    约束对抗样本与原始物体在不同视角下的渲染差异：Rrgb​=N1​v∑​∥I^v​(Madv​)−I^v​(M)∥2
  • ​​几何平滑性约束​​：
    通过Laplacian平滑损失（Rlap​）和边长度损失（Redge​）防止网格畸变。

• ​​物理可行性​​：
  结合​​EOT（Expectation Over Transformation）​​模拟真实世界的变换（如光照、视角变化），确保对抗样本在物理环境中的鲁棒性。

---

​​4. 几何优化的辅助作用​​

• ​​顶点坐标微调​​：
  在优化纹理的同时，轻微调整网格顶点坐标（V），公式为：V∗min​Ev​Lf​(I^v​(Madv​),y∗)+λcd​Rcd​(V∗,V)
  • ​​Chamfer距离（Rcd​）​​：约束顶点与原始位置的偏离。
  • ​​作用​​：几何调整辅助纹理优化，进一步提升攻击成功率（ASR提升约5%）。

---

​​5. 实验结果中的NeRF优势​​

1. ​​跨模型可转移性​​：
   在ResNet、VGG、Transformer等模型上，TT3D的ASR显著高于传统网格优化方法（如表2）。
2. ​​跨渲染器鲁棒性​​：
   在MeshLab和Blender中，对抗样本的ASR保持较高水平（如表3），得益于NeRF的多视角一致性。
3. ​​物理世界验证​​：
   通过3D打印的对抗样本在不同背景和视角下保持高攻击成功率（表5），证明NeRF生成的扰动具有物理鲁棒性。

---

​​6. 总结：NeRF在本文中的技术价值​​

• ​​高效重建​​：从多视角图像快速生成初始3D网格，降低对预定义模型的依赖。
• ​​参数化攻击​​：通过优化NeRF特征和MLP参数，避免高维网格空间的局部最优问题。
• ​​自然性保障​​：结合多视角渲染和正则化约束，平衡攻击强度与视觉自然性。
• ​​物理适配​​：EOT与NeRF的结合，模拟真实世界变换，增强对抗样本的实用性。

NeRF在此文中不仅是3D重建工具，更是实现可转移、定向对抗攻击的核心框架，为3D对抗攻击领域提供了新的方法论。

）

EOT（Expectation Over Transformation，变换期望法）​​是一种用于增强对抗样本在物理世界中鲁棒性的技术，通过在生成对抗样本时模拟真实世界可能遇到的各种变换（如视角变化、光照干扰、噪声等），使得对抗样本在这些变换下仍能保持攻击效果（

在论文《TT3D》中的应用​​

在该论文中，EOT被用于增强3D对抗样本的物理鲁棒性：

• ​​3D变换​​：
  • 随机旋转（绕不同轴旋转±30°）和平移（在3D空间内小幅位移），模拟物体在物理世界中的位姿变化。
• ​​2D变换​​：
  • 图像模糊（高斯模糊核大小随机）、对比度调整（随机比例）、颜色抖动（RGB通道随机扰动），模拟摄像头成像时的噪声。
• ​​优化过程​​：
  在生成对抗样本时，每次迭代随机采样一组3D和2D变换，计算变换后的多视角渲染图像的攻击损失，最终优化出对这些干扰鲁棒的扰动。

示例：EOT如何提升攻击成功率​​

假设生成一个对抗3D兔子模型，目标是让分类器将其识别为“猫”：

• ​​无EOT​​：
  仅在固定视角和光照下优化扰动，3D打印后若视角偏移，攻击可能失效。
• ​​有EOT​​：
  优化时模拟随机视角和光照变化，打印后的兔子无论从哪个角度拍摄，分类器均将其识别为“猫”。

）

论文框架解读

这篇论文《Towards Transferable Targeted 3D Adversarial Attack in the Physical World》提出了一种名为TT3D的新型框架，旨在生成具有可转移性和自然性的定向3D对抗样本。以下是对全文的详细讲解：

---

​​1. 研究背景与动机​​

• ​​问题定义​​：
  现有的3D对抗攻击方法主要集中在非定向攻击（untargeted attack）上，且依赖预定义的3D网格（mesh），导致可转移性差、容易过拟合，并缺乏自然性。同时，物理世界中多视角一致性和跨模型泛化能力尚未得到充分解决。
• ​​研究意义​​：
  定向对抗攻击（指定模型误分类为特定类别）在安全关键任务中威胁更大，而3D对抗样本因其多视角鲁棒性更具实际应用价值。然而，可转移的定向3D攻击领域仍为空白。

---

​​2. 主要贡献​​

1. ​​填补空白​​：
   首次提出可转移的定向3D对抗攻击方法，无需依赖预定义的3D网格，仅需少量多视角图像即可生成对抗样本。
2. ​​双优化策略​​：
   在基于网格的NeRF（Neural Radiance Fields）空间中，同时优化特征网格（feature grid）和MLP参数，提升对抗样本的可转移性。
3. ​​自然性约束​​：
   通过几何（顶点距离、平滑性）和外观（图像一致性）约束，确保生成的对抗样本在视觉上自然。
4. ​​物理验证​​：
   通过3D打印技术验证了对抗样本在真实世界中的鲁棒性，包括不同视角、背景和任务（分类、检测、图像描述）。

---

​​3. 方法框架：TT3D​​

​​3.1 核心思想​​

• ​​基于NeRF的3D重建​​：
  利用多视角图像通过网格NeRF重建初始3D网格，避免直接操作高维网格空间。
• ​​双优化策略​​：
  同时优化NeRF的特征网格参数（Θ_G_tex）和MLP参数（Θ_M_tex），从底层特征和高级决策层注入对抗扰动。
• ​​几何辅助优化​​：
  在纹理优化的基础上，轻微调整网格顶点坐标（几何优化），进一步提升可转移性。

​​3.2 优化目标​​

• ​​损失函数​​：
  • ​​攻击损失​​（Lf​）：交叉熵损失，迫使渲染图像被分类为目标类别。
  • ​​自然性约束​​（R）：包括外观一致性（Rrgb​）、几何平滑性（Rlap​、Redge​）和顶点距离（Rcd​）。

​​3.3 物理攻击增强（EOT）​​

• ​​Expectation Over Transformation (EOT)​​：
  在优化过程中引入随机3D变换（旋转、平移）和2D变换（模糊、对比度调整），模拟真实世界的不确定性，增强对抗样本的物理鲁棒性。

---

​​4. 实验结果​​

​​4.1 数字世界评估​​

• ​​跨模型可转移性​​：
  TT3D在ResNet-101和DenseNet-121作为代理模型时，对其他模型（如VGG、Inception、Transformer）的攻击成功率（ASR）显著高于传统网格优化方法（如表2）。
• ​​跨渲染器与任务​​：
  • 在MeshLab和Blender等不同渲染器下，ASR保持较高水平（表3）。
  • 在零样本检测（76.94%成功）和图像描述（32.33%成功）任务中验证跨任务可转移性（图5）。

​​4.2 物理世界验证​​

• ​​3D打印测试​​：
  对抗样本在不同背景（B-1/B-2/B-3）和视角下保持高ASR（表5），例如在ResNet-101代理模型下ASR达91.55%（图6）。

​​4.3 消融实验​​

• ​​双优化必要性​​：
  仅优化MLP或特征网格时性能下降，双优化组合显著提升ASR（表2）。
• ​​几何辅助优化​​：
  结合几何调整（Tex+Geo）相比仅优化纹理（Tex），ASR提升约3-5%（表4）。
• ​​超参数β的影响​​：
  β控制自然性与攻击强度的权衡，β=10³时取得最佳平衡（图7）。

---

​​5. 创新点与意义​​

• ​​技术突破​​：
  首次实现可转移的定向3D对抗攻击，解决了传统方法在可转移性和自然性上的局限性。
• ​​实际价值​​：
  生成的对抗样本可通过3D打印直接部署于物理世界，适用于安全测试、模型鲁棒性评估等场景。
• ​​启发方向​​：
  为多模态攻击（如结合红外/可见光）和防御方法设计提供了新思路。

---

​​6. 总结​​

TT3D通过结合NeRF的双优化策略和自然性约束，成功生成具有高可转移性和视觉自然性的3D对抗样本，填补了该领域空白。实验表明其在不同模型、任务和真实场景中均表现优异，为对抗攻击研究提供了重要工具