Tex3D：通过对抗性3D纹理将物体转化为视觉-语言-动作模型的攻击表面 Tex3D: Objects as Attack Surfaces via Adversarial 3D Textures for Vision-Language-Action Models
首个在VLA模拟环境中端到端优化3D对抗纹理的攻击框架，实现高达96.7%任务失败率
前置知识
视觉-语言-动作模型（VLA）
VLA模型是一种融合视觉感知、语言理解和动作生成的通用机器人控制系统，直接将RGB图像观测和自然语言指令映射到低级控制信号。典型代表包括OpenVLA（基于自回归token预测）和π0（基于流匹配扩散策略），它们在开放词汇的机器人操作任务中展现出强大的泛化能力，能够处理从简单空间推理到多步骤规划的复杂操作场景。
本文攻击的目标就是这类VLA模型，理解其工作原理对于理解攻击的传播路径和影响范围至关重要。
可微分渲染
可微分渲染是一种能够对3D场景到2D图像的渲染过程进行自动微分的技术，使得梯度可以从像素级的损失函数反向传播到3D几何和纹理参数。Nvdiffrast是NVIDIA开发的基于光栅化的高性能可微分渲染器，通过GPU加速的原语操作支持对3D网格属性（包括纹理）的高效梯度计算，是Tex3D实现端到端优化的核心技术基础。
这是Tex3D能够从VLA目标函数反向传播梯度到3D纹理的关键，解决了传统物理引擎（如MuJoCo）不可微分的根本障碍。
MVP变换
MVP变换是计算机图形学中从3D世界坐标到2D屏幕坐标的标准管线变换，由模型矩阵、视图矩阵和投影矩阵的乘积组成：C_t = P_t V_t M_t。模型矩阵将顶点从对象空间变换到世界空间，视图矩阵进一步投影到相机空间，投影矩阵最终映射到裁剪空间，通过这一系列线性变换确保了两个渲染器在空间放置上的精确对齐。
MVP对齐是FBD中实现跨渲染器几何一致性的核心机制，确保Nvdiffrast渲染的前景对象与MuJoCo中的对象位置完全一致。
研究动机
现有的VLA对抗性攻击主要分为两类：语言类攻击通过在文本指令中注入对抗扰动来误导动作生成，虽然有效但与特定语言接口紧密耦合；2D视觉攻击通过在输入图像上附加对抗补丁来引发任务失败，虽然更实用但存在固有缺陷。具体来说，2D补丁攻击本质上是视图依赖的，其有效性严格依赖于精确的视角和物体姿态对齐，这在物理部署中难以保证且容易被检测。此外，这些攻击表面要么不够代表真实部署场景，要么缺乏物理真实感，限制了其在实际环境中的应用价值。
本文的目标是本文的目标是开发一种更具物理落地性且不易察觉的攻击表面：对抗性3D纹理。与2D补丁不同，对抗性3D纹理直接绑定在目标物体表面，使其本质上对机器人交互过程中的视角和物体姿态变化具有鲁棒性，并更自然地融入物体外观。这种以物体为中心的攻击表面特别适合具身操作和真实世界部署，能够在不改变物体几何形状和语义身份的前提下，通过细微的外观变化破坏VLA模型的感知-语言-动作紧密耦合管道，触发潜在的不安全或错误行为。
与已有工作不同的是，本文的独特切入角度是将对抗性攻击从图像层面（2D补丁）提升到物体层面（3D纹理），这是首个能够在VLA模拟环境中直接端到端优化3D对抗纹理的框架。与以往主要针对非具身设置开发的3D纹理攻击不同，本文方法专门针对VLA系统固有的长时序特性进行了设计，同时解决了两个核心挑战：一是通过前景-背景解耦建立了从VLA目标函数到物体外观的可微分优化路径，二是通过轨迹感知对抗优化在长轨迹上保持对抗有效性。
核心方法
Tex3D的整体思路是将VLA模拟环境中的3D对抗纹理优化分解为两个子问题：如何建立可微分的渲染管道以实现梯度反向传播，以及如何在长时序操作轨迹上保持对抗有效性。直觉上，我们希望找到一个3D纹理图T_adv，当应用到目标物体表面时，能够持续地在整个操作轨迹T和多个采样视图m上最大化VLA模型的动作偏差，从而破坏任务执行。技术路线上，首先通过前景-背景解耦（FBD）构建可微分渲染管道，使用MuJoCo渲染背景环境，使用可微分渲染器Nvdiffrast渲染目标物体，通过跨渲染器参数对齐确保空间和光照一致性；然后在此基础上，通过轨迹感知对抗优化（TAAO）识别行为关键帧并基于顶点的纹理参数化进行优化，最后引入期望变换（EoT）策略来桥接数字域优化和物理部署之间的差距。
Tex3D的核心创新点在于双渲染器解耦设计和轨迹感知权重分配的有机结合。与直接在MuJoCo中优化不同，FBD通过将目标对象解耦到可微分渲染器中，在不重建完整模拟栈的情况下建立了从VLA损失函数到纹理图的可微分路径，同时保留了原始模拟环境的完整控制。与平均分配优化权重不同，TAAO通过观测序列的潜在动力学（速度和加速度）自动识别行为转折时刻（如抓取开始或提起），并通过温度缩放的softmax函数动态分配优化权重，使得对抗优化集中在对任务成功最具决定性的关键时刻。这种设计使得Tex3D生成的对抗纹理不仅能够在整个长时序轨迹上保持有效性，还具有更强的跨模型迁移能力和物理鲁棒性。
方法步骤详情
Tex3D的方法步骤包含五个主要阶段。第一阶段是环境背景渲染：在每一步t，MuJoCo在物理精确模拟下渲染完整场景，捕获机器人、桌面和周围物体作为忠实背景参考x_bg_t。第二阶段是前景对象渲染：使用可微分渲染器Nvdiffrast渲染带有对抗纹理的目标物体网格M_adv=(V,F,T_adv)，通过MVP变换矩阵C_t=P_tV_tM_t将顶点v_clip,i,t=C_t v~_i映射到裁剪空间，并从MuJoCo读取环境光强度I_a、漫反射光强度I_d和材质反射率rho进行光照对齐，生成带有梯度可访问的前景图像x_fg_t(T_adv)和轮廓掩码m_t。第三阶段是场景合成：通过O_t(M_adv)=m_t ⊙ x_fg_t(T_adv) + (1-m_t) ⊙ x_bg_t将带有对抗纹理的对象无缝替换回场景，完成梯度链T_adv → x_fg_t → O_t → π → L_π。第四阶段是轨迹感知权重计算：使用预训练视觉编码器E提取紧凑潜在表示f_t=E(O_t)，通过中心差分估计潜在速度v_t=||f_{t+1}-f_{t-1}||_2/2和加速度α_t=|v_t-v_{t-1}|，联合归一化后定义关键性分数s_t=max(𝑣̂_t,𝛼̂_t)，并通过温度缩放的softmax导出每帧优化权重w_t=exp(s_t/τ)/∑_{t'=1}^T exp(s_{t'}/τ)。第五阶段是基于顶点的纹理参数化优化：将纹理图T_adv重新参数化为N_v个顶点颜色属性c∈R^{N_v×3}，通过重心插值在固定网格几何上恢复纹理图T_adv=φ(c)，使用无目标攻击c*=argmax_c 1/MT∑_{t=1}^T w_t ∑_{m=1}^M ||π(O_{t,m}(M_adv),l)-a*_{t,m}||_2或目标攻击c*=argmin_c 1/MT∑_{t=1}^T w_t ∑_{m=1}^M ||π(O_{t,m}(M_adv),l)-a^tgt_t||_2进行优化。
技术新颖性
Tex3D的技术新颖性体现在三个方面：首次在VLA模拟环境中建立了从高层目标函数到底层纹理参数的端到端可微分优化路径，通过双渲染器解耦设计在不牺牲模拟环境保真度的前提下实现了梯度反向传播；提出了基于潜在动力学的轨迹感知权重分配机制，通过分析视觉编码器输出序列的速度和加速度自动识别行为关键帧，这是首个专门针对长时序VLA推理设计的对抗优化策略；将基于顶点的纹理参数化与动态权重优化相结合，在减少搜索空间的同时提升了对抗纹理的跨模型迁移能力和物理鲁棒性。这些技术的有机整合使得Tex3D能够在不改变物体几何形状和语义身份的前提下，生成视觉上自然但在行为上具有破坏性的对抗纹理，为物理世界中的VLA系统安全性研究提供了新的攻击范式。
实验结果
Tex3D在LIBERO基准测试的四个任务变体（空间推理、对象操作、目标导向、长时序规划）上进行了广泛评估，在所有四个受害模型（OpenVLA、OpenVLA-OFT、π0、π0.5）上都取得了最高的任务失败率。在OpenVLA上，平均失败率从24.1%急剧上升到88.1%（无目标攻击）和90.5%（目标攻击），其中空间推理任务表现最显著，失败率从15.6%提升到95.8%/96.7%。在OpenVLA-OFT上，平均失败率从4.7%上升到76.0%/79.3%；在π0上，从4.6%上升到71.8%/73.3%；在π0.5上，从2.8%上升到69.3%/71.2%。跨模型迁移实验显示，同家族模型间迁移率很高（OpenVLA→OpenVLA-OFT为61.5%-70.6%，π0→π0.5为49.2%-58.4%），跨家族迁移也有效（OpenVLA→π0为34.5%-44.1%），证明Tex3D学习的是鲁棒的物体级对抗模式而非对特定源模型的过拟合。物理世界实验使用Franka Emika Panda机器人平台，通过3D打印制作物体和对抗变体进行100次独立试验，Tex3D保持66.8%-67.6%的失败率，远高于2D补丁攻击的40.8%-50.8%。对常见输入空间防御（JPEG压缩、加性噪声、中值模糊、位深度降低）的鲁棒性测试显示，所有防御设置下Tex3D的对抗任务失败率基本保持在86.6%-87.3%，表明这些防御方法几乎无法缓解攻击效果。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| OpenVLA空间推理 | 任务失败率 | 95.8%/96.7% | 15.6% | 80.2%/81.1% |
| OpenVLA平均（四任务） | 任务失败率 | 88.1%/90.5% | 24.1% | 64.0%/66.4% |
| π0平均（四任务） | 任务失败率 | 71.8%/73.3% | 4.6% | 67.2%/68.7% |
| π0.5平均（四任务） | 任务失败率 | 69.3%/71.2% | 2.8% | 66.5%/68.4% |
| 物理世界部署 | 任务失败率 | 66.8%-67.6% | 40.8%-50.8%（2D补丁） | 约17-26个百分点 |
局限与改进
作者承认的局限性包括：攻击需要能够编辑目标物体的纹理，这在某些实际场景中可能不可行；优化过程需要已知受害VLA模型，白盒设置下的迁移性能仍有提升空间；跨模型迁移虽然在同家族模型间表现良好，但跨架构迁移仍有一定性能衰减。我们的观察发现：基于潜在动力学的关键帧识别依赖于预训练视觉编码器的特征表示，如果编码器本身对某些行为状态不敏感，可能导致权重分配不准确；基于顶点的纹理参数化虽然减少了搜索空间，但对于纹理细节丰富的物体可能限制了攻击的表达能力；EoT策略主要覆盖了几何变化和图像级增强，但可能无法完全模拟真实世界中的复杂光照条件和传感器噪声；攻击的成功率在一定程度上依赖于任务的失败传播机制，对于某些容错性更强的任务（如多步规划中有重试机会），攻击效果可能不如单次关键操作任务明显。此外，当前的评估主要集中在LIBERO基准测试的桌面操作任务，对于更复杂的动态场景（如移动机器人导航、人机协作）的有效性仍有待验证。
独立分析的弱点
Tex3D的第一个弱点是攻击的隐蔽性与有效性之间存在权衡。虽然L0和L1设置的近不可感知扰动已经能够导致VLA失败率大幅上升，但更强的攻击（L2-L3）在视觉上更加明显，容易被人类观察者或自动检测系统识别。改进方向可以是引入基于人类视觉感知模型的隐蔽性约束，或者开发语义级的纹理编辑方法，使对抗纹理在保持破坏性的同时更自然地融入物体外观。第二个弱点是跨架构迁移性能的局限。虽然同家族模型间的迁移率很高，但OpenVLA到π0的迁移率仅为34.5%-44.1%，这表明攻击模式与模型架构的内在结构相关。改进方向可以是在优化过程中引入多模型联合目标，或者设计更底层的、与具体架构无关的对抗特征表示。第三个弱点是对预训练视觉编码器的依赖。如果VLA模型更换了视觉编码器，基于潜在动力学的权重分配可能需要重新调整。改进方向可以是使用编码器无关的运动特征（如光流）来替代或补充潜在动力学分析。
未来方向
作者提出的未来研究方向包括：在VLA训练中融入更多样化和真实的机器人场景，特别是在视觉层面覆盖微妙的外观变化和对抗性视觉扰动；在动作级别加强对联合依赖关系的结构约束，以过滤不合理或有害的动作。基于本文成果可延伸的研究方向包括：探索动态物体（如可变形物体、液体）的对抗纹理攻击，这将需要更复杂的纹理表示和物理建模；研究多物体的协同攻击策略，通过同时对多个物体施加纹理来最大化破坏效果；开发对抗纹理的防御方法，如对抗训练、纹理净化或语义一致性检查；将攻击扩展到更丰富的模态，如深度图像、触觉反馈等多模态输入；在更复杂的真实世界环境中评估攻击效果，如动态光照变化、传感器噪声、部分遮挡等情况。此外，还可以研究Tex3D在其他具身智能系统上的应用，如自动驾驶车辆、无人机导航等，评估其在不同领域的迁移潜力。
复现评估
Tex3D的复现难度中等偏下。项目页面https://vla-attack.github.io/tex3d提供了开源代码和实现细节，包括双渲染器设置、TAAO权重计算和EoT增强策略。实验使用LIBERO基准测试进行评估，这是一个标准化的机器人学习测试平台，提供了四个任务类别的标准化测试环境。算力需求方面，所有实验在单个NVIDIA A100 GPU（80GB内存）上进行，每次梯度优化步骤耗时约7.2秒，完整的纹理优化通常需要数百到数千次迭代，整体计算成本可控。物理实验使用Franka Emika Panda机器人平台，通过3D打印制作物体和对抗变体，实验设置相对标准化。主要挑战可能在于Nvdiffrast和MuJoCo的安装配置，以及确保两个渲染器之间的参数对齐正确。此外，VLA模型（OpenVLA、OpenVLA-OFT、π0、π0.5）都是开源可用的，便于研究人员复现和扩展实验。总体而言，对于具有机器人学习和计算机图形学背景的研究人员，Tex3D是可以重现的结果。
论文图表
该图对比了Tex3D与两种现有攻击范式：语言类攻击（通过在指令后添加对抗后缀来诱导错误动作）和补丁类攻击（在图像上附加对抗补丁）。底部右侧的子图展示了VLA模型在颜色变化和高斯噪声扰动下具有一定程度的泛化能力，但在Tex3D攻击下任务失败率急剧上升，直观地证明了3D纹理攻击的有效性和物理可实现性优势。
这张图对理解论文的重要性在于它清晰地定位了Tex3D在现有攻击谱系中的位置，突显了相比于语言攻击（依赖特定接口）和2D补丁攻击（视图受限）的优势，同时通过具体的失败率对比直观地展示了攻击效果的显著提升，为后续的技术方法奠定了动机基础。