RoboStressBench：面向具身场景中物理视觉应力的视觉语言模型鲁棒性基准测试 RoboStressBench: Benchmarking VLM Robustness to Physical Visual Stress in Embodied Scenes
从图像生成的物理因素出发，评测具身场景下VLM在材质/视角/光照/几何四类视觉应力下的鲁棒性。
前置知识
视觉语言模型 (Vision-Language Models, VLMs)
把视觉编码器（如 ViT）与大语言模型（LLM）融合的多模态模型，能同时理解图像和文本，完成视觉问答、目标定位、空间推理等任务。本文评测的 16 个模型覆盖 Qwen、InternVL、Molmo、GPT、Gemini 五个家族，参数规模从 4B 到 35B-A3B。
本文的全部评测对象都是 VLM，理解它们的能力边界（尤其在视觉退化场景下）是读懂本文的前提。
具身智能 (Embodied AI) 与物理视觉应力
具身智能指机器人在真实物理环境中通过感知-决策-行动闭环完成任务。其中'物理视觉应力'是本文新定义的概念：由场景外观的物理可合理解释变化导致的视觉退化（如透明杯子、遮挡工具、低光照、镜面反射、异常视角），它使任务相关视觉证据被削弱、扭曲或遮蔽，但场景语义不变。
本文的整个动机就是现有基准没有刻画具身场景中这种'物理可合理解释'的视觉困难，这是核心区分点。
逆向图形学与渲染方程 (Inverse Graphics & Rendering Equation)
渲染方程建模表面出射辐射度，由入射光、表面反射特性（BRDF）与几何法向共同决定。逆向图形学反过来从图像推断这些物理成因，本文据此把图像生成抽象为 $I=F(M,V,L,G)$。
这是 RoboStressBench 四维应力分类（材质/视角/光照/几何）的理论根基，没有它分类就成了主观拍脑袋。
ImageNet-C 风格的腐蚀鲁棒性基准
ImageNet-C/P 把视觉压力组织成可控的数字腐蚀族（高斯噪声、脉冲噪声、散粒噪声、像素化、模糊等），用于衡量分类器的鲁棒性。这类方法是'算法级扰动'，直接在像素上加噪声，而非来自场景本身的物理变化。
本文正是要和这类数字扰动基准做对比，论证数字扰动只能部分反映具身场景的物理应力，这是定位本文贡献的关键参照系。
视觉定位 (Visual Grounding)
要求模型在图像中定位任务相关目标，分点定位（输出 $(x,y)$ 判断是否落入真值掩膜内）和框定位（输出 $(x_1,y_1,x_2,y_2)$，用 COCO 风格 IoU@0.50/0.95 评估）。本文把所有坐标归一化到 $[0,1000]$ 范围以统一不同分辨率。
定位任务是本文评测的两大任务族之一，且作者发现几何应力对定位能力破坏最严重，这是核心发现之一。
研究动机
当 VLM 被部署到真实机器人上，它必须在透明杯子、部分遮挡的工具、低照度、镜面反射、异常视角等条件下可靠感知。然而现有基准有两类缺陷。第一类是通用 VLM 基准（如 MMBench、MMMU 这类），它们主要评测广义能力，视觉困难的样例只是偶然出现，且几乎从不标注背后的物理应力因素。第二类是鲁棒性导向基准（如 ImageNet-C、VLM-RobustBench），它们依赖高斯噪声、脉冲噪声、像素化、算法模糊这类数字腐蚀——这些扰动虽然对鲁棒性测试有用，但只能部分反映具身场景遇到的物理视觉应力，有些扰动（如像素化）在真实机器人视角中几乎不会出现。Table 1 给出了直接的量化证据：在同一组场景-问题对上施加物理应力编辑后，模型准确率显著下跌——Qwen3.6 从 64.3% 跌到 40.1%（-24.1 个百分点），Qwen3.5 从 53.5% 跌到 36.8%（-16.8），Qwen3VL 从 51.0% 跌到 35.5%（-15.5）。这意味着即使最强的通用视觉理解能力，也无法转化为物理应力场景下的可靠表现。
本文的目标是本文的目标是建立一个有原则、可解释的基准 RoboStressBench，用于系统诊断 VLM 在具身场景物理视觉应力下的鲁棒性。具体可量化目标包括：（1）从图像生成的物理因素出发，给出统一的视觉应力分类体系，覆盖材质、视角、光照、几何四个维度共 16 个细粒度应力类型；（2）构建约 7.2K（实际 7183 例）规模的数据集，融合人工筛选、可控合成与真实采集三种来源，兼顾真实感、多样性与因子级可控性；（3）对 16 个 SOTA VLM（横跨五大模型家族）进行评测，揭示被聚合准确率掩盖的应力特异失效模式；（4）提供一个测试时干预方案 StressDART，在不微调模型的前提下通过'检测-矫正-推理'提升高应力场景下的鲁棒性，作为该诊断框架可用性的概念验证。
与已有工作不同的是，本文的独特切入角度是把'视觉困难'从模糊的'鲁棒性'概念，锚定到图像生成的物理成因上。它借鉴逆向图形学，把图像生成抽象为 $I = F(M,V,L,G)$，于是'为什么模型失败'就能被分解为可解释的因子——是表面材质（如透明、镜面）、相机视角（如极端俯视、目标过小）、光照（如全局过曝）、还是空间几何（如遮挡、杂乱堆叠）。这与以往工作有本质区别：数字腐蚀基准把退化当作任意的像素噪声处理，无法归因；而具身任务基准（OpenEQA、RoboSpatial 等）的任务级分数把感知错误、推理错误、规划错误混为一谈。RoboStressBench 抓住了一个被忽视的点——用物理图像生成因素来组织应力，从而既能诊断'是否失败'，也能诊断'哪个物理因子导致的失败'，并支持多标签应力标注以贴近真实场景中应力常共现的现实。
核心方法
直觉上，RoboStressBench 像是给 VLM 做一次'分科室体检'：与其笼统说'模型不行'，不如把视觉困难按物理成因分类，看它到底在哪个'科室'出问题。技术路线分三层。第一层是分类学：从物理渲染方程出发，把图像生成抽象为 $I = F(M,V,L,G)$，定义材质 (M)、视角 (V)、光照 (L)、几何 (G) 四个维度，每个维度再细分为多个细粒度应力类型，共 16 类（如透明、镜面混淆、极端视角、出框截断、小尺度、遮挡、非刚性形变、堆叠/杂乱布局、全局/局部过曝与欠曝等）。第二层是数据构建：用三种互补来源——从已有具身基准中人工筛选天然应力样例（2927 例）、从正常图像可控合成目标应力变体（2596 例）、从互联网图片和自己拍摄补充真实样例（1660 例），合计 7183 例。第三层是任务对齐评测：支持多选 VQA 和视觉定位（点+框）两类任务，覆盖放置定位、目标定位、空间推理、状态理解、规划五项具身能力。
全文最核心的创新是把视觉应力锚定到图像生成的物理成因（$I=F(M,V,L,G)$），把'鲁棒性'这个模糊问题转化为可解释的因子级诊断。这个视角带来三个本质区别：其一，与 ImageNet-C 这类数字腐蚀基准不同，本文的应力来自场景本身的物理可合理解释变化，是具身机器人真实会遇到、而非算法凭空叠加的；其二，与具身任务基准不同，本文沿物理图像生成轴分解失效，能把感知错误与推理/规划错误区分开，而不是混在一个任务分里；其三，基于这套诊断，作者提出 StressDART——一个测试时的'检测-矫正-推理'智能体求解器：先用压力检测器 $D(I,Q)$ 预测主导应力维度 $s\in\{M,V,L,G\}$ 与细粒度类别 $c$，再用应力矫正器按类别选取视觉操作 $\phi_c$ 生成矫正图 $\tilde{I}=\phi_c(I)$（如欠曝触发光照增强、过曝触发高光恢复、小目标触发裁剪放大），最后让推理器 $R$ 同时利用原图和矫正图作答 $A=R(I,\tilde{I},Q,s,c)$。这样'为什么难'就被显式条件化进了推理过程。
方法步骤详情
完整流程分五步。**步骤一·定义分类学**：依据渲染方程把 BRDF、入射辐照度、出射方向、位置与法向分别对应到材质 $M$、光照 $L$、视角 $V$、几何 $G$，确立四维 16 类应力，每样例可带多标签并记主导维度。**步骤二·三源构建**：从 EmbSpatial-Bench、RoboSpatial-Home 等 9 个公开数据集筛选天然应力样例；用 Gemini-3-Pro-Image 与 Qwen-Image-Edit 按'编辑档案'合成稀有类别；从 Pexels 与自摄补充真实样例，共 7183 例。**步骤三·标注**：6 名标注员用 GroundingDINO+SAM 生成候选并人工清洗，定位坐标归一化到 $[0,1000]$。**步骤四·评测**：多选用精确匹配，点定位判是否落入真值掩膜，框定位报 IoU@0.50/0.95，定位分取点准确率与 IoU@0.95 均值。**步骤五·StressDART 干预**：Qwen3-VL-4B 兼任检测器与推理器、Qwen-Image-Edit 矫正，执行'检测 $\to$ 矫正 $\to$ 联合推理'三阶段，不更新参数。
技术新颖性
技术新颖性体现在三处。第一，应力分类的物理根基：现有鲁棒性基准（ImageNet-C/P、ImageNet-3DCC、ImageNet-D、VLM-RobustBench、Res-Bench）多聚焦孤立的腐蚀族或单维分辨率稳健性，缺乏统一的物理诠释；RoboStressBench 用渲染方程给出可解释的 M/V/L/G 轴，使失效归因成为可能。第二，评测的任务对齐性：它不像通用 VQA 基准只评广义能力，也不像 OpenEQA/RoboSpatial 只评任务级分数，而是沿物理轴同时评识别、空间推理、规划与定位，能拆分'感知 vs 推理 vs 规划'错误。第三，StressDART 的'先诊断后矫正'范式：与直接喂原图或直接喂矫正图不同，它显式把检测到的应力类别条件化进矫正与推理，并保留原图作为参考，这是把诊断信号转化为测试时干预的少有尝试。三者叠加，使本文从'又一个腐蚀基准'升级为'可归因的诊断框架'。
实验结果
论文给出四个核心发现。**发现一·物理视觉应力对当前 VLM 仍是严峻挑战，远未饱和**：最优为 Qwen3.5-35B-A3B 的 58.1%，而 Gemini-3.1 仅 44.8%、GPT-5.5 仅 46.2%，甚至低于多个中等规模开源模型，说明强通用视觉理解并不能自动转化为物理应力下的可靠表现。**发现二·规模提升均值但不消除应力特异弱点**：Qwen3.5 从 4B 的 49.8% 升到 35B-A3B 的 58.1%，但 InternVL3.5-14B（29.9%）反低于其 4B 版本（32.1%），表明堆参数无法解决物理应力失效模式。**发现三·应力敏感度强依赖任务**：Figure 8 显示几何应力最伤定位与空间推理，而规划多选在几何下较稳、更多在材质/视角下跌，状态理解多选在光照下滑，证明物理应力选择性破坏不同能力。配对编辑中 Qwen3.6 跌 24.1 个百分点。**发现四·StressDART 提升鲁棒性**：以 Qwen3-VL-4B 为基座，从 43.2% 提升到'原图+矫正图'的 49.0%（+5.8 个百分点），矫正图贡献绝大部分增益。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 整体准确率（多选+定位综合） | Overall Accuracy | Qwen3.5-35B-A3B 58.1%（最优） | GPT-5.5 46.2%、Gemini-3.1 44.8% | 开源最优较最强商业模型高约 +11.9 个百分点，但绝对值距饱和仍远 |
| 物理应力配对影响 | 应力前后准确率跌幅 | Qwen3.6 应力后 40.1%（vs 正常 64.3%） | InternVL3.5 几乎不变（10.0%→9.9%） | 强模型跌 -24.1 个百分点；弱模型因基线接近随机几乎无空间可跌 |
| 定位框精度 | IoU@0.95 | Qwen3.6-27B 34.5%、Qwen3.5-27B 34.3% | InternVL3.5-14B 0.0%、Molmo2-8B 0.1% | Qwen 家族在严苛 IoU 阈值下碾压 InternVL/Molmo（差距 >30 个百分点） |
| 测试时鲁棒性干预 | Overall Accuracy | StressDART（原图+矫正图）49.0% | Qwen3-VL-4B 直接推理 43.2% | +5.8 个百分点（仅矫正图 48.9%，贡献绝大部分增益） |
局限与改进
作者在附录 C 明确承认若干局限。其一，M/V/L/G 分类学虽物理可解释但并非穷尽所有视觉困难，且四轴在真实场景中并非正交——视角与几何、光照与材质常常纠缠，使细粒度归因仍有挑战。其二，三源数据构建虽平衡了真实感、多样性与可控性，但仍可能引入采样偏差和生成式编辑的伪影，人工核验和重新标注无法让合成样例完全替代天然物理应力。其三，基准聚焦于图像级 VQA 与定位，未评测闭环具身行为、长程交互或动态场景的时序鲁棒性。其四，StressDART 只是初步的测试时干预，存在'负翻转'（negative flips）——当视觉编辑改变了任务相关线索或诊断应力与真实失效不符时反而变差。我个人还观察到：商业模型（Gemini、GPT）样本偏小且整体偏低，可能与它们在具身/定位任务上的评测格式适配有关，未必纯粹反映物理应力脆弱性；InternVL/Molmo 在配对实验中几乎不变，更可能是因为它们基线已接近随机、无下跌空间，而非真的鲁棒，这个结论需要谨慎解读。
独立分析的弱点
第一个弱点是评测停留在 2D 单帧图像，而真实机器人需要视频流、深度信息与时序推理——一个在单帧定位尚可但无法跟踪运动目标的模型，对具身部署意义有限，改进方向是引入视频与多视角闭环评测。第二个弱点是 StressDART 的矫正器（Qwen-Image-Edit）本身是生成式 VLM，在欠曝增强、高光恢复、纹理替换时可能引入'幻觉像素'或内容漂移，而论文并未报告检测器 $D$ 的诊断准确率，也未量化'负翻转'比例，改进方向是引入内容保持约束的矫正（如基于物理的色调映射而非生成式编辑）并报告检测混淆矩阵。第三个弱点是应力分类在真实场景中高度共现且耦合（如镜面反射常伴随过曝、杂乱布局常伴随遮挡），单标签主导维度的简化可能丢失因果信息，改进方向是建模应力间的依赖关系并做多因子交互分析。第四个弱点是缺乏与真实机器人执行结果的关联——基准分数高不等于抓取/导航成功率高，改进方向是把视觉应力诊断与下游动作成功率挂钩，做端到端的 stress→error→action 因果链验证。
未来方向
作者提出的方向包括：把基准扩展到视频观测、多视角交互与真实机器人执行，以补全时序与闭环鲁棒性；研发更可靠的压力检测器、内容保持型矫正方法，以及'何时信任原图、矫正图或两者'的推理策略；处理应力轴非正交带来的纠缠归因。基于本文成果可延伸的方向我认为还包括：其一，把 StressDART 的'检测-矫正'范式从测试时推广到训练时——构造物理应力增广做鲁棒性微调或对齐，可能比单纯测试时干预收益更大；其二，将应力分类学与机器人动作安全结合，构建'应力感知的不确定性校准'，在高应力场景降低置信度并触发人工接管；其三，探索跨模态应力（如语言指令歧义叠加视觉应力）对具身系统的复合影响；其四，研究 StressDART 中检测器与矫正器的联合优化或自蒸馏，减少对 Qwen-Image-Edit 等外部大模型的依赖与算力开销。
复现评估
复现难度中等偏高。算力需求明确：开源模型评测在 8 张 NVIDIA H100（80GB）上约耗 48 GPU 小时，StressDART 的矫正步骤因引入测试时图像编辑约耗 150 GPU 小时，商业模型走官方 API 不占本地算力。推理设置公开（贪心解码、temperature=0.0、top-p=1.0、最多 64 token），坐标归一化到 $[0,1000]$，评测协议（多选精确匹配、点定位落掩膜、框定位 COCO 风格 IoU）描述清晰。数据来源透明，使用了 9 个公开具身基准（多为 CC BY 4.0 / Apache 2.0）、Pexels 图片和自摄图像，并承诺发布基准数据、标注 schema、评测脚本。但有两处制约完全复现：一是部分合成样例基于合作方的私有原始图像，将仅以研究型非商业许可发布；二是 StressDART 依赖 Gemini-3-Pro-Image 与 Qwen-Image-Edit 作为矫正器，这两者本身的版本与可得性会随时间变化。总体而言，整体评测流程与大部分数据可复现，但 StressDART 的端到端复现受外部模型可用性约束。
论文图表
对比三类基准：通用基准用干净图但偶发应力且无标注；鲁棒性基准依赖人工扰动但很多在真实场景中罕见；RoboStressBench 提供真实物理应力+细致标注+任务对齐评测。强调现有基准要么缺标注、要么扰动脱离真实物理。
这张图直接回答'为什么需要又一个基准'，是 motivation 章节的核心论据，帮助读者快速理解本文的定位空白。