HomeSafe-Bench：评估视觉语言模型在家庭场景中具身智能体不安全动作检测能力 HomeSafe-Bench: Evaluating Vision-Language Models on Unsafe Action Detection for Embodied Agents in Household Scenarios
提出家庭安全基准和双脑架构，实时检测具身智能体危险行为
前置知识
视觉语言模型（VLM）
视觉语言模型是一类能够同时处理图像和文本的多模态深度学习模型，通过将视觉特征与语言语义进行对齐和融合，实现对视觉内容的理解和推理。典型代表包括GPT-5.1、InternVL、Qwen-VL等，这些模型通常采用视觉编码器（如ViT）提取图像特征，再与大语言模型结合进行多模态推理。在本文中，VLM被用于分析家庭监控视频，判断具身智能体的行为是否存在安全隐患。
本文的核心任务是评估VLM在安全检测场景中的表现，理解VLM的工作原理和能力边界是理解论文实验结果和HD-Guard设计动机的基础。
具身智能体（Embodied Agent）
具身智能体是指能够在物理环境中感知、决策和执行动作的智能系统，通常以机器人形态存在。与纯软件智能体不同，具身智能体需要处理物理世界的不确定性，包括感知延迟、轨迹偏差和物体交互等问题。在家庭场景中，具身智能体面临复杂的安全挑战，如误将金属物品放入微波炉、碰撞家具或伤害人类等。
论文聚焦于家庭场景中具身智能体的安全问题，理解具身智能体的特点和风险是理解论文动机和应用场景的关键。
流式推理（Streaming Inference）
流式推理是一种实时处理连续数据流的推理模式，与批处理不同，流式系统需要在数据到达时立即处理并产生输出，而不是等待所有数据收集完毕。在视频监控场景中，流式推理要求模型能够逐帧或逐片段地处理视频流，并在极短时间内做出决策。这对模型的计算效率和延迟控制提出了极高要求，通常需要在模型精度和推理速度之间进行权衡。
HD-Guard采用流式架构实现实时安全监控，理解流式推理的挑战（延迟、吞吐量、精度权衡）是理解论文技术创新的基础。
时间定位（Temporal Grounding）
时间定位是指在视频序列中精确定位特定事件或动作发生的时间段。在安全检测场景中，时间定位能力决定了模型能否在危险发生前及时发出预警。论文定义了四个关键时间点：意图显现（intent onset）、不可逆转点（point-of-no-return）、干预截止时间（intervention deadline，比PNR早200ms）和冲击时刻（impact）。模型的预警时间点与这些关键帧的相对位置决定了预警的有效性。
论文的核心评估指标之一是有效预警精度（EWP），直接衡量模型的时间定位能力，理解这一概念对解读实验结果至关重要。
双脑架构（Dual-Brain Architecture）
双脑架构是一种受认知科学启发的系统设计模式，将快速直觉反应（系统1）与深度分析推理（系统2）分离。在HD-Guard中，FastBrain负责高频视觉监控，对每一帧进行快速安全状态分类（绿/黄/红）；SlowBrain则在FastBrain触发黄色警报时进行深度多模态推理。两个大脑异步协作：FastBrain持续监控，SlowBrain处理复杂案例，通过优先级机制确保红色警报的即时响应。
HD-Guard的核心创新就是这种双脑协作机制，理解其设计原理是理解论文技术贡献的关键。
物理常识推理（Physical Commonsense Reasoning）
物理常识推理是指模型利用对物理世界规律的理解（如重力、热传导、物体碰撞等）进行推理的能力。在家庭安全场景中，这包括理解金属在微波炉中会产生电弧、玻璃杯从高处坠落会破碎、热水会烫伤人等。论文将推理难度分为三个层级：感知级（D1，视觉明显）、物理级（D2，需理解物体属性）和因果级（D3，需预测隐含状态变化）。
论文发现当前VLM在物理常识推理方面存在严重缺陷，这是HD-Guard设计SlowBrain进行深度推理的重要动机。
研究动机
随着具身智能体从结构化工厂环境向非结构化家庭场景的快速迁移，安全问题日益凸显。家庭环境与可控的工业环境截然不同，存在大量不可预测的安全风险。系统限制如感知延迟、视觉检测遗漏和常识知识不足，可能导致严重的危险错误，例如将金属物品放入微波炉、碰撞家具或伤害人类等。然而，当前的安全评估方法存在严重不足：现有基准测试主要局限于纯文本领域、数字操作或静态视觉输入，无法有效评估动态、连续的物理风险。虽然视频基准如ASIMOV-v2开始涉及物理危险，但它们针对的是一般性危险而非特定的智能体行为，且缺乏家庭场景所需的多样性。IS-Bench虽然将安全感知集成到动作规划中，但这种耦合设计阻止了对视觉语言模型作为独立安全监控器的独立验证。目前尚无专门的框架来评估VLM在家庭场景中检测不安全智能体动作的能力。
本文的目标是本文的核心目标是填补这一评估空白，建立一个专门针对家庭场景中具身智能体安全检测的基准测试平台。具体而言，作者希望：（1）构建一个包含多样化危险行为的高质量视频数据集，同时确保物理准确性和视觉真实性；（2）设计一套全面的评估指标体系，不仅检测危险是否发生，还要评估预警的及时性和有效性；（3）通过系统的实验揭示当前VLM在安全检测任务中的能力边界和关键瓶颈；（4）在此基础上提出一种实用的实时安全监控架构，在检测精度和推理延迟之间取得最优平衡。
与已有工作不同的是，本文的独特切入角度体现在三个方面：首先，在数据构建方面，采用物理仿真与视频生成相结合的混合流水线，既确保物理准确性又保证视觉多样性，解决了现有数据集要么过于通用、要么缺乏真实感的问题。其次，在评估设计方面，创新性地引入基于时间相位的动态评分机制，将预警时间点与危险生命周期的关键帧对齐，能够精确衡量预警的实际干预价值。最后，在方法设计方面，提出层级式双脑架构HD-Guard，将高频感知与深度推理解耦，通过异步协作机制实现实时响应与准确检测的统一。这种设计直接回应了实验中发现的VLM过度反应（高误报率）和推理不足（物理常识缺失）两大核心问题。
核心方法
本文的方法分为两大部分：基准构建和检测架构。在基准构建方面，HomeSafe-Bench采用四阶段流水线：首先利用大语言模型（Gemini-3-pro）收集家庭场景中的危险原因，并结合美国国家电子伤害监测系统（NEISS）的真实医院报告以覆盖长尾安全风险；然后将这些危险类别扩展到六个主要功能区域（卧室、浴室、客厅、餐厅、书房、阳台）；接着通过物理仿真（BEHAVIOR平台）和视频生成（Veo-3.1模型）相结合的方式收集视频数据；最后进行多维度标注和严格的质量检查。在检测架构方面，HD-Guard采用层级式双脑设计：FastBrain（MiniCPM-o 4.5，9B参数）作为轻量级流式监控器，以高达10 FPS处理高分辨率帧，将每帧分类为绿/黄/红三种安全状态；SlowBrain（Qwen3-VL-30B-A3B-Thinking）作为大规模推理器，在FastBrain触发黄色警报时进行深度多模态推理。两个大脑通过异步协作和优先级机制实现高效协同。
HD-Guard的核心创新在于将快速感知与深度推理解耦，并通过交通灯协议实现动态资源分配。与现有方法的本质区别体现在：（1）与单模型方法不同，HD-Guard采用双脑架构，专门针对安全检测中的过度反应和推理不足问题——FastBrain提供高频监控确保不遗漏明显危险，SlowBrain提供深度推理处理复杂案例；（2）与静态评估方法不同，HD-Guard采用动态采样率调节：当FastBrain输出绿色状态时，采样率降至1 FPS以节省资源；当输出黄色或红色状态时，采样率提升至5 FPS以捕获关键细节；（3）与串行处理不同，HD-Guard采用异步协作：FastBrain在SlowBrain计算期间保持活跃监控，通过逻辑OR运算确保红色警报的即时响应，最终决策为 $C_{t+\delta} = \mathbb{I}[F_{fast}(v_{t+\delta}) = Red] \vee \mathbb{I}[F_{slow}(W_t) = 1 \text{ at } \delta = \Delta t]$。这种设计实现了3.10秒的端到端延迟，相比独立使用Qwen3-Omni的6.25秒延迟提速2倍，同时安全评分提升38%。
方法步骤详情
HD-Guard的完整工作流程如下：（1）视频输入与预处理：将原始视频调整为448x448像素，以10 FPS采样，并在每帧左上角叠加精确时间戳（0.1秒分辨率，红字白底），利用OCR能力实现时间定位；（2）FastBrain连续监控：使用滑动窗口（2秒长度，20帧，1.5秒步长）处理视频流，对每帧输出安全状态 $s_t \in \{Green, Yellow, Red\}$；（3）动态采样率调节：根据FastBrain输出状态调整下一时刻采样率，当 $s_t = Green$ 时 $\gamma_{t+1} = \gamma_{low}$（1 FPS），当 $s_t \in \{Yellow, Red\}$ 时 $\gamma_{t+1} = \gamma_{high}$（5 FPS）；（4）SlowBrain触发与推理：当FastBrain输出黄色状态时，异步触发SlowBrain，SlowBrain接收以触发事件为中心的时间窗口 $W_t$，执行结构化思维链分析，依次处理感知、动态和危险逻辑三个层次；（5）双脑集成决策：通过层级优先机制，如果FastBrain在SlowBrain计算期间检测到黄色转红色，立即发出安全覆盖信号，否则等待SlowBrain的最终判决。
技术新颖性
本文的技术新颖性体现在多个层面：（1）基准设计的创新：HomeSafe-Bench是首个专门针对家庭场景具身智能体安全检测的基准，采用物理仿真与视频生成的混合流水线，确保数据的物理准确性和视觉多样性；创新性地引入四维标注体系（关键帧、危险类别、危险严重性、推理难度）和基于时间相位的动态评分机制，能够精确评估预警的实际干预价值。（2）架构设计的创新：HD-Guard的双脑异步协作机制是受认知科学启发的工程创新，将系统1（快速直觉）与系统2（深度分析）的理念应用于实时安全监控；动态采样率调节机制实现了计算资源的智能分配；逻辑OR集成策略确保了安全响应的即时性。（3）评估方法的创新：提出四维评估指标体系（HDR、EWP、PDA、WSS），其中WSS通过时间相位加权直接关联预警时机与干预效果，为安全检测任务提供了更实用的评估标准。（4）分析洞察的创新：通过细粒度错误分析揭示了当前VLM的五大失败模式（格式错误、过度反应、响应延迟、视觉遗漏、推理缺陷），为后续研究指明了方向。
实验结果
本文在HomeSafe-Bench上对15个主流VLM进行了全面评估，揭示了多项重要发现：（1）开源模型超越闭源模型：InternVL3.5-8B以97.03%的危险检测率（HDR）和28.42的加权安全评分（WSS）超越GPT-5.1（75.11% HDR，21.12 WSS），表明开源社区在专业安全任务上已有效弥合能力差距。（2）高误报率问题突出：表现最佳的模型往往存在严重的过度反应，InternVL3.5-8B的过早预警率高达53.88%，这意味着在工业部署中频繁的误停会导致不可接受的运营成本。（3）单纯增加参数不足：小模型（如InternVL3.5-2B）在WSS上可超越大模型（如LLaVA-OneVision-7B），验证了部署轻量级模型作为高效前线FastBrain的可行性。（4）HD-Guard实现竞争力性能：虽然HD-Guard未获得绝对最高的WSS（24.94），但在所有指标上保持竞争力，其优势在于实时检测——3.10秒的端到端延迟相比独立使用Qwen3-Omni的6.25秒延迟提速2倍，同时安全评分从18.04提升至24.94（提升38%）。（5）5 FPS是最优采样率：消融实验表明，1 FPS会导致23.46的低WSS和13.70%的低最优率，而10 FPS虽然最优率达到16.21%，但整体WSS下降至24.88，5 FPS实现了检测精度和计算效率的最优平衡。（6）错误分析揭示关键瓶颈：VLM的主要失败模式包括视觉实体遗漏（如Qwen3-VL-30B在D1难度下达64.8%）和推理缺陷（D3难度下达45.6%），HD-Guard通过双脑解耦将推理缺陷率降至0%，视觉遗漏率从30.4%降至0.5%。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 家庭场景具身智能体不安全动作检测 | 加权安全评分（WSS） | HD-Guard: 24.94 | InternVL3.5-8B: 28.42, GPT-5.1: 21.12, MiniCPM-o-4.5: 17.75 | 相比FastBrain独立使用（18.04）提升38%，在保持低延迟（3.10s）的同时实现竞争力性能 |
| 家庭场景具身智能体不安全动作检测 | 危险检测率（HDR） | HD-Guard: 86.53% | InternVL3.5-8B: 97.03%, GPT-5.1: 75.11%, Claude-Opus-4.1: 93.61% | 在检测敏感性上保持竞争力，同时显著降低误报率（25.1% vs InternVL3.5-8B的53.2%） |
| 家庭场景具身智能体不安全动作检测 | 有效预警精度（EWP） | HD-Guard: 49.34% | InternVL3.5-8B: 38.35%, GPT-5.1: 43.77%, Qwen3-VL-8B: 40.00% | 在预警及时性上取得最佳表现，49.34%的预警落在可操作时间窗口内 |
| 家庭场景具身智能体不安全动作检测 | 端到端延迟 | HD-Guard: 3.10秒 | Qwen3-Omni: 6.25秒, MiniCPM-o-4.5: 3.07秒 | 相比独立使用大型推理模型提速2倍，同时保持近似FastBrain的低延迟 |
局限与改进
论文承认的局限性包括：（1）缺乏长上下文记忆能力：HD-Guard的SlowBrain仅处理最后两帧以确保实时效率，无法追踪历史物体状态，导致在某些需要时间推理的案例中失败（如案例研究2中所述，关键物理线索仅在早期帧中可见）；（2）数据集规模有限：HomeSafe-Bench仅包含438个视频序列，虽然覆盖了六个家庭功能区域，但相对于真实世界的多样性仍然不足；（3）视频生成质量依赖：部分视频由Veo-3.1生成，尽管经过人工验证，但仍可能引入与真实场景的偏差；（4）评估指标的局限：当前指标主要关注检测和预警及时性，未充分考虑模型的计算资源消耗和部署成本。从独立观察来看，论文还存在以下局限：（5）场景覆盖不完整：基准仅覆盖六个功能区域，未包括厨房（一个高风险区域）和车库等常见家庭空间；（6）人机交互场景缺失：数据集主要关注智能体与物体的交互，较少涉及智能体与人类的直接互动风险；（7）实时部署验证不足：虽然论文分析了延迟-安全权衡，但未在真实机器人系统上进行端到端验证；（8）跨文化适用性未验证：数据集基于美国医院报告和美国家庭场景，不同文化背景的家庭布局和风险模式可能存在差异。
独立分析的弱点
基于对论文的深入分析，识别出以下关键弱点及改进方向：（1）记忆机制缺失：当前SlowBrain仅处理最后两帧，无法进行长时间跨度的因果推理。改进方向包括引入时序记忆模块（如滑动窗口缓存或外部记忆网络），允许SlowBrain访问更早的关键帧，从而捕获需要时间推理的危险模式。（2）动态采样率策略粗糙：当前仅根据FastBrain的输出状态在1 FPS和5 FPS之间切换，未考虑危险的严重性和紧迫性。改进方向是设计基于危险置信度和时间预测的连续采样率调节策略，实现更精细的资源分配。（3）单模态FastBrain限制：FastBrain仅处理视觉信息，未利用音频或其他传感器数据。改进方向是扩展FastBrain为多模态感知器，整合声音（如碰撞声、警报声）和触觉信号，提高危险检测的鲁棒性。（4）评估指标未考虑计算成本：WSS等指标未纳入模型的计算复杂度和能耗。改进方向是设计效率感知的评估指标，如每瓦特安全评分或每FLOP检测率。（5）缺乏在线学习机制：当前系统是静态的，无法从部署中的错误中学习。改进方向是引入在线学习或主动学习机制，允许系统根据用户反馈或新发现的危险模式持续优化。
未来方向
论文作者提出和基于成果可延伸的未来研究方向包括：（1）扩展记忆能力：作者明确指出缺乏长上下文记忆是当前系统的瓶颈，未来工作应开发高效的时序记忆机制，使SlowBrain能够追踪物体状态变化和历史交互模式。（2）多智能体安全监控：当前基准聚焦于单个智能体，未来应扩展到多智能体协作场景，处理智能体之间的潜在冲突和协调风险。（3）主动安全干预：当前系统仅进行被动检测和预警，未来可发展主动安全策略，如自动调整智能体轨迹、触发力反馈或启动安全屏障。（4）跨场景泛化：将HomeSafe-Bench的方法论扩展到其他具身智能应用场景，如办公室、医院、工厂等，建立通用的安全评估框架。（5）人机协作安全：研究人类与具身智能体协作时的安全问题，包括意图理解、责任分配和信任建立。（6）安全约束下的任务规划：将安全检测与任务规划深度集成，在确保安全的前提下优化任务执行效率。（7）可解释性增强：开发更可解释的安全决策机制，使人类操作员能够理解系统为何发出警报，提高人机协作的透明度和信任度。
复现评估
论文在可复现性方面提供了较为完善的支持：（1）开源程度：作者公开了代码（GitHub仓库）、数据集（Google Drive）、排行榜（HuggingFace Spaces）和项目主页，为社区复现和比较提供了良好基础。（2）数据可用性：基准数据集包含438个视频序列，作者提供了完整的标注信息和质量检查流程，包括双标注者一致性验证（Cohen's kappa和Lin's CCC）。（3）模型细节：论文详细描述了所有评估模型的配置、推理参数（448x448像素、10 FPS采样、2秒滑动窗口）和提示词模板（附录A），便于复现实验。（4）计算资源需求：虽然论文未明确说明所需计算资源，但评估的模型规模从0.5B到30B参数不等，暗示需要相当的GPU资源。HD-Guard本身需要运行9B的FastBrain和30B的SlowBrain，对硬件要求较高。（5）环境依赖：论文基于BEHAVIOR仿真平台和Veo-3.1视频生成模型，这些工具的可用性和版本兼容性可能影响复现。（6）评估标准化：论文提供了标准化的评估脚本和指标定义，但未提供预训练权重或微调细节，对于想要在HD-Guard基础上进行改进的研究者可能构成障碍。总体而言，论文的可复现性处于中等偏上水平，主要挑战在于计算资源需求和特定工具链的依赖。
论文图表
