RobotValues：当人类价值观冲突时评估家庭机器人 RobotValues: Evaluating Household Robots When Human Values Conflict
提出10K价值冲突场景基准，揭示VLM机器人难以在价值观冲突中正确选择行动
前置知识
视觉语言模型（VLM）
结合视觉和语言理解能力的深度学习模型，能够同时处理图像和文本输入。在机器人领域常用于理解场景、理解指令并进行高层决策。例如GPT-4V、Qwen-VL等模型可以看图回答问题或执行任务。
本文的核心就是评估VLM作为家庭机器人高层行动选择器的能力，理解VLM的基本原理对于理解论文的实验设置和结果分析至关重要。
Bradley-Terry分数
一种用于比较多个选项之间相对偏好强度的概率模型。给定多个选项，BT模型假设每个选项有一个潜在能力参数，一个选项战胜另一个选项的概率由这两个参数的差值决定。在本文中用于量化VLM对不同价值观类别的默认偏好程度。
论文使用BT分数来总结和分析VLM在默认选择任务中的价值偏好，理解这个指标可以帮助读者准确解读Table 1中的实验结果。
World Values Survey（WVS）
一个全球性的社会调查项目，旨在测量世界各地人们的社会、政治、经济、宗教和文化价值观。WVS7（第七波）覆盖64个国家，包含人口统计信息如国家、家庭构成、年龄、城乡居住、健康状况、就业和职业等。
论文使用WVS7的persona种子来确保生成的家庭场景具有真实世界的多样性，这是保证基准质量和代表性的关键数据来源。
Schartz基本人类价值观理论
心理学家Shalom Schwartz提出的人类价值观分类理论，认为价值观是指导行为的动机目标。该理论识别了十个基本价值观类型（如安全、自主、刺激、享乐等），这些价值观在不同文化间具有一定的普适性但排序不同。
论文将细粒度的行动价值标注映射到Schwart价值观理论，使得研究结果可以与心理学和社会科学的研究进行对比，增强了基准的理论基础。
研究动机
现有的家庭机器人评估基准主要关注任务完成、操作推理、社交场景理解或安全性等指标，但这些指标无法完全捕捉机器人在任务执行前面临的决策复杂性。在真实的家庭环境中，机器人会遇到多种合理行动并存的情况，必须在其中做出选择。例如，当一位老年女性在去洗手间的路上挣扎而她的丈夫在院子里时，一个有帮助的机器人可能会立即上前协助，但它也可以选择尊重她的自主权和隐私，就在附近观察，或者为了降低跌倒风险而呼叫她的丈夫。每种选择优先考虑了不同的人类价值观，没有简单的正确答案。这种价值冲突的决策场景在日常生活中非常普遍，但现有基准完全忽略了对机器人价值偏好的评估。此外，收集真实家庭数据用于评估这类困境存在隐私和可扩展性问题，因为可能包含家庭图像和家庭成员以及个人信息。
本文的目标是本文的目标是构建ROBOTVALUES，一个包含10K个质量控制的家庭图像基准，用于评估家庭机器人在价值冲突场景中的决策能力。每个实例由一个真实的家庭图像、文本任务上下文和多个候选机器人行动组成，这些行动优先考虑不同的人类价值观。该基准旨在系统性地评估家庭机器人规划器如何在可行的、优先考虑不同人类价值观的高层行动之间进行选择。通过这个基准，作者希望揭示VLM作为家庭机器人高层行动选择器时的默认价值偏好，并测试它们是否能够按照明确的价值观指令调整自己的选择。
与已有工作不同的是，本文的独特切入点在于将多元对齐的研究视角从文本领域扩展到视觉-语言机器人规划领域。传统的机器人基准评估要么专注于低级操作任务的成功率，要么关注安全合规性，但没有系统性地评估机器人在价值冲突场景中的决策过程。与LLM领域的道德和伦理决策基准（如文本基础的研究）不同，本文关注的是基于VLM的机器人规划，强调真实家庭场景中的图像输入和多模态决策。论文的创新之处在于使用利益相关者基础的价值标注方法，即不是简单地将预定义的价值观标签分配给行动，而是首先生成利益相关者对每个候选行动的反应，然后从这些反应中提取行动层面的价值观。这种方法将价值观扎根于受机器人决策影响的具体人群的考虑中，而不是直接从场景文本推断通用标签。
核心方法
ROBOTVALUES的构建采用了一个自动化的生成-过滤管道，旨在实现可扩展的数据构建。整体思路是先从真实的全球人口统计数据中采样persona种子和场景上下文种子，以确保生成的家庭场景具有真实世界的多样性。然后使用LLM生成文本形式的家庭决策场景，在这些场景中家庭机器人必须在多个候选行动之间做出选择。接着生成初始的17个可行的候选机器人行动，每个行动优先考虑不同的价值观种子。接着生成每个行动的利益相关者反应，并从这些反应中提取行动层面的价值观。最后生成决策时刻的快照描述，并使用图像生成模型创建第一人称的家庭图像。整个管道在每个主要阶段都进行质量检查，只有通过的样本才会传递到下一阶段。
核心创新点是利益相关者基础的价值标注方法。与传统方法直接将预定义的价值观标签（如Schartz价值观类型）分配给行动不同，本文采用两步程序：首先为每个在场景生成步骤中生成的利益相关者，生成第一人称反应，描述利益相关者如何在给定场景中推理每个行动，以及立场（支持、反对、混合或中立）；然后提示模型从这些利益相关者反应中提取每个候选行动优先考虑的价值观。这种设计鼓励价值标注反映场景中具体利益相关者的考虑，而不是直接从行动措辞推断通用标签。这种方法基于价值观通过情境中的选择来表达的观点，符合Schwartz的价值观理论（价值观是指导行为的动机目标）以及最近的多元对齐研究通过情境性价值判断来研究价值观的思路。另一个关键创新是使用WVS7的真实人口统计数据作为persona种子，而不是让LLM自由生成，这避免了LLM生成的同质化输出问题。
方法步骤详情
数据构建管道分为五个阶段，每个阶段都有筛选机制。第一阶段：从World Values Survey Wave 7（WVS7）采样persona种子，使用受访者属性如国家、家庭构成、年龄、城乡居住、健康状况、就业和职业。同时使用房间类型（如厨房或客厅）和一天中的时间（如清晨或下午）作为上下文种子来增加场景多样性。第二阶段：使用LLM生成文本形式的家庭场景，提示模型生成描述现实家庭情况的场景文本，其中家庭机器人必须在多个候选行动之间做出选择。除了场景文本外，还提示模型生成关于场景的额外信息，包括机器人任务、机器人需要做出决策的确切时刻以及受机器人决策影响的利益相关者。将这个决策点称为干预时刻。第三阶段：为每个场景生成初始的17个可行的候选机器人行动，每个行动在保持同一干预时刻可行性的同时优先考虑不同的价值观种子。这些价值观种子通过将HRI工作中的八个机器人价值类别与十个家庭机器人规范结合而构建。对于每个候选行动，生成利益相关者对每个行动的第一人称反应和立场，然后从这些反应中提取每个行动优先考虑的价值观。第四阶段：给定场景和提取的行动层面价值观，首先提示LLM生成精确干预时刻的快照描述。快照保留原始场景，同时使决策点在视觉上可读，不添加新事实、利益相关者或决策分支。然后使用GPT Image 2生成真实的家庭图像，故意生成没有可见机器人具身的第一人称图像，使基准不绑定到特定的机器人身体、末端执行器或硬件设计。第五阶段：在每个主要阶段应用质量检查。场景生成后评估场景是否真实、内部连贯、基于persona种子且包含正确识别的利益相关者。候选行动生成后评估每个行动是否可行、基于场景、机器人可合理执行且不忽视主要安全关切。利益相关者反应和价值标注后评估每个行动是否清楚地优先考虑提取的价值观，且优先考虑的价值观得到利益相关者反应而非仅行动措辞的支持。图像生成后筛选图像的场景基础、物理真实感、人类渲染伪影、合理的第一人称机器人视角以及无可见机器人具身。
技术新颖性
技术新颖性体现在三个方面。首先，将多元对齐研究从文本领域扩展到视觉-语言机器人规划领域，填补了现有机器人基准评估价值冲突决策的空白。其次，提出了利益相关者基础的价值标注方法，将价值扎根于具体利益相关者的情境性考虑中，而不是简单地分配预定义标签。第三，使用了全面的生成-过滤管道和二元质量控制标准，在保证数据质量的同时实现了10K规模的大规模数据集构建。与现有机器人基准（如ALFRED、RoboTHOR）主要评估任务成功率或操作推理不同，ROBOTVALUES评估的是高层决策中的价值偏好。与LLM道德基准（如MoralStories、ETHICS）相比，本文关注的是真实家庭场景中的多模态决策，而不是纯文本的道德推理。论文还使用了WVS7的真实人口统计数据来确保场景多样性，这比仅依赖LLM自由生成更能反映现实世界的变异性。
实验结果
论文使用ROBOTVALUES评估了机器人社区使用的VLM，包括Qwen3-VL-2B-Instruct、Cosmos-Reason2-2B/8B、Molmo2-8B/ER、RoboBrain2.0-7B、InternVL3-2B/8B/8B/8.5-8B和RLDX-1-VLM等模型。在默认选择任务中，使用Bradley-Terry分数分析模型的默认价值偏好，发现多个模型共享价值偏好，优先考虑安全和适应而非隐私。具体而言，在家庭机器人规范分类下，安全性和适应性（调整机器人行为以适应人们现有的常规和习惯） consistently receive high BT scores（最高达+0.70），而隐私和安全（保护敏感信息） receive lower BT scores（最低至-0.95）。这表明评估的VLM倾向于默认优先考虑安全相关的行动和尊重人们常规的行动，但可能在家庭环境中低估与隐私相关的关切。在价值条件选择任务中，当VLM被指示优先考虑与其默认偏好冲突的特定价值观时，它们经常无法选择覆盖其偏好的行动。在家庭机器人规范分类下，匹配组的准确率为40.2%-51.3%，但当目标规范与模型默认偏好冲突时下降至6.9%-16.8%，平均准确率下降超过30个百分点。这种下降源于两个挑战：无法将行动与目标价值观匹配，以及难以选择与模型默认偏好不同的行动。为了更好地理解价值条件设置中的低准确率，论文测试了模型是否能识别行动优先考虑哪个价值观。行动-价值匹配实验显示，冲突组的准确率（35.1%-49.6%）显著高于价值条件行动选择实验（6.9%-16.8%），匹配-冲突差距（7.8%-16.9%）也小于价值条件行动选择（30.1%-40.9%）。这表明低价值条件准确率不能仅由未能理解行动优先考虑什么价值观来解释，而是模型似乎在明确的给定目标价值下难以在竞争的合理行动之间进行选择，特别是当目标价值与模型默认偏好冲突时。论文还进行了消融实验，测试默认价值偏好是否仅由图像或文本上下文驱动。在仅文本上下文、仅图像（无文本上下文）和仅候选行动的消融设置下，安全性的BT分数仍然最高，而隐私和安全仍然是得分最低的类别。这表明视觉和上下文输入会改变模型选择，但主要的默认偏好模式保持一致。初步实验表明，在ROBOTVALUES上微调Qwen3-VL-2B可以提高保留实例的价值条件行动选择性能，并且在真实的SO-101观察（腕部摄像头捕获的桌子清洁场景，一个人在睡觉）中，当被提示优先考虑隐私时，模型选择不清洁桌子。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| Default value preference evaluation | Bradley-Terry score | Safety BT scores: +0.43 to +0.70; Privacy BT scores: -0.45 to -0.95 | N/A (first benchmark of this type) | Established baseline showing VLMs prioritize safety/accuracy over privacy |
| Value-conditioned action selection (household robot norms) | Accuracy (Matched vs Conflicting) | Matched: 40.2%-51.3%, Conflicting: 6.9%-16.8%, Drop: 30.1%-40.9% | N/A | Revealed significant performance gap when value instructions conflict with model preferences |
| Action-value matching (identifying which value an action prioritizes) | Accuracy (Matched vs Conflicting) | Matched: 52.0%-59.1%, Conflicting: 35.1%-49.6%, Drop: 7.8%-16.9% | N/A | Showed the gap is smaller than action selection, indicating difficulty in following value instructions beyond just understanding values |
| Fine-tuning pilot (Qwen3-VL-2B on ROBOTVALUES) | Value-conditioned action selection accuracy | Improved on held-out instances (specific numbers not provided) | Pre-fine-tuning performance | Demonstrated ROBOTVALUES can support model adaptation for value-sensitive decision making |
| Real-world observation test (SO-101 robot) | Qualitative behavior in table-cleaning scenario | When prompted to prioritize privacy, chose not to clean table with sleeping person | N/A | Preliminary evidence ROBOTVALUES can support real-world observation tests |
局限与改进
作者承认ROBOTVALUES使用合成生成的家庭图像，这可能无法完全捕捉真实家庭的视觉复杂性、感知噪声或交互动态。由于管道依赖LLM进行大规模数据生成，尽管有阶段性过滤和质量控制，仍可能存在一些伪影或标注错误。论文还提到，初步实验（微调SO-101上的真实观察）只是探索性的，需要更多研究来确认ROBOTVALUES与真实机器人学习设置的连接。此外，基准使用固定的候选行动集，这可能无法涵盖机器人在真实场景中可能采取的所有可能行动。论文的评估主要集中在VLM作为高层行动选择器的性能，但没有评估低级操作执行或实际机器人物理交互的成功率。最后，虽然基准使用了WVS7的persona种子来确保多样性，但WVS7本身可能存在采样偏差或某些地区的代表性不足。
独立分析的弱点
论文存在几个可改进的弱点。首先，使用合成生成的图像可能无法捕捉真实家庭的视觉复杂性和噪声，改进方向是收集真实家庭的图像数据，或者使用更高质量的图像生成模型（如DALL-E 3、Midjourney v6）来提高图像真实感。其次，候选行动集是固定的且预先生成的，这限制了机器人在真实场景中可能采取的行动的多样性，改进方向是允许模型生成自己的行动候选，或者提供更丰富的行动描述包括低级操作细节。第三，评估仅限于高层行动选择，没有与低级操作执行耦合，改进方向是构建端到端的评估管道，将高层决策与实际机器人物理执行联系起来。第四，微调和真实世界实验是初步的且缺乏定量结果，改进方向是进行更系统的微调实验（使用更大的模型、更多的训练数据、不同的微调策略）以及在更多真实机器人平台上进行定量评估。第五，基准的质量控制依赖LLM判断，可能存在系统性偏差，改进方向是增加人工标注进行更全面的验证，或者使用多个不同的LLM作为判断器并进行集成。第六，价值映射到Schwart价值观和家庭机器人规范可能不是完美的，某些细粒度的价值观可能难以映射，改进方向是开发更精细的价值分类体系或保持原始细粒度价值观进行分析。
未来方向
作者提出的未来工作方向包括在ROBOTVALUES上微调更大的VLM模型并评估价值条件行动选择性能的改进，以及在更多真实机器人平台上进行评估以确认基准与实际机器人学习的联系。基于论文成果可以延伸的研究方向包括：开发专门针对价值敏感机器人决策的预训练方法，而不仅仅是在ROBOTVALUES上微调；研究如何让机器人动态学习和适应用户的个人价值观，而不仅仅是遵循预定义的价值优先级；探索多价值约束下的机器人决策，即当多个价值观同时被激活时如何权衡；研究价值冲突解决的可解释性，让机器人能够解释为什么选择某个行动以及它如何平衡不同的价值观；将ROBOTVALUES扩展到其他类型的机器人场景（如医疗机器人、服务机器人、教育机器人）而不仅限于家庭环境；开发实时价值冲突检测和处理的系统，使机器人能够在动态环境中识别和处理价值冲突；研究价值观随时间演化和文化差异，开发能够适应不同文化和个人价值偏好的机器人；探索价值敏感机器人决策的法律和伦理框架，为实际部署提供指导。
复现评估
论文声明将在发表后发布数据和代码。数据构建管道使用多个LLM进行文本生成以增加生成多样性，具体使用的模型和每个模型生成的保留实例数量在附录A.5中报告，但正文未提供详细列表。图像生成使用GPT Image 2，质量过滤使用GPT-5.4-mini。评估的VLM模型在附录D.1中描述，但正文未提供所有模型的版本号、参数量或使用的提示词模板。论文报告了从16000个候选场景开始，经过阶段性过滤管道最终保留10073个基于图像的家庭决策实例，总体接受率为63.0%，每个阶段的保留率在附录A.3中报告但正文未提供详细数据。LLM判断者与两个人工标注者的共识标注相比，在场景质量上达到macro F1分数0.88，行动质量0.96，价值标注质量0.98，图像质量0.96。复现的难度主要在于需要访问多个LLM（包括GPT-5.4-mini和GPT Image 2）和多个机器人导向的VLM模型，以及大量的计算资源用于大规模数据生成和模型评估。论文没有报告评估的总计算时间、GPU使用量或成本。总体而言，虽然论文承诺开源，但由于依赖多个专有模型和大规模生成管道，完全复现可能需要大量的时间和资源投入。
论文图表
