Agent-ValueBench：面向智能体价值观的综合性评测基准 Agent-ValueBench: A Comprehensive Benchmark for Evaluating Agent Values

整体方法分五步。**步骤1（Discovery）**：输入源语料输出经去重+主题抽取+embedding聚类的原型集$E^{(1)}$。**步骤2（Synthesis）**：从$e_i$合成$X_i$/$O_i$/$\Pi_i$得到verified pool $E^{(2)}=\{\mathfrak{e}_i\}$。**步骤3（Evolution）**：test与repair agent迭代修复$\mathfrak{e}_i$，最多$R$轮要求NFAcc/PPAcc/NegPAcc过阈值输出$E^\star$。**步骤4（Task）**：输入$E^\star$+$V_s$输出心理学家审定的4335任务$c_\ell=(\tau_\ell,F_\ell,K_\ell,H_\ell)$。**步骤5（评分）**：Judge按$\kappa$打分$A_{m,\ell,v}=R\cdot\sum w_\kappa y/(2\sum w_\kappa)$，跨任务得Adherence，BT拟合得Priority $\theta_{m,s,v}$。

新颖性体现在四层面。**(1)数据集层形式化**：首次把'可执行环境+价值冲突任务+pole-aligned golden trajectory+checkpoint'四元组作为统一benchmark对象，区别于ValueBench只给多选题文本、AgentSafetyBench只关注unsafe/benign二元判别。**(2)评估范式迁移**：从outcome-level到trajectory-level rubric打分，通过meta-rubric三原则实现rubric可扩展合成，使基准覆盖28价值系统无需为每任务手工写rubric。**(3)理论贡献**：Theorem 1.1证明LLM与agent通道kernel $K_L$与$K_A$在某个$\mu$上不一致就$\nu^L_\mu\neq\nu^A_\mu$。**(4)实验设计**：把模型/harness/skill显式正交化，14模型×4 harness做60000+次rollout，首次同时报告Adherence（连续）与Priority（BT排序）两类度量。

独立分析，至少有四个弱点。**弱点1：缺少harness和skill作用的因果机制分析**。论文只把harness与skill作为外部变量观察扰动幅度，但哪个组件（system prompt？工具错误恢复？上下文压缩？memory管理？）真正在改变agent value，skill文件中哪段文本真的被模型'读到'并影响决策，没有做ablation。**弱点2：Judge Model与被评Agent可能共享系统偏差**。用GPT-5.4评GPT-5.4时其rubric打分可能复现自己家族偏好，人为收窄adherence bandwidth。**弱点3：价值系统跨文化代表性不足**。28系统几乎全源于西方心理学量表，对集体主义/关系主义文化（儒家仁义礼智信、Ubuntu）没有覆盖。**弱点4：Target ordering被人为选定**。RQ3三个目标ordering都是手工选择的，没有回答'agent能否被steer到任何ordering'，Takeaway 3的外部效度受限于目标选择的偶然性。

作者提出的未来方向是'揭示Value Tide的因果机制'。可延伸研究方向至少四条。**方向1：可解释性机制研究**。利用circuit-level或attention-sink等工具分析harness prompt哪一段、skill文件哪一行真的在模型内部表征中'激活'了对Purity/Care/Loyalty等价值维度的偏好，把'宏观潮+局部反流'还原为'微观机制+宏观涌现'。**方向2：跨文化与跨语言扩展**。把28个西方价值系统扩展到儒家、佛教、印度教、伊斯兰、Ubuntu等非西方传统，把任务描述种子语言扩展到中、阿、斯瓦希里等层级，验证Value Tide是否依然存在或分裂为'文化子潮汐'。**方向3：harness alignment方法学**。把trajectory-level rubric作为reward signal对harness的system prompt或skill corpus做iterative refinement。**方向4：动态value测量**。引入long-horizon任务或stress condition观察是否出现'压力诱导的价值反转'。

复现性方面有'开源+审计'双重保障。**代码与数据全开源**：项目主页、GitHub、HuggingFace三个入口全部给出，pipeline代码、394个环境的Python实现、4335任务的JSON描述、meta-rubric与task-specific rubric、评测脚本均打包发布。**数据集有人工背书**：每个环境与任务经心理学家in-the-loop审定，六条任务标准、三条环境标准在论文中清晰列出可独立验证。**评估方法可复算**：评估公式$A_{m,\ell,v}=R\cdot\sum w_\kappa y/(2\sum w_\kappa)$、BT拟合$\Pr(v\succ u)=\theta_v/(\theta_v+\theta_u)$都在论文中明确写出。**算力门槛**：14模型×4 harness×4335任务的60000+次rollout（Harbor framework），≥8张A100应在数天到两周完成。**主要难点**：(a)14个闭源模型API访问权限；(b)Judge Model选择影响结果；(c)心理学家审定难以完全自动化。