← 返回 2026-04-08

面向价值驱动大语言模型智能体的上下文-价值-行动架构 Context-Value-Action Architecture for Value-Driven Large Language Model Agents

TianZe Zhang, Sirui Sun, Yuhang Xie, Xin Zhang, Zhiqiang Wu, Guojie Song 📅 2026-04-07 👍 10 2026-07-13 08:36
LLM智能体 SFT/DPO Schwartz价值观 人类行为模拟 价值对齐 角色扮演
arXiv HuggingFace PDF

提出CVA架构，将价值激活显式化以解决LLM行为模拟的刚性与极化

前置知识

Schwartz基本人类价值理论

Schwartz将人类基本价值划分为10个跨文化普适维度（自我导向、刺激、享乐、成就、权力、安全、遵从、传统、仁爱、普世主义），并提出圆形结构模型，相邻价值相容、对立价值冲突。

论文用这10个维度作为价值激活向量V的基础，是建模人类行为心理动机的核心坐标系。

S-O-R模型（刺激-有机体-反应）

环境心理学经典框架：环境刺激(S)作用于有机体(O)的内部心理状态，激活特定反应(R)。论文将其概率化为P(A|C,V)，用上下文C和价值V共同决定行为A。

CVA架构的形式化基础，为行为生成提供心理学上可解释的概率框架。

DPO（直接偏好优化）

一种无需奖励模型的RLHF替代方案，用偏好对(yw,yl)训练策略模型直接最大化优选响应的对数概率差，损失函数为-log σ(β·(log π(yw|x)/πref(yw|x) - log π(yl|x)/πref(yl|x)))。

论文用DPO校准生成器，使其倾向于产出价值一致的细微行为而非刻板化输出。

GPV（生成式价值心理测量）

一种用LLM从生成行为日志中反向推断人类价值画像的非反应性测量工具，相比自陈问卷更稳定且避免反应偏差。

论文用它替代LLM-as-a-judge作为价值对齐的客观评估工具，避免自指偏差循环。

研究动机

现有LLM人类行为模拟智能体存在两个被广泛忽视的失败模式。第一个是行为刚性（behavioral rigidity）：智能体倾向于把人格简化为刻板原型，忽视情境触发的价值动态激活。例如附录A的案例显示，将自我导向设为0.9、享乐主义设为0.4时，GPT-4o在100次试验中几乎100%选择去健身房，即使享乐主义上调到0.6仍维持0.93的健身房偏好，完全违背"累了一天想休息"的真实人类决策。第二个是群体级价值极化（value polarization）：随着prompt推理轮次增加，被试群体的价值分布均值向±1极端移动、方差急剧缩小，从多样化的人类分布塌缩成几个刻板模态。这两个问题在常用"LLM-as-a-judge"评估中被严重掩盖——评判模型与生成模型共享预训练偏差，容易把刻板行为误判为"高质量人格扮演"。

本文的目标是论文有三重目标：(1) 形式化地建模价值激活过程P(A|C,V)，使智能体能根据上下文动态激活不同价值维度而非套用静态人格；(2) 构建CVABench评测体系，用15,571名真实用户在三大领域（Yelp评论54K条、Reddit对话155K条、Foursquare移动871K条）共计1.1M+条真实交互数据提供经验性真值；(3) 在个体行为保真度和群体价值分布对齐两个层面同时超越现有prompt驱动方法，证明推理深度增加反而损害保真度这一反直觉现象。

与已有工作不同的是，论文的核心切入点是"自我指涉偏差循环"这一被广泛忽视的元问题。已有方法无论prompt-driven还是training-based，都把LLM同时当作生成器和评判器，预训练偏差在生成-评估闭环中自我强化。论文跳出该框架，提出把价值激活（认知推理 $P(V\mid C)$）与动作生成（行为产出 $P(A\mid C, V)$）解耦的CVA架构，用一个在大规模真实行为数据上独立训练的价值验证器（Value Verifier）替代LLM自验证，从而打破自指循环。

核心方法

CVA架构的直觉是：人类行为不是静态人格的直接输出，而是特定情境触发特定价值维度、进而筛选动作的动态过程。想象一个累了一天的IT工程师——他依然拥有"自我导向"特质，但"享乐主义"在疲惫上下文下被强烈激活，从而压倒了去健身的冲动。CVA把这个心理过程显式化为三段式：先读历史上下文C编码成记忆，再用训练好的生成器产出N个候选动作，最后用独立训练的价值验证器给每个候选打分，选出与当前激活价值V最一致的那个。这套"生成-验证"管线相比纯prompt推理的好处是：推理链的错误不会一路传导到最终行为，且验证器提供了注意力可解释性。

CVA相对已有方法的本质区别在于三点：(1) 价值条件化生成——标准方法学 $P(A\mid C)$，CVA学 $P(A\mid C, V)$，把价值标签显式注入SFT和DPO输入，迫使模型区分通用响应与价值对齐响应；(2) 独立价值验证器——传统"生成-验证"流水线复用同一个LLM做评判，预训练偏差在闭环中放大，CVA用一个独立的、在真实人类 $(C, V, A)$ 三元组上训练的判别器 $f_{\text{ver}}(a_i, C, V)$ 取而代之；(3) 验证器结构提供可解释性——双塔结构中value-encoder的cross-attention权重直接揭示"当前上下文激活了哪些价值维度"，让每个决策可追溯到心理学理论。

方法步骤详情

CVA的训练和推理分为两个阶段。VMC阶段（Value-Action Mapping Calibration）：基座Qwen2.5-7B先在CVABench轨迹上做SFT，损失用标准交叉熵，把上下文-价值-动作三元组作为条件；接着用DPO做偏好对齐，从SFT模型（温度0.8）采样10个候选，按语言相似度选最优和最劣构成(yw,yl)对，损失为1.0·LDPO+0.2·LBCO+1.2·LSFT混合形式，训练1个epoch。VDR阶段（Value-Driven Reasoning）：训练一个Value Verifier，它有三个编码器分别处理动作A、上下文C、价值V，用cross-attention让上下文引导value-encoder的注意力得到E'v，再拼接[E'v;Ea]送入MLP预测一致性分数s(A,C,V)，训练目标是对比损失最大化偏好对的分数差。推理时执行Generate-then-Select：基座模型在C和V条件下采样N=3个候选动作，验证器对每个候选打s分，选分数最高的作为输出。训练时用QLoRA和Flash Attention节约显存。

技术新颖性

技术新颖性体现在四个层面：(1) 形式化——首次把S-O-R和Schwartz理论统一为可计算的 $P(A\mid C, V)$ 框架，把模糊的"价值对齐"变成可微调的概率模型；(2) 数据规模——CVABench的1.1M+条跨域数据远超以往行为模拟研究，覆盖消费、对话、时空移动三类异质行为；(3) 评估协议——用GPV从生成行为中反推价值画像作为客观评估器，绕开LLM-as-a-judge的自指偏差；(4) 可解释性——验证器学到的value embedding自发恢复Schwartz圆形拓扑，$\text{CIS}=0.75$（原始仅0.48，理论值1.0），证明模型不仅学会预测行为，还学会了符合心理学理论的价值表征。

The overall model structure of our innovative value verifier and the reasoning architecture of the value-driven CVA agent.
Figure 2: The overall model structure of our innovative value verifier and the reasoning architecture of the value-driven CVA agent.
MDS Visualization of Embeddings / Reconstructed Circular Structure / Theoretical Hierarchy
Figure 5: MDS Visualization of Embeddings / Reconstructed Circular Structure / Theoretical Hierarchy
Semantic landscape of the "Universalism" value. The size of each term is proportional to its unnormalized Word-Value Relevance Score S(w, v), calculated via TF-IDF weighted cross-attention.
Figure 6: Semantic landscape of the "Universalism" value. The size of each term is proportional to its unnormalized Word-Value Relevance Score S(w, v), calculated via TF-IDF weighted cross-attention.

实验结果

核心发现分四块。第一，**反直觉的推理深度悖论**：表3显示Reasoning Agent-4的 $\text{Var}\%=-40.74$，群体方差塌缩至真实分布60%以下；表5平均标准差从110.29%单调降至50.84%，均值差从0.0173升至0.0914，证明"多想"加剧极化。第二，**CVA在个体保真度全面领先**：表3中Rating Acc=0.47（vs基线0.43）、Travel Pos.Acc=0.32（vs Role-Play 0.05，提升6.4倍）、Stay.MSE=2.77，均为最优。第三，**群体价值对齐最接近真值**：$\text{Var}\%=+1.06$（Optimal为0），Role-Play是+10.29，CVA避免群体极化。表6 Wasserstein距离也全面低于baseline。第四，**消融验证组件必要性**：表4从Raw→+SFT→+DPO→+Verifier逐步叠加，Rating Acc从0.22→0.47，验证器带来最大单步提升。

Comparison of psychological reasoning capabilities and interpretability across different paradigms.
Table 1: Comparison of psychological reasoning capabilities and interpretability across different paradigms.
Statistics of the constituent datasets within CVABench.
Table 2: Statistics of the constituent datasets within CVABench.
Main experimental results on CVABench.
Table 3: Main experimental results on CVABench.
Ablation study of the CVA architecture.
Table 4: Ablation study of the CVA architecture.
Analysis of population Rigidity and Polarization under varying Value Inference strengths.
Table 5: Analysis of population Rigidity and Polarization under varying Value Inference strengths.
Linguistic evaluation results across two simulation scenarios: Media Review and Online Conversation.
Table 6: Linguistic evaluation results across two simulation scenarios: Media Review and Online Conversation.
Definitions of the Ten Basic Values in the Schwartz Value Theory.
Table 7: Definitions of the Ten Basic Values in the Schwartz Value Theory.
Comparison of Circumplex Index of Structure (CIS) scores across different verification stages.
Table 8: Comparison of Circumplex Index of Structure (CIS) scores across different verification stages.
Sentiment accuracy trend with different inference intensity, we display the results of top 1/2/4 accuracy on four discrete inference intensity.
Figure 4: Sentiment accuracy trend with different inference intensity, we display the results of top 1/2/4 accuracy on four discrete inference intensity.
Violin plots of population preference distributions across 10 Schwartz value dimensions.
Figure 8: Violin plots of population preference distributions across 10 Schwartz value dimensions.
查看结构化数据
任务指标本文基线提升
媒体评论（Yelp） Rating Accuracy↑ 0.47 0.43 (Qwen2.5-7B SFT/DPO) +0.04 (≈9.3%)
媒体评论（Yelp） Sentiment Accuracy↑ 0.36 0.38 (Reasoning-2/4) -0.02（略低）
媒体评论（Yelp） TTR Wasserstein距离↓ 0.04 0.06 (所有baseline) 33%相对降低
在线对话（Reddit） Sentiment Accuracy↑ 0.53 0.52 (Qwen SFT/DPO) +0.01
在线对话（Reddit） TTR Wasserstein距离↓ 0.03 0.04-0.08 显著降低
时空移动（Foursquare） POI Position Accuracy↑ 0.32 0.05 (Role-Play) 绝对提升0.27（6.4倍）
时空移动（Foursquare） Stay Duration MSE↓ 2.77 2.87-3.04 最低MSE
群体价值分布对齐 Var%→0 +1.06 -40.74 (Reasoning-4) / +27.98 (Qwen SFT+DPO) 最接近最优0，Reasoning-4出现群体方差塌缩
Schwartz圆形结构重建 CIS Score↑ 0.75 0.48 (原始Verifier) +0.27（+56%），逼近理论值1.0

局限与改进

作者明确承认三大局限。第一，**规模和域覆盖不足**：CVABench仅约15K用户3个域，相对Socioverse等百万级多模态基准仍偏小；缺乏消费模式和文化偏好（如文学、电影选择）数据，难以验证跨文化泛化性。第二，**价值测量本身有偏**：尽管GPV比自陈问卷更稳定，但任何价值测量都难以做到无偏；尤其是Power和Security维度的名词概率超过10%，表示它们在生成数据中表征不稳定，被迫从CIS分析中排除。第三，**内容安全与真实性的张力**：为最大化行为保真，训练中保留了Reddit等真实数据中的部分瑕疵（如轻微偏见），这意味着生成的智能体可能输出与作者价值观不一致的内容；作者强调进行了PII脱敏和三个域的用户完全去重，以防止画像重建。我个人观察到的额外问题：(a) DPO只在SFT基础上训练1个epoch，偏好对的语言相似度S(yi,ygt)可能不是最优的奖励信号；(b) 验证器推理时N=3的候选数与人类实际决策时的搜索空间相比仍偏小，可能限制了多样性。

独立分析的弱点

独立分析三个主要弱点。**弱点1：候选数固定为N=3与人类决策的弹性搜索不匹配**——人类做决定时会根据重要性调整搜索深度，CVA的固定候选数让"大事小事都用3个候选"，可能限制了重要决策的细致度；改进方向是引入动态候选预算机制，让验证器置信度低时自动扩大N。**弱点2：DPO偏好构造依赖语言相似度，存在标签泄漏风险**——选最接近ground truth的作为正样本相当于直接引入了监督信号，违背了RLHF的初衷；改进方向是用验证器自身的分数或人类标注的偏好对替代语言相似度作为DPO奖励。**弱点3：群体级Var%虽接近0但仍为+1.06，提示存在系统性过度多样化倾向**——表5的Panel B显示CVA在Self-Direction维度均值偏差为+0.1547，可能因为SFT让模型倾向于"主动型"行为；改进方向是引入人口统计学先验作为正则项，或在训练时显式平衡10个价值维度的边际分布。**额外观察**：CVABench只覆盖了行为的3个域，但人类的价值激活在不同生活场景（家庭、职场、公共生活）下差异很大，跨域迁移能力未经验证。

未来方向

作者明确提出的方向有三：(1) 扩展CVABench规模到消费模式和文化偏好等更多领域，验证智能体泛化性；(2) 设计更精细的价值建模，例如捕捉价值之间的动态冲突与妥协过程；(3) 开展大规模人类被试实验，探究CVA智能体在HCI中的实际影响。基于结果我补充三个延伸方向：(a) **可引导智能体行为**：验证器attention权重已被证明与Schwartz理论结构一致，可以用作"价值探针"，通过操纵attention直接引导智能体行为——这是文章提到的probe-based value manipulation的实操化；(b) **CVA + 多模态扩展**：把上下文C从文本扩展到视觉（VLA系统）和语音，使CVA能驱动具身智能体；(c) **跨文化价值对齐**：Schwartz理论虽号称跨文化普适，但具体权重的文化差异显著，未来的CVA可加入文化条件变量以适应不同地区的价值画像。

复现评估

代码和checkpoint作者声明将随论文补充材料发布（原文有"our implementation is available in the supplementary materials"，但链接未在main text给出）。数据部分：CVABench基于三个公开数据集（Yelp Dataset Challenge、Pushshift Reddit、Foursquare GWN/NationTelescope），都可从原始渠道获取，但需自行做用户匹配和轨迹对齐；这是非平凡的工程工作。算力需求：Qwen2.5-7B + QLoRA + Flash Attention 2的训练在单卡A100（80G）级别即可完成，单个epoch的SFT+DPO耗时文中未明确但应在几小时量级；推理时N=3候选+验证器打分非常轻量。复现难度：**中等偏下**——主要工作量在数据准备和CVABench的标准化上，模型架构本身不算复杂。潜在风险：Reddit原始数据许可问题已在2023年后趋严，论文使用的数据时间窗口需要确认。

论文图表

Overview of the proposed framework. The agent analyzes the historical Context to explicitly model dynamic Value Preferences and Activations. These activated values serve as internal criteria to verify and select the candidate action.
Figure 1: Overview of the proposed framework. The agent analyzes the historical Context to explicitly model dynamic Value Preferences and Activations. These activated values serve as internal criteria to verify and select the candidate action.

展示一个日常决策例子：用户早上起床到晚上下班的一系列Context（吃了大餐、久坐、疲惫），通过CVA架构激活不同价值（如Hedonism被激活），最终在"去健身房/按摩放松/与朋友吃饭/回家打游戏"几个候选动作中，验证器选出与当前激活价值最一致的"去健身房！"作为输出。

直观呈现CVA如何把心理学上抽象的"价值激活"变成可计算的三段式流程，是理解整篇论文的入口图。

Polarization and solidification phenomena of the Stimulation dimension within Schwartz's value framework, as observed in simulation results across different baselines.
Figure 3: Polarization and solidification phenomena of the Stimulation dimension within Schwartz's value framework, as observed in simulation results across different baselines.

小提琴图展示Reasoning Agent在Stimulation维度上，随着推理轮次从0增到8，分布宽度持续收窄、均值向+1极端移动，直观呈现"推理越深越极化"的反直觉现象。

论文最核心的反直觉发现的视觉证据，是motivation的实证支撑。

Probability of biased decision-making across varying Hedonism scores.
Figure 7: Probability of biased decision-making across varying Hedonism scores.

散点热力图展示在Self-Direction固定为0.9、Hedonism从0.2变到0.6时，GPT-4o角色扮演输出"去健身房"的偏置概率。Hedonism=0.5时仍有0.99的偏置概率，0.6时仍为0.93，证实行为刚性的具体数值。

附录中的lead-in case，是行为刚性最直观的演示，给读者具体数字感知。