SAVOIR：通过基于Shapley值的奖励归因学习社交得体能力 SAVOIR: Learning Social Savoir-Faire via Shapley-based Reward Attribution

完整流程见 Algorithm 1。Step 1：输入一段对话 $\tau$ 以及 agent 端的 $n$ 句话 $N=\{a_1,...,a_n\}$，用 KernelSHAP 采样 $K = \min(12n+2, 200)$ 个联盟 $C$，强制包含空集、全集、所有单元素和所有 $(n-1)$ 元素联盟（占 $2n+2$ 个），剩余 $10n$ 个按概率偏向极端大小采样。Step 2：对每个联盟 $S$ 重建历史 $H(S)$——即只保留 $S$ 中 utterance 及其配对的 partner 回应——然后让 agent policy $\pi_A$ 和 partner policy $\pi_B$ 跑 $J=2$ 次完整 rollout，计算 $v(S) = \frac{1}{J}\sum_j U(\tau_j)$，其中 $U(\tau) = \sum_d w_d G_d(\tau)$ 用 SOTOPIA 多维评分（GOAL 0.5, RELATIONSHIP 0.3, KNOWLEDGE 0.2）加权聚合。Step 3：用每联盟的 SHAP 核权重 $w_S = \frac{n-1}{\binom{n}{|S|}|S|(n-|S|)}$ 做加权线性回归 $\phi^* = \arg\min_\phi \sum_{S\in C} w_S \left[v(S) - \sum_i \phi_i \cdot z_i^S\right]^2$，输出每句话的 Shapley 值 $\phi_i$。Step 4：把 $\phi_i$ min-max 归一化到 $[0,10]$ 作为最终 utterance-level 奖励 $\hat\phi_i = 10 \cdot \frac{\phi_i - \min_j \phi_j}{\max_j \phi_j - \min_j \phi_j}$。下游流程：先用这 7,500 条对话的 utterance-奖励对训练一个 reward model $R_\theta(c,a) = \text{MLP}(\text{LLM}_\theta([c;a]))$，损失为 MSE $\mathcal{L}_{RM} = \mathbb{E}_{(c,a,\hat\phi)\sim D}[R_\theta(c,a) - \hat\phi]^2$；再做 3 epoch SFT 冷启（lr 2e-5, batch 32, seq 2048）；最后用 GRPO（lr 5e-7, KL 系数 0.05, batch 8, 2000 step, temperature 0.7, 每迭代 64 个 rollout）联合训练。

技术新颖性体现在三个层次。第一，**首次把 Shapley 值 + Expected Utility 联合用于社交 RL credit assignment**：Shapley 之前只用在天文学特征归因（SHAP）、博弈论合作解，论文是首次把这两个工具组合成 end-to-end trainable reward signal。差异于 Sotopia-RL 的 LLM 启发式分配：它没有公理保证也没有 prospective 视角，而 SAVOIR 把'公平性'变成可证明的数学性质（效率性 + 对称性 + 零玩家 + 可加性）。第二，**KernelSHAP 在 RL 中的工程化**：通过强制采样极端大小联盟 + 自适应 $K = \min(12n+2, 200)$，把指数级 $2^n$ 复杂度降到线性，配合 $J=2$ rollout 在 2×A100 上 7,500 条对话仅需 20 小时，完全是一次性离线成本；之后 online RL 不再有 Shapley 开销。第三，**实证上打破'大推理模型 = 好社交智能体'假设**：在所有推理模型（OpenAI-o1/o3-mini、Gemini-2.5-Pro、DeepSeek-R1、QwQ-32B）与 SAVOIR-7B 的对决中，推理模型全面落后，最弱推理模型 o3-mini 在 SOTOPIA-Hard Self-Play 仅 5.14 GOAL，比 SAVOIR（7.93）低 54.3%，这一发现对应 Feng et al. (2025) 的'推理能力不必然提升 role-playing'结论，是重要的实验 insight。

本文方法虽优雅但存在几个独立可改进点。第一，**多维奖励坍缩为标量**：当前用 $\hat\phi_i = 10 \cdot \frac{\phi_i - \min_j \phi_j}{\max_j \phi_j - \min_j \phi_j}$ 把三维 Shapley 压成一个数，这会丢失各维度的相对重要性。改进方向是 per-dimension Shapley：对 GOAL/REL/KNO 分别做 Shapley 回归得到 $\phi^{(d)}_i$（成本约 3 倍标注开销），再在 RL 时按 $\hat\phi_i = \sum_d w_d \phi^{(d)}_i$ 加权，能让策略同时学习多目标协同。第二，**对精英伙伴的退化**：Figure 7 显示面对 Gemini 3-pro 时性能掉了 17.8%，根源是训练伙伴分布单一。改进方向是 curriculum self-play：先用弱对手（如 GPT-4o-mini）warm-up，逐步引入 GPT-4o 到 Claude-3.5-Sonnet 再到 Gemini-Pro，并在训练时加一个'adversarial partner selector'挑当前模型最不擅长的策略类型。第三，**J=2 rollout 的高方差**：每次估值只用 2 个 partner 响应模拟未来轨迹，方差可能很大导致 Shapley 值抖动。改进方向是把 J 提到 4-8，或者用集中不等式 (Concentration inequality) 动态分配 rollout 预算到边际贡献估计方差最大的联盟。第四，**缺失跨文化基准**：SOTOPIA 是英语环境，社交规范差异极大。改进方向是引入 SocialEval-Zh / SocialEval-Ja 等多语种 benchmark，并用当地文化专家标注 coalition 价值 $v(S)$。第五，**reward hacking 风险**：因为 reward model 是 learned 的，可能被策略破解——agent 学到'高 Shapley utterance'模式的表面特征（如长度、礼貌词）而非真实策略。改进方向是引入 ensemble reward + 在线一致性检查，或者用 SOTOPIA 自带的 episode-level evaluator 做定期验证。

作者在 Related Work 和 Limitations 中给出三个明确方向：(1) 把 per-dimension Shapley 真正训出来（每维一次回归），用多维 reward 做 multi-objective RL；(2) 用 curriculum learning 配合多样对手策略缓解 Figure 7 的性能退化；(3) 把评估扩展到多语种、跨文化场景，借鉴 SocialEval (Zhou et al. 2025) 和 Guo et al. (2026) 的 game-theoretic 评测。从 SAVOIR 的成果可延伸的方向还有：(a) 把 Shapley-Expected Utility 框架从 SOTOPIA 推广到其他多回合博弈场景，如 Diplomacy、Werewolf、AI Town 等长 horizon 社交博弈；(b) 把 KernelSHAP 替换为更高效的 amortized Shapley 估计（如 Generative SHAP），进一步压缩离线成本；(c) 把 Shapley 值作为可解释性工具，分析社交对话中哪些 rhetorical move 真正起作用，给社会语言学 (sociolinguistics) 提供数据驱动的 insight；(d) 把 RL 算法从 GRPO 升级到 PPO + GAE，处理细粒度 advantage estimation；(e) 研究 Shapley credit assignment 与 LLM-as-a-judge 范式的兼容性，看是否能让 LLM 在评分时也采用类似 coalition-based reasoning。

可复现性整体较好：作者承诺开源代码（脚注 Code: SAVOIR），且大量依赖开源组件——Qwen2.5-7B-Instruct（开源 7B 模型）、Sotopia-RL 公开的 7,500 条 GPT-4o self-play 数据（HuggingFace u-lab-ai/sotopia-rl collection）、KernelSHAP（开源实现）、GRPO（DeepSeekMath 公开）。关键技术参数全部给出：reward model 训练 5 epoch、lr 1e-5、batch 16、MSE loss；SFT 3 epoch、lr 2e-5、batch 32、cosine schedule、seq 2048；GRPO lr 5e-7 配 500-step linear warmup、KL 0.05、batch 8、2000 step、temperature 0.7、64 rollouts/iteration；KernelSHAP K=min(12n+2, 200), J=2；utility 维度权重 $w_G=0.5, w_R=0.3, w_K=0.2$。硬件门槛不高：2×NVIDIA A100 80GB 即可，SFT 4 小时 + reward annotation 20 小时 + RL 56 小时，总共约 80 小时单节点训练。复现难度中等偏下：(1) 唯一不可完全复现的是 GPT-4o-Partner 评估部分（需要 GPT-4o API，且 GPT-4o 版本可能已更新导致评分漂移）；(2) 自博弈 rollout 需要调用 GPT-4o 作为 partner policy $\pi_B$，API 成本按 7,500 集 × 200 coalition × 2 rollout 估算约数千美元；(3) 5 专家人评不可重复，但只占辅助验证。第三方复现的最大坑在于 KernelSHAP 采样顺序、kernel weight 公式中 $|S| \cdot (n-|S|)$ 与 $\binom{n}{|S|}$ 的具体写法，附录 B 给出了完整 walkthrough 但实现细节仍需仔细对照。