超越助手回合：用户回合生成作为语言模型交互感知能力的探针 Beyond the Assistant Turn: User Turn Generation as a Probe of Interaction Awareness in Language Models
用"用户回合生成"作为新探针，揭示任务准确率与交互感知能力完全脱钩。
前置知识
Chat Template 与角色头 (Role Headers)
现代 LLM 用特殊 token（如 Qwen 的 <|im_start|>user、<|im_start|>assistant 等角色头）拼接 user 与 assistant 回合，模型根据角色头决定生成哪一侧的内容。权重本身不显式存“用户/助手”信息，而是通过两侧回合的统计共现来学习。
本文核心操作就是“让模型在收到 assistant 头之后继续按 user 头生成”，也就是反向调用一个本该单向工作的对话模板。不理解角色头的工作机制，就无法理解为什么这种简单的“角色切换”能成为一种对模型内部表征的非平凡探针。
贪心解码与温度采样 (Greedy Decoding vs Temperature Sampling)
贪心解码（$T=0$）每步取概率最大 token，相当于采分布的众数；温度采样通过 $p'_i = \mathrm{softmax}(\log p_i / T)$ 重塑分布，$T>1$ 让分布更平。直观上，温度揭示“被众数掩盖的次模态”中是否存在目标能力。
论文最关键的发现正是 Qwen3.5 在 $T=0$ 时跟随率为 0%、$T=1$ 时却跳到 22%，这正是温度把“潜藏的交互感知”从分布中“挖”出来的体现。理解贪心与众数的区别是看懂 Figure 1/4 的关键。
LLM-as-Judge (LLM 评判器)
用一个强 LLM 给被评估模型打标签：喂完整 prompt 与生成内容，要求输出“理由 + 标签”，用 $\sigma \in \{0,1\}$ 量化。关键风险是评判器偏差，因此需与人类标注对齐验证，本文报告 Cohen's $\kappa = 0.726$。
论文没有用 embedding 分类器，而是直接用 LLM 判断用户回合是否“扎根于上下文”，原因正是 grounding 是一种语义判断，难以用固定规则替代。理解 LLM-as-Judge 的工作方式与局限是评估本文结论可信度的前提。
自博弈与多智能体协作 (Self-Play & Multi-Agent Collaboration)
自博弈让同一模型分别扮演对话两侧以合成训练/评测数据；多智能体协作让多个 LLM 实例分工完成任务。两者都要求模型能站在对方视角理解对话演化，否则自博弈数据退化为无效循环。
本文明确把“缺乏交互感知”定位为自博弈/多智能体管线失败的根本原因，区别于“任务能力不足”。理解这一动机有助于把握为什么“任务准确率高”并不自动带来“好的对话伙伴”这一反直觉结论的现实意义。
SFT 与带 PPO 的在线 RL 后训练 (SFT and PPO-based Online RL)
PPO 裁剪目标：$\mathcal{L}=\mathbb{E}[\min(\rho_t A_t, \mathrm{clip}(\rho_t, 1-\epsilon, 1+\epsilon)A_t)]$，$\rho_t$ 是新旧策略概率比。SFT 仅在 assistant token 上做监督微调。
论文第 3.5 节用 CollabLLM 框架对 Qwen3.5-2B 做 SFT 与带 PPO 的多轮 RL，比较两种后训练对交互感知的影响。理解两种训练范式的差异（监督目标 vs 奖励驱动）才能解释为什么 SFT 大幅涨跟随率却掉任务分、RL 保留任务分只小涨跟随率。
Cohen's Kappa 评估者一致性
公式为 $\kappa = (p_o - p_e)/(1 - p_e)$，$p_o$ 为实际一致率，$p_e$ 为随机一致率。$\kappa$ 越接近 1 一致性越强；$0.6<\kappa<0.8$ 算 substantial，$\kappa>0.8$ 算 almost perfect。
论文报告 LLM 评判器与人类盲标注一致性 $\kappa = 0.726$，用以论证“用 LLM 当评判器”在交互感知这一非平凡任务上的可靠性。理解 $\kappa$ 的取值含义是判断该结果“够不够好”的标尺。
研究动机
当前 LLM 评测几乎完全聚焦“助手回合”：给 query $q$，生成 response $a$，verifier 打分即结束。但 LLM 本质是用同时包含 user 与 assistant 两侧的 token 序列做后训练的（Qwen Team 2026、OpenAI 2025、Zeng et al. 2025），权重里既编码了“如何回答”，也可能编码了“如何预期用户下一步反应”，而现有 benchmark 只能看见前者。更糟的是，论文在实验中复现了“身份漂移”失败模式（Shekkizhar et al. 2025）：GSM8K 96% 准确率的模型一旦被要求在 user 角色下继续生成，要么原样复述 query，要么干脆继续按 assistant 方式解题。Figure 5 给出一例：Qwen3.5-9B 与 27B 都答对同一道 GPQA 化学题，但前者 user turn 是对推理过程的具体质疑，后者只是把原 prompt 抄了一遍。该缺陷在自博弈、多智能体协作、伙伴建模（ToM）以及多轮训练数据合成场景下是致命的。
本文的目标是本文提出把“用户回合生成”（user-turn generation）作为评估 LLM 交互感知（interaction awareness）的新探针。具体目标含三点：(i) 形式化定义为 $u = M_\theta([q; a])$，即同一个模型 $M_\theta$ 在已有 $(q, a)$ 上下文中以 user 角色续写；(ii) 用 LLM 评判器为每次生成打“genuine follow-up vs degenerate”二元标签 $\sigma \in \{0,1\}$，在 5 个评测集（GSM8K 1319、IFEval 541、IFBench 300、GPQA Main 448、GPQA Diamond 198）与 2 个持有真实人类 follow-up 的数据集（HealthBench 1470、Coval 100）上报告 genuine follow-up rate 作为主指标；(iii) 通过跨家族对比、温度扫描、控制扰动与后训练干预四个角度，验证指标“能区分、有意义、可被训练改变”，并系统揭示“任务能力 ≠ 交互感知”这一非单调关系。
与已有工作不同的是，以往工作对“用户侧”的处理大多落在“用户模拟”（user simulation）这一研究线（Naous et al. 2026、Dou et al. 2025、Zhou et al. 2026），关心的是“如何让 LLM 模拟一个逼真的用户”，本质上是把“用户”当成一个待拟合的分布；本文选择了一条与它们互补但本质不同的路线：把“用户回合生成”用作模型自身内部表征的探针 (probe)，关注的是“当模型被允许生成用户回合时，其权重中是否编码了与上文相关的连续性”，而不是“模型能不能模仿一个具体用户群体”。正是这一视角差异，让本文可以同时回答两个新问题：交互感知是否随模型规模放大（答案是 no）、交互感知在训练分布中究竟是“缺位”还是“被压制”（答案是后者，且因家族而异）。
核心方法
核心直觉非常朴素：把 LLM 当成对话的“两侧”，只训练和评估“助手侧”会留下盲区；只要在推理时通过修改过的 chat template 让同一个模型在 assistant 输出之后继续按 user 头生成，就能用“它在 user 角色下说的话”反过来读出它对这段对话的理解深度。技术路线分四步：第一步生成或给定 assistant 回复 $a$；第二步手动拼 user 头（如 <|im_start|>user\n）让 $M_\theta$ 在 $[q; a; \text{user header}]$ 上继续采样得 $u$；第三步用 LLM 评判器按 $\text{FOLLOWUPEVAL}(q, a, u) = \{\text{rationale}, \ell, \sigma\}$ 评估 $u$ 是否为 genuine follow-up；第四步在 $T \in \{0, 0.3, 0.7, 1.0\}$、多家族、多数据集上扫描。温度扫描用于判断交互感知究竟是“被压制在分布次模态”还是“根本不存在”，即区分 latent vs genuinely absent。
最核心的创新在于把评测对象从“模型能不能做对题”切换到“模型能不能产生与上文有信息关联的用户反应”，并用简单到近乎 trivial 的方法（角色头切换）实现对内部表征的非平凡探针。与已有方法的本质区别有三点：(1) 不同于 user simulation 关注“让 $M_\theta$ 拟合外部用户分布”（Naous et al. 2026 等），本文用 $M_\theta$ 在自身助手回复之上做 user 角色生成，反映权重对自身输出的内生反应；(2) 不同于 embedding 分类器，本文用 LLM-as-Judge 对完整 $(q, a, u)$ 三元组做 grounding 判断，并显式区分 7 种退化模式（previous_turn_restate、new_task_prompt、assistant_turn_restate 等），既给可解释标签又直接诊断“病在哪”；(3) 同时报告 $T=0$ 众数行为与 $T>0$ 分布行为，构造“latent vs absent”这一新维度。
方法步骤详情
实验分五步：(1) self-generated：对 $q$ 用 $M_\theta$ 采 $a$，注入 user 头得 $u = M_\theta([q; a; \text{user header}])$。(2) held-out：从 HealthBench/Coval 取真实 $(q, a)$，让 $M_\theta$ 生成 $u$。(3) FOLLOWUPEVAL：把 $(q, a, u)$ 与 7 类 rubric 送 gpt-5.4-mini 输出 $\ell$ 与 $\sigma \in \{0,1\}$，与人类盲标注 $\kappa = 0.726$。(4) 温度扫描：三个数据集上 $T \in \{0, 0.3, 0.7, 1.0\}$ 各生成一次。(5) 扰动+后训练：truncation 截 $\max(25, \lceil 0.25n \rceil)$ token；explicit question 追加 “What do you think?”；CollabLLM 对 Qwen3.5-2B 做 SFT 与 PPO，5k 样本 1 epoch。
技术新颖性
技术新颖性可归纳为四点：(1) 提出“用户回合生成”作为新范式行为探针，用 $u = M_\theta([q; a])$ 公式锚定为可重复实验。(2) 用 LLM-as-Judge + 7 类标签把“退化模式”做成可分类现象，让诊断不同家族的不同失败模式成为可能（Qwen 偏 previous_turn_restate、gpt-oss 偏 new_task_prompt）。(3) 温度扫描把“能力是否在分布中”从不可见变成可度量：Qwen3.5-27B 在 GSM8K 上 $T=0 \to T=1$ 跟随率从 0% 跳到 22% 是 assistant-only benchmark 永远看不到的现象。(4) 把 CollabLLM 配方首次与 user-turn 探针对接：SFT 后 Qwen3.5-2B IFBench 跟随率从 1% 跳到 48%、RL 后从 2% 跳到 9.1% 但 GSM8K 准确率从 62.9% 反升到 67.4%，证明“交互感知可被训练改变”且 SFT vs RL 走不同路径——把探针从评测工具升级为“训练诊断工具”的关键一步。
实验结果
11 个开源模型 + 5 评测集 + 2 持有集上展开五层发现：(1) 跨家族脱钩：GSM8K 任务分从 57.8% 涨到 96.8%，但 follow-up 全 $<1.5\%$；gpt-oss-20B 任务分仅 78.6% 反而 1.2% 跟随率。(2) 分布潜伏性：Qwen3.5-27B 在 GSM8K/GPQA/IFBench 上 $T=0 \to T=1$ 跟随率从 0%/1.5%/1% 跳到 22.0%/35.9%/30.7%；gpt-oss-120B 在 GSM8K 始终 $\le 0.1\%$。(3) 家族内不缩放：IFBench $T=1$ 时 0.8B 已 27.7%、397B 才 43.7%。(4) 扰动验证：truncation 把 GLM-4.7 GSM8K 跟随率从 1.0% 拉到 55.0%、gpt-oss-120B GPQA 从 20.7% 拉到 65.7%。(5) 后训练可塑性：Qwen3.5-2B SFT 把 IFBench 跟随率从 1% 拉到 48%，RL 保留任务分 67.4%——SFT 暴涨但牺牲任务分，RL 缓涨且保任务分。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| GSM8K 数学推理（跨家族 $T=0$） | Task Accuracy (%) vs Genuine Follow-up Rate (%) | Qwen3.5-397B-A17B: Acc 96.8% / Follow-up 0.8%；Qwen3.5-27B: Acc 93.9% / Follow-up 0.0%；Qwen3.5-9B: Acc 57.8% / Follow-up 0.8% | gpt-oss-120B: Acc 95.3% / Follow-up 0.0%；gpt-oss-20B: Acc 78.6% / Follow-up 1.2%；GLM-4.7: Acc 89.5% / Follow-up 1.0% | Follow-up rate 与 Accuracy 几乎不相关：Qwen3.5-397B 任务分最高（96.8%），Follow-up 仅 0.8%；gpt-oss-20B 任务分仅 78.6%，Follow-up 反而有 1.2% — 任务能力强者不一定交互感知强 |
| GPQA Diamond 专家问答（跨家族 $T=0$） | Task Accuracy (%) vs Genuine Follow-up Rate (%) | Qwen3.5-397B-A17B: Acc 86.1% / Follow-up 0.5%；Qwen3.5-27B: Acc 67.2% / Follow-up 1.0%；Qwen3.5-9B: Acc 50.0% / Follow-up 13.1% | gpt-oss-120B: Acc 66.4% / Follow-up 20.7%；gpt-oss-20B: Acc 37.8% / Follow-up 16.7%；GLM-4.7: Acc 58.3% / Follow-up 1.5% | gpt-oss 家族在 GPQA 上呈现明显优势：gpt-oss-120B 任务分 66.4% 反而拿到 20.7% 跟随率，是 Qwen3.5-397B（0.5%）的 41 倍 |
| IFBench 指令遵循（跨家族 $T=0$） | Task Accuracy (%) vs Genuine Follow-up Rate (%) | Qwen3.5-397B-A17B: Acc 51.6% / Follow-up 9.7%；Qwen3.5-27B: Acc 40.4% / Follow-up 1.0%；Qwen3.5-9B: Acc 30.7% / Follow-up 3.3% | gpt-oss-120B: Acc 54.6% / Follow-up 1.3%；gpt-oss-20B: Acc 40.1% / Follow-up 1.0%；GLM-4.7: Acc 40.0% / Follow-up 4.7% | IFBench 上 Qwen3.5-397B 跟随率 9.7% 是同家族中最高，但 gpt-oss 跟随率仅 ~1%；不同家族在不同任务上呈现不同优势，无统一 winner |
| GSM8K 温度扫描（Qwen3.5-27B 与 GLM-4.7） | Genuine Follow-up Rate (%) at T ∈ {0, 0.3, 0.7, 1.0} | Qwen3.5-27B: 0.0% / 4.7% / 18.0% / 22.0%；GLM-4.7: 1.0% / 3.3% / 7.7% / 15.2% | gpt-oss-120B: 0.0% / 0.0% / 0.1% / 0.1%（几乎不变） | Qwen3.5 与 GLM 呈现“分布中潜伏”模式：从 $T=0$ 到 $T=1$ 跟随率提升 22-15 个百分点；gpt-oss 呈现“真正缺位”模式：温度变化几乎无影响 |
| GPQA Diamond 温度扫描（Qwen3.5-27B） | Genuine Follow-up Rate (%) at T ∈ {0, 0.3, 0.7, 1.0} | Qwen3.5-27B: 1.5% / 7.7% / 35.4% / 35.9%；Qwen3.5-9B: 13.1% / 11.6% / 35.4% / 12.1% | gpt-oss-120B: 20.7% / 12.1% / 47.0% / 19.7% | GPQA 上 Qwen3.5-9B 在 $T=0$ 已经领先（13.1%），$T=0.7$ 涨到 35.4%，但 $T=1$ 反而回落到 12.1%，呈非单调曲线 — 家族内部不缩放的明确证据 |
| IFBench 温度扫描（Qwen3.5 全家族） | Genuine Follow-up Rate (%) at T=1.0 | Qwen3.5-397B: 43.7%；Qwen3.5-122B-A10B: 25.3%；Qwen3.5-27B: 30.7%；Qwen3.5-9B: 36.0%；Qwen3.5-0.8B: 27.7% | GSM8K Acc 0.8B→397B 41.6%→96.8% 的近线性缩放 | IFBench 跟随率不随规模缩放：0.8B 已达 27.7%、397B 才 43.7%，且 MoE 变体 35B-A3B/122B-A10B 反而落后于其稠密对等模型 |
| Truncation 受控扰动（GSM8K & GPQA Diamond） | Genuine Follow-up Rate (%) (Full → Truncated) | GLM-4.7 GSM8K: 1.0% → 55.0%（+54.0pp）；GLM-4.7 GPQA Dia: 2.0% → 39.4%（+37.4pp）；gpt-oss-120B GSM8K: 0.0% → 24.2%；gpt-oss-120B GPQA Dia: 20.7% → 65.7% | Qwen3.5-27B GSM8K: 0.0% → 0.0%（无变化）；Qwen3.5-397B GSM8K: 0.8% → 4.9% | GLM-4.7 与 gpt-oss 对 truncation 高度敏感（follow-up 涨 20-55pp），证实其权重确实在 attend assistant 内容；Qwen3.5 几乎无响应，提示其默认就是 prompt restate 而不看 assistant |
| Explicit Question 受控扰动（IFBench） | Genuine Follow-up Rate (%) (Base → +Question) + %Changed | gpt-oss-120B: 1.3% → 25.7%（+24.4pp，99.0% changed）；gpt-oss-20B: 1.0% → 6.0%（+5.0pp，97.3% changed）；GLM-4.7: 4.7% → 5.0%（99.0% changed 但 follow-up 不涨） | Qwen3.5-27B: 1.0% → 0.0%（-1.0pp，6.3% changed）；Qwen3.5-397B: 7.7% → 4.7%（-3.0pp，40.3% changed） | gpt-oss 对显式问题最敏感且能转化为 follow-up；GLM-4.7 关注到了扰动（99% changed）但 follow-up 没涨；Qwen3.5 几乎不响应扰动 |
| 后训练干预（Qwen3.5-2B，CollabLLM） | GSM8K Acc / IFBench Follow-up / GPQA Dia Follow-up / HealthBench Follow-up / Coval Follow-up | Base: 62.9% / 1.0% / 2.0% / 36.7% / 19.4%；SFT: 40.3% / 48.0% / 46.0% / 54.4% / 45.2%；RL (PPO): 67.4% / 10.0% / 9.1% / 46.5% / 29.0% | Base Qwen3.5-2B 未做后训练；与同家族 Qwen3.5-9B 在 $T=0$ 的 IFBench Follow-up 3.3% / GPQA Dia 13.1% 横向对比 | SFT 大幅涨 follow-up（IFBench +47pp，GPQA Dia +44pp）但任务分掉 22.6pp；RL 涨 follow-up 同时保留/反升任务分（Acc 62.9→67.4%），证明交互感知是后训练可塑的，且不同训练范式走不同路径 |
| Holding-out 验证（Coval, 100 样本） | Genuine Follow-up Rate (%) on 真实人类 follow-up 数据 | Base Qwen3.5-2B: 19.4%；SFT: 45.2%；RL (PPO): 29.0% | T=0 Qwen3.5-9B 在 IFBench 仅 3.3%、GPQA Dia 13.1%（同任务对照） | Coval 全部用真实人类 follow-up 作为 ground truth；Base 已 19.4%、SFT 涨到 45.2%，证明 user-turn 探针的提升能在人类分布上迁移 |
局限与改进
作者在 §4 明确承认五点局限。(1) 评判器依赖单一 LLM（gpt-5.4-mini），与人类标注一致性 $\kappa = 0.726$ 达 substantial 但未到 almost perfect。(2) probing 测的是“能否产出 grounded follow-up”，不直接等于“复现某个特定人类下一句”，与 user simulation 目标有本质差异。(3) held-out 评估仅英语对话域，多语言、代码生成、更长 horizon（>5 回合）多轮交互未验证。(4) 最强模型最高温度下 follow-up 仍是 minority（最高 47%），下游实用性如 best-of-N 助手回复选择、reranking、自博弈数据合成等未在本文中验证。(5) 后训练实验仅在 Qwen3.5-2B 一个模型上做了初步探索。本人额外观察到：温度扫描每设定只跑一次 generation，缺乏对 $T$ 曲线的置信区间。
独立分析的弱点
方法与实验设计有若干可改进之处。(1) 温度扫描可解释性不够细：未对同一组合跑 $k \ge 4$ 次独立生成并报告均值±方差，可能让 0.8B 与 397B 对比掺杂采样噪声。(2) 评判器未做 per-label 置信度分解：7 类 descriptive label 分布未被提升到正文级可读图表，gpt-oss 偏 new_task_prompt、Qwen 偏 previous_turn_restate 这类关键结论难以判断统计学稳健性。(3) probing 只测了“单回合 user 续写”，未测 3-5 回合长 horizon。(4) self-generated 与 held-out 设置差异未被充分讨论：Base Qwen3.5-2B 在 Coval 上 follow-up 已 19.4%，远高于 GSM8K 的 1.0%。(5) post-training 训练数据仅 200 道 MATH level-5 展开的 5k 样本，SFT 出现 22.6pp 准确率下降很可能是该规模下过拟合/遗忘。
未来方向
作者在 §4 提出：把 follow-up eval 拓展到下游应用（best-of-N 助手回复选择、自博弈训练数据合成过滤、collaborative partner model 选择）。本人可进一步延伸：(1) 把 $u = M_\theta([q; a])$ 拓展为多回合，引入 follow-up consistency 作为长 horizon 评估指标。(2) 用 nucleus sampling $p$-threshold、top-$k$ decoding 替换温度扫描。(3) 在 ChatML、Llama-3 等不同 chat template 上重复实验，验证“身份漂移失败模式”是 chat template 设计还是训练过程的产物。(4) 把 CollabLLM 推广到 Qwen3.5-9B/27B、gpt-oss-120B 等更大模型，特别关注能否在不丢任务分前提下达到 30%+ follow-up。(5) 用 embedding 分类器或对比 learning head 在内部 hidden state 上训练 linear probe。
复现评估
复现性整体较好但仍有缺漏。优点：(a) 11 个模型全开源（Qwen3.5、gpt-oss、GLM-4.7）；(b) 5 个评测数据集为公开标准 benchmark，held-out 数据集 HealthBench/Coval 也公开；(c) footnote 1 给出 vLLM + verlai/verl:vllm017.latest docker + H200 GPU 的可复现环境；(d) 评判器用 gpt-5.4-mini，API 可访问，与人类标注一致性 $\kappa = 0.726$。不足：(a) 论文未挂公开代码仓库链接，读者需自行实现 chat template 修改、温度扫描循环、judge prompt 三件事；(b) Judge prompt 具体内容未在正文给出（只描述 7 类标签），复现评判器需自行构造 rubric；(c) 5k 训练样本从 200 道 MATH 展开方式描述不充分；(d) 后训练 SFT/PPO 超参只给“1 epoch”，缺详细配置表。综合：可复现性中等偏上，约 2-3 周可复现主要数字。
论文图表
