ThoughtTrace：理解真实人机对话中的用户思维 ThoughtTrace: Understanding User Thoughts in Real-World LLM Interactions

方法流程可拆成"采集 + 标注 + 分析 + 验证"四块。**采集阶段**：通过 Prolific 招募用户，重定向到自研聊天平台；每个用户被随机分配 20 个 LLM 中的一个（用户不知道是哪个），完成 IRB 知情同意、Tutorial、Quiz 后进入 2 个 10 分钟的任务窗口；任务内容由用户自由定义（真实场景，模拟日常使用 AI 的方式）；用户可以开新对话或在同一对话内继续；每条 user message 旁有一个"reason"输入框（解释为什么发这条），每条 assistant message 旁有一个"reaction"输入框（描述看完 AI 回复的真实反应），annotation 不传给 AI。**标注阶段**：任务结束后做 post-task 问卷（任务描述、AI 期望），再统一做人口学 + AI 使用习惯问卷。**分析阶段**：用 LLM-as-judge 将 reason 分为 7 类（Task Motivation & Goal、Task Continuation、Task Reorientation、Content Expectation、Style Expectation、Context Grounding & Constraints、Social and Others），将 reaction 分为 5 类（Explicit Affirmation、Partial Satisfaction、Content Relevance、Presentation Style、Scope Fit）；用 UMAP 投影做嵌入差异分析；用 3 个前沿 LLM 推理 thought 并用另外 2 个 LLM 作为 judge 评分。**验证阶段**：第 5 节做两个下游实验——用户行为预测（表 1）：把 thought 作为 inference-time context 让 GPT-5.4/Gemini 3.1 Pro/Opus 4.6 预测下一条用户消息，评估预测与真值的语义相似度；模型对齐（表 2）：用 thought 中标记为不满的 reaction 引导重写 response，构造 DPO 偏好对训练 Qwen3.5-4B，在 Arena-Hard 上评估。

技术新颖性体现在三方面。**数据采集范式**：把 ToM 数据采集从"事后标注"变成"实时第一视角标注"，并把 thought 切分为 reason/reaction 两类结构化标签，这种细粒度的实时标注协议在之前的人机交互数据集（WildChat、PRISM、HumanLM）中都没有出现过。**现象级发现**：通过 UMAP + LLM judge 证明 thought 与 message 存在系统性的语义差距（coverage 3.22 vs 2.00、嵌入距离 9.75 vs 0.38/6.89/6.62），并证明 3 个前沿 LLM 都只能以 2.93/2.54 的相似度从上下文反推 thought——也就是说，到 2026 年最强的 LLM 也无法"读心"，这一观察是 thought 数据价值的实证基础。**思维信号的下游效用**：用 reaction 标签做"思维引导改写"比传统"消息引导改写"多 +4.5% 胜率，并且 thought 中"不满"信号是 message 中的 2.2 倍（1,000 vs 450），证明 thought 是比 message 更密、更精确的对齐监督信号。这些点共同把"用户思维"从模糊的心理学概念变成了可采集、可结构化、可计算的数据模态。

独立分析三个潜在弱点。**第一，thought 标注的可扩展性**。当前流程要求用户 10 分钟内同步标注 thought 和 message，这种"边聊边想"的范式很重，难以像传统数据爬虫那样低成本扩展。改进方向是开发"轻量版 thought 标注"——只标一个 5-10 词的关键词或表情反应，或者用 eye-tracking、皮肤电等被动信号近似 thought。**第二，7+5 类的 thought 标签体系可能过粗**。例如 Content Relevance（11.9%）和 Scope Fit（6.1%）都涉及"内容与需求的匹配度"，未来可以用层次化或更细粒度的标签（如事实准确性、引用可靠性、个性化程度）来提升 thought 的可操作性。**第三，下游任务评估仍偏窄**。表 1-2 只测了"下一条消息预测"和"DPO 对齐"两个点，没有在更广泛的任务上验证——例如个性化推荐、用户满意度回归、长对话的总结、多模态对话中的 thought 等。改进方向是把 ThoughtTrace 作为通用 benchmark 公开，推动社区在 thought prediction、thought-guided RLHF、thought-aware evaluation 等多任务上做系统比较。**第四，论文对 thought 的"真实性"没有反向验证**。所有结论都建立在用户自报的基础上，没有用事后访谈、行为指标等外部信号校准。改进方向是加入"思维-行为一致性"的子研究，比如 thought 标记为 Explicit Affirmation 的用户后续是否会真的给高分。

作者在第 5 节和结论中给出了几个明确方向。**联合预测 thought 与 message**：在用户模拟器训练中同时预测 reason/reaction 和 message 两条 token 流，可以让模拟器内部显式建模用户认知，从而缓解现有模拟器偏置和失真问题；HumanLM 已经尝试过类似思路但只有合成 thought，ThoughtTrace 提供真实数据。**结合 reason 的对齐**：当前实验只用 reaction 做"thought-guided rewrite"，未来可以同时把 reason 一起喂给改写器，把"为什么不满 + 哪里不满"作为更密集的监督信号。**扩展到 RM 和 online alignment**：把 thought 用在奖励模型训练、在线 RLHF、思维链蒸馏（OPD）等更复杂的对齐流程中。**思维中心化评测**：用 thought 构造 user satisfaction benchmark，把评测从"AI 说什么"扩展到"AI 是否理解用户的真实意图"。从延伸方向看，可以把 thought 数据用到：（a）人机协作中的可解释性（让 AI 解释自己读到了什么 thought）、（b）跨文化/跨人群的 thought 差异研究（不同年龄、职业、教育背景下的 thought 类型分布）、（c）隐私保护下的 thought 蒸馏（只学 thought 的分布而非具体内容）、（d）多模态 thought（用户看 AI 生成的图、听 AI 生成的声音时，thought 又会怎么变）。

作者明确表示数据集和项目页面 https://thoughttrace-project.github.io/ 会公开，1,058 用户、2,155 对话、17,058 turn、10,174 thought annotations 都会发布。**复现所需算力**：表 1 用户消息预测只需要 API 级别的推理（GPT-5.4、Gemini 3.1 Pro、Opus 4.6），每个 turn 评估语义相似度再由另外两个 LLM 作为 judge，整体成本可控。表 2 的 DPO 训练以 Qwen3.5-4B 为基模型，单机多卡即可，构造的偏好对数量未在正文披露但属于 4B 级别模型常规训练量，单次实验成本较低。**复现难度**：中等——数据采集流程（Prolific 招募、IRB 同意、自研平台）需要重新搭建，但作者给出详细 Protocol；LLM-as-judge 标签体系（7+5 类）依赖具体 prompt，复现时 prompt 细节的差异会影响标签分布；下游实验中 base 模型（Qwen3.5-4B）和 judge 模型（GPT-5.4 等）版本会随时间更新，严格复现需要锁定版本。**潜在的再现性问题**：thought 标签的 LLM 标注对 prompt 极其敏感，不同 prompt 模板可能让 36.9% 的 Task Motivation 占比漂移到 30% 或 45%，影响后续所有阶段分析。