MindZero：零标注学习在线心理推理

自监督强化学习训练多模态大模型做在线心智推理，无需心理状态标注

前置知识

Theory of Mind (心智理论, ToM)

指推断他人心理状态（信念、欲望、目标）的能力。在AI助手里，ToM意味着agent能从人的行为反推出对方在想什么、想要什么，从而预判需求并主动帮忙。本文聚焦的不是单次问答式ToM，而是『在线』ToM——在长时序交互中连续更新对人的推断、追踪多个竞争假设的不确定性。

整篇论文的目标就是让模型获得在线ToM能力，不理解ToM就不知道它在优化什么。

Bayesian Inverse Planning (贝叶斯逆向规划, BIP)

一种model-based的ToM方法：假设人是近似理性的规划者，通过贝叶斯推断『什么样的心理状态/目标最可能产生观察到的行为』，即 $P(m_t|s_{1:t},a_{1:t}) \propto P(a_{1:t}|m_t,s_{1:t}) \cdot P(m_t)$。它鲁棒可解释，但要在巨大假设空间里做前向规划来估计动作似然，计算上不可行。

MindZero的奖励函数就是把BIP的贝叶斯目标改写成可学习信号，理解BIP才能理解奖励设计的来源。

ELBO / 变分推断 (Evidence Lower Bound)

当真实后验 $P(m|a,s)$ 难以直接计算时，用一个参数化分布 $Q_\theta$ 去近似它，最大化证据下界 $\mathbb{E}_{Q_\theta}[\log(P(a|m,s)\cdot P(m))] + H(Q_\theta)$，其中熵项 $H(Q_\theta)$ 防止分布坍缩。MindZero把这个目标转成了RL的奖励函数。

论文的核心奖励公式（公式3、4）就是ELBO的离散化、样本化形式，是方法的数学根基。

GRPO (Group Relative Policy Optimization)

DeepSeek提出的RL算法，每个prompt采样一组rollout，用组内相对优势（reward减去组均值）做策略更新，免去单独训练critic。本文用它训练MLLM，每个prompt生成32个心理假设样本作为一组。

MindZero直接调用标准GRPO（VeRL框架）来落地自监督奖励，理解GRPO才能看懂训练循环。

多模态大语言模型 (MLLM)

能同时处理图像和文本的大模型，如Qwen3-VL系列。本文用它从观察到的环境图像+动作轨迹直接输出心理状态假设及其概率分布。

MLLM既是被训练的对象，又是奖励估计器（Household域里用Qwen3-235B估计动作似然和先验）。

研究动机

要让AI在真实世界里主动帮人，agent必须理解人的心智、预判需求，这要求强ToM能力。但现有三类ToM方法各有硬伤：(1) Prompting-based方法在长上下文理解、复杂行为、递归推理上仍有系统性错误；(2) Model-based方法（尤其BIP结合LLM的版本）虽然鲁棒，但需要在测试时搜索巨大假设空间、反复前向规划估计动作似然，计算代价对在线实时辅助而言完全不可承受；(3) Learning-based方法必须依赖昂贵且不可靠的『心理状态真值』标注，无法扩展到家庭/网页等开放真实域。更关键的是，真实助人场景需要的是『在线』心智推理——每个时间步都要更新多假设、追踪不确定性、据此重规划，而当前test-time scaling方法（如ThoughtTracing、AutoToM）虽能在单次问答任务上奏效，却因推理过慢而无法支撑实时辅助。此外，真实世界域几乎无法大规模采集带可靠心理状态标注的数据，这是学习路线的根本瓶颈。

本文的目标是本文的目标是训练一个小的多模态大语言模型，使其同时具备model-based方法（BIP式）的鲁棒性与可解释性，以及单次前向推理的速度与低计算成本，并且完全不需要心理状态真值标注。具体来说，希望模型能在长时序交互中：连续输出多个心理状态假设及其归一化概率（而不是单次问答）、随新观察不断修正信念、用这套带不确定性的假设驱动下游的主动辅助决策，并最终能在网格世界与真实家庭环境中显著加快人类任务完成、甚至在真人实验中提供有效的实时帮助。作者想把『昂贵但鲁棒的model-based推理』与『快速但易错的小模型推理』之间的鸿沟填平。

与已有工作不同的是，MindZero的独特切入角度是：放弃用真值标签监督心理状态，也放弃在推理时跑昂贵的贝叶斯搜索，而是把『心理推理』重新定义为一个自监督强化学习问题——核心目标是『解释性一致性（explanatory consistency）』。模型不被奖励去预测动作（那是前向建模/next-token prediction在做的事），而是被奖励去生成『最能解释已观察行为』的心理状态假设。这样奖励信号完全来自行为数据本身和模型自己的输出，由一个planner或LLM估计的动作似然来打分，从而把BIP的贝叶斯目标『蒸馏』进MLLM的权重里。训练后，原本需要反复搜索的model-based推理被内化为单次前向，既鲁棒又快。这是一个介于learning-based和model-based之间的全新范式。

核心方法

直觉上，MindZero让模型像侦探一样工作：不预测『这个人下一步会做什么』，而是反推『什么样的心理状态最能解释这个人刚才做的一系列动作』。训练时，模型 $Q_\theta$ 输入观察序列 $(s_{1:t}, a_{1:t})$，显式输出 $N$ 个心理状态假设 $\{m^{(i)}_t\}$ 及其归一化概率 $\{q^{(i)}_t\}$（$\sum_i q^{(i)}=1$）。接着用一个外部评估器——网格世界域用model-based planner、家庭域用LLM——估计每个假设下观察动作的似然 $P(a_{1:t}|m^{(i)}_t, s_{1:t})$，再结合心理先验 $P(m^{(i)}_t)$（均匀或LLM判断的合理性）和熵正则项，合成奖励。GRPO用这个奖励更新模型。训练完成后，model-based的贝叶斯逆向规划过程被内化进权重，推理变成单次前向，可直接服务于在线辅助。

最核心的创新是『自监督奖励』：奖励不是来自真值标签，而是来自假设对观察行为的解释力（动作似然）。这把ELBO $\mathbb{E}_{Q_\theta}[\log(P(a_{1:t}|m_t,s_{1:t})\cdot P(m_t))]+H(Q_\theta)$ 离散化成可优化的奖励 $R=\sum_i q^{(i)}_t[\log P(a|m^{(i)},s)+\log P(m^{(i)})]-\sum_i q^{(i)}_t\log q^{(i)}_t$。与next-token prediction（模仿未来）这类前向建模目标的本质区别在于：MindZero是『逆建模（inverse modeling）』——把动作当作证据而非预测目标，去反推隐变量（心理状态）。这也与标准RLHF不同：RLHF要人写preference或标注，而这里的奖励纯粹自监督。再加上熵正则防止mode collapse、多假设追踪不确定性、显式先验防reward hacking，整套设计把BIP的鲁棒结构蒸馏进了小模型。

方法步骤详情

完整流程分训练与推理两阶段。训练阶段：(1) 输入观察序列 $(s_{1:t}, a_{1:t})$；(2) 模型 $Q_\theta$ 生成 $N$ 个心理假设 $M_t=\{m^{(1)}_t,...,m^{(N)}_t\}$ 及归一化概率 $Q_t=\{q^{(1)}_t,...,q^{(N)}_t\}$（GridWorld用 $N=2$ 候选目标对，Household用 $N=10$），作为变分后验的有效支撑集；(3) 动作似然估计——网格世界用基于最短路径的model-based planner前向规划得到 $P(a_{1:t}|m^{(i)},s_{1:t})$，家庭域用Qwen3-235B-A22B作reward model用LLM打分；(4) 心理先验 $P(m_t)$——网格世界用均匀先验，家庭域用LLM判断目标合理性（如把苹果放进洗碗机会被打极低分，避免『把所有物品都塞进目标』这类reward hacking）；(5) 按公式4合成奖励，组内32个rollout用GRPO更新（lr $1\times10^{-6}$、KL系数 $1\times10^{-2}$、20 epochs、4×H100）。推理阶段：单次前向即输出假设+概率，无需planner搜索。辅助决策再按 $P(A_t|s_{1:t},a_{1:t})=\sum_m P(A_t|s_t,m)P(m|s_{1:t},a_{1:t})$（公式2）用不确定性感知的helping planner（Boltzmann策略 $Q(a)=\sum_i p_i V(a|g_i)$）生成帮助动作。

技术新颖性

技术新颖性体现在几个互相咬合的点：(1) 把BIP式的贝叶斯后验目标改写成可微/可学习的ELBO奖励，再通过GRPO蒸馏进MLLM权重，实现『内化model-based推理为单次前向』——这是把deliberative推理变成reflexive推理的关键；(2) 区分『前向建模（预测动作）』与『逆建模（解释动作）』，明确指出next-token prediction和autoregressive trajectory modeling学不到心智推理能力，因为它们优化的是预测而非解释；(3) 奖励完全自监督，不依赖真值心理标注，绕开了learning-based方法的标注瓶颈；(4) 用熵正则 $-\sum q\log q$ 鼓励假设多样性、防止过早坍缩到单一假设；(5) 用显式LLM先验约束假设空间、防reward hacking；(6) 多假设集作为变分后验的粒子化近似，天然追踪不确定性。这套组合让一个小开源MLLM既鲁棒又快，且不需要标注数据。

**Figure 2**: Overview of the Self-Supervised Reinforcement Learning (SSRL) framework and reward computation

**Figure 3**: Experimental settings for mental state reasoning and proactive assistance

实验结果

QA任务上：GridWorld QA中，MindZero把Qwen3-VL-4B从37.7%提到95.0%（2.5×）、Qwen3-VL-8B从43.3%提到92.3%（2.1×），且推理TFLOPs几乎不增加（4B仅3.6）；Household QA中，Llama-3.2-3B→77.8%、Llama-3.1-8B→76.2%、Qwen3-4B→72.7%，均以极低成本超过ThoughtTracing和AutoToM这两个test-time scaling方法——即便它们后端用的是更大的Qwen3-235B-A22B（2097.9 TFLOPs vs MindZero约13 TFLOPs）。Proactive Assistance上：GridWorld中MindZero w/ Qwen3-VL-4B达23.0% speedup、w/ Qwen3-VL-8B达24.5%，而Qwen3-235B-A22B仅1.0%、GPT-5.2和Gemini-3-Flash因目标预测不断变化导致helper动作不稳定而几乎为0% speedup——说明大模型本身不足以胜任在线辅助，稳定的目标推断才是关键；Household中Qwen3-4B达19.1%、Llama-3.1-8B达17.4%、Llama-3.2-3B仅4.3%（需warm-up且增益受限）。消融（Qwen3-4B）：去掉entropy bonus最致命（5.2%，-13.9%），其次多假设（10.3%，-8.8%），最后prior建模（17.0%，-2.1%）。在线动态（Figure 5）显示MindZero是唯一随任务推进持续提升推断、并在GridWorld中唯一显著上升的方法。12人真人实验：Qwen3-4B base仅2.6% speedup，MindZero w/ Qwen3-4B达19.7%（SE 6.3%），与Gemini-3-Flash的23.4%（SE 6.4%）在配对t检验下差异不显著（p=0.24）——用小开源模型追平了顶级闭源模型。

**Table 1**: Proactive assistance results on GridWorld and Household domains

**Table 2**: Ablation on Household Proactive Assistance using Qwen3-4B

**Table 3**: Human experiment per-task results in the Household Proactive Assistance domain

**Table 4**: Full question answering results on GridWorld and Household domains

**Figure 4**: Question answering results on GridWorld and Household domains

**Figure 5**: Goal accuracy or F1 score for online goal inference versus task progress

**Figure 10**: Human experiment interface for the Household Proactive Assistance domain

查看结构化数据

任务	指标	本文	基线	提升
GridWorld Question Answering (二选一社会推理)	Accuracy (%) / TFLOPs	95.0 (Qwen3-VL-4B) / 3.6 TFLOPs	Qwen3-VL-4B base 37.7%；ThoughtTracing w/ Gemini-3-Flash 64.0%；Gemini-3-Pro 83.7%	较base提升57.3个百分点（2.5×），推理成本几乎不变，并超过最强test-time scaling与Gemini-3-Pro
GridWorld Proactive Assistance (主动辅助)	Speedup (%) / TFLOPs	23.0 (Qwen3-VL-4B) / 161.4；24.5 (Qwen3-VL-8B) / 291.8	Random Goal 0.0；Qwen3-VL-235B-A22B 1.0；GPT-5.2/Gemini-3-Flash ~0.0	在所有大模型几乎都无加速的情况下，唯一提供显著正加速（约23–25%）
Household Question Answering (MMToM-QA)	Accuracy (%) / TFLOPs	Llama-3.2-3B 77.8；Llama-3.1-8B 76.2；Qwen3-4B 72.7	Llama-3.2-3B base 34.8；Qwen3-4B base 42.8；ThoughtTracing w/ Gemini-3-Flash 72.3；GPT-5.2-Think 73.5	以约4–13 TFLOPs的低成本，超过用GPT-5.2后端的ThoughtTracing，并逼近GPT-5.2-Think水平
Household Proactive Assistance (O-WAH)	Speedup (%) / TFLOPs	Qwen3-4B 19.1 / 201.2；Llama-3.1-8B 17.4；Llama-3.2-3B 4.3	Qwen3-4B base 2.3；Gemini-3-Flash 17.7；GPT-5.2 9.4；Qwen3-235B-A22B 12.3	以最低推理成本取得最高speedup，超过Gemini-3-Flash与GPT-5.2等闭源大模型
真人辅助实验 (12人, Household)	Speedup (%) / 配对t检验	MindZero w/ Qwen3-4B 19.7 (SE 6.3)	Qwen3-4B base 2.6；Gemini-3-Flash 23.4 (SE 6.4)	用小开源模型追平Gemini-3-Flash，差异不显著（p=0.24）；base模型在Task 5/13甚至为负加速

局限与改进

作者明确承认两点局限：(1) 当前框架不建模多智能体间的递归推理（即『我认为你认为我认为……』的nested belief），而这在多方协作中常见；(2) 随输入序列变长，模型所需输入token长度也线性增长，长程任务会有上下文压力。我自己的观察：方法只在仿真家庭（VirtualHome）与网格世界验证，真实物理世界的感知噪声与行为多样性未被测试；真人实验仅12人，统计功效有限（尽管p=0.24的结论在更大样本下可能改变）；Household域的奖励依赖Qwen3-235B-A22B作reward model（额外4×H100），评估器本身的能力与偏差会注入训练信号；小base模型Llama-3.2-3B因指令遵循差需要warm-up，而warm-up样本质量低会被记忆下来形成偏置、抑制增益，说明方法对base模型的格式遵循能力较敏感；Household目标空间被限制在5类预定义任务（setup_table、put_dishwasher等），开放性不足；reward hacking虽用先验缓解，但并未从机制上根除。

独立分析的弱点

第一个弱点是缺乏递归/多智能体推理——在多方协作或对抗中（如团队任务、博弈），需要推断『对方对我的推断』，改进方向是把nested belief纳入假设空间并用类似多智能体RL训练。第二个是长序列token爆炸，随着episode变长输入越来越长，改进方向是引入外部记忆、层次化压缩或检索机制，只保留关键动作历史。第三个是奖励依赖外部重型评估器（Household用Qwen3-235B），训练成本高且引入评估器偏差，改进方向是自蒸馏（用训练中的模型逐步替代reward model）或轻量级判别器。第四个是小base模型（Llama-3.2-3B）指令遵循差导致warm-up偏置、增益受限，改进方向是用更好的format注入（如结构化解码约束、constrained decoding）替代warm-up，或先用少量SFT纠正格式。第五个是目标空间被限制在5类预定义家庭任务，开放性不足，改进方向是支持开放式目标假设（自由文本目标）。第六个是仿真人planner（Boltzmann + 15%随机）与真人差异大，改进方向是用更多真人行为数据或行为克隆的人模型来生成更真实的训练轨迹。

未来方向

作者明确提出的未来方向：把MindZero扩展到多智能体递归心智推理；开发更高效的模型结构以应对长输入序列。基于本成果可延伸的方向：把在线心理推理迁移到网页/代码助手等其他域（作者提到有web assistance的探索性工作）；与RLHF结合，把人类偏好与自监督解释性奖励融合；将在线心理推理用于对话系统的意图追踪与主动澄清；探索把『内化model-based推理』的思路推广到其他逆问题（如逆向强化学习、因果推断）；研究如何在无reward model的情况下纯自举训练（self-play中互为评估器）。

复现评估

复现友好度较高：代码（GitHub SCAI-JHU/MindZero）、数据（HuggingFace SCAI-JHU/MindZero）、训练configs、所有prompt都开源，附录给出了详细超参（4×H100、VeRL框架、GRPO、lr $1\times10^{-6}$、weight decay $1\times10^{-2}$、32 rollout/prompt、global batch 8、20 epochs、bf16），GridWorld环境是随机生成的10×10网格可设种子复现，Household用开源的VirtualHome v2.2.4。难度评估：GridWorld域中等偏易（只需4×H100训练MLLM），Household域较重——训练MLLM要4×H100、额外再用4×H100 serve Qwen3-235B-A22B-FP8作reward model，且涉及SMC假设维护、MCTS planner等较复杂工程。数据生成脚本完整，但真人实验（12人、IRB）难以他人复现。总体上对有4–8卡H100的研究组可在数日内复现核心GridWorld结果。

MindZero：零标注学习在线心理推理 MindZero: Learning Online Mental Reasoning With Zero Annotations