何时想象、想象多少：基于世界模型的视觉空间推理自适应测试时缩放 When and How Much to Imagine: Adaptive Test-Time Scaling with World Models for Visual Spatial Reasoning

AVIC框架的具体步骤如下：第一步，策略门控与测试时缩放。策略模型$\theta$接收输入元组$(I, q, A)$（观测图像、问题、答案集），输出决策$d \in \{\text{skip}, \text{call\_wm}\}$和离散动作计划$\pi$。为提高鲁棒性，对策略进行$M$次独立解码采样并通过多数投票聚合决策，提供一种反映想象必要性不确定性的自一致性机制。第二步，动作执行与轨迹选择。当$d = \text{call\_wm}$时，每个采样的计划$\pi^{(m)}$由世界模型$W$执行渲染想象轨迹$I_{\pi^{(m)}} = W(I, \pi^{(m)})$。与之前的beam-search方法不同，轨迹级验证器$V$评估整个轨迹而非孤立关键帧，选择最有用的轨迹：$s^{(m)} = V(I, q, I_{\pi^{(m)}})$，$\pi^* = \arg\max s^{(m)}$。第三步，最终预测。视觉语言推理器$\phi$使用原始观测和选定的想象视角（或当门控选择skip时仅使用原始观测）预测答案：$\hat{a} = \arg\max_{a \in A} P_\phi(a | I, I_{\pi^*}, q)$。第四步，RL训练（AVIC-R）。对每个问题，策略$\theta$采样$K$个rollout $\{(d^{(i)}, \pi^{(i)})\}$，每个rollout由冻结的环境模块执行：call_wm rollout查询世界模型渲染想象视角，skip rollout跳过世界模型；两者都由冻结的QA模型回答。奖励信号通过GRPO更新策略，世界模型和QA模型保持冻结。

本文的技术新颖性体现在多个层面。首先，在问题定义层面，首次系统分析了'何时想象'和'想象多少'这两个维度，揭示了世界模型调用的实例依赖性——54%的情况不需要想象，仅14%有帮助，23%会产生误导。这种细致的案例分析为自适应策略提供了坚实动机。其次，在方法设计层面，引入了显式的门控机制和轨迹级验证器。门控机制使世界模型调用从'始终开启'变为'按需调用'；轨迹级验证器评估整个想象轨迹而非孤立关键帧，保持时间和几何一致性。第三，在训练方法层面，使用GRPO强化学习训练门控策略是关键创新。由于不存在'最优想象轨迹'的真值标注，标准监督学习不可行。作者设计了精心构造的复合奖励，包含QA正确性（唯一正信号）、动作长度代价（抑制过度想象）、错误跳过惩罚（防止策略坍缩）、格式解析惩罚（处理不可恢复的模式错误）。这种奖励设计的巧妙之处在于：正确跳过得+1.0分，正确调用WM（n个动作）得$1 - 0.1n$分，错误跳过得-0.5分，短错误WM调用得-0.1到-0.3分，形成清晰的定性排序，防止策略在不确定性下坍缩为总是跳过。第四，在实验验证层面，发现世界模型对动作条件化推理（AC错误类型）的增益最大（+57.1%），对视角依赖（VD）和有限可观测性（LO）错误增益较小，揭示了想象效用的结构化依赖关系。

本文存在几个值得深入分析的弱点。首先，门控决策的二元性限制了精细控制——策略模型只能在'skip'和'call_wm'之间选择，无法表达'部分想象'或'有限想象'的概念。改进方向是引入连续门控或层次化决策，允许策略指定想象的粒度（如只想象特定物体或区域）。其次，轨迹级验证器虽然比逐帧评分更合理，但仍依赖于同基础MLLM的提示实现，其评估质量受限于MLLM的空间理解能力。可以探索训练专门的验证器模型或引入几何一致性约束来提升验证质量。第三，奖励函数中的超参数（$c=0.1$, $\beta_s=\beta_p=0.5$）是手工设定的，虽然作者提供了定性分析说明其合理性，但这些值对不同任务和数据集的最优性未验证。改进方向是使用元学习或贝叶斯优化自动调优这些超参数。第四，AVIC-R的训练仅使用16个rollout和140步，在如此有限的训练规模下，策略模型可能未充分收敛。增加训练规模、引入课程学习（从简单问题逐步到复杂问题）可能进一步提升性能。第五，虽然论文声称方法可推广到具身导航，但R2R实验中AVIC仅在每个导航步骤决定是否调用世界模型，未探索更复杂的想象策略（如想象多步动作序列），这可能限制了在长期规划任务中的效果。

基于本文成果，未来研究可从以下方向展开：(1) 探索更精细的想象控制粒度——不仅决定'是否想象'，还决定'想象什么'（特定物体、特定区域）和'想象多深'（单步、多步、长期规划）。(2) 将自适应想象与世界模型选择相结合——当前框架假设单一世界模型，但不同类型的问题可能需要不同特性的世界模型（如擅长室内vs室外、静态vs动态场景）。(3) 将AVIC扩展到视频理解任务——视频中的时空推理同样面临'何时需要额外视角'的问题，自适应策略可能提升视频问答和动作预测的效率。(4) 探索世界模型与LLM的联合训练——当前世界模型和LLM是独立的，联合训练可能使世界模型更好地服务于下游推理任务。(5) 将发现推广到更多模态——如音频空间推理、触觉感知等，探索自适应资源分配的通用原则。(6) 研究想象的可解释性——当前策略模型的决策过程是黑盒的，开发可解释的门控机制有助于理解和调试系统行为。(7) 在真实机器人系统上验证——当前实验主要在静态基准上，将自适应想象部署到实时机器人系统将面临延迟、能耗等新挑战。

本文的复现性评估如下：开源方面，论文提供了项目主页(https://adaptive-visual-tts.github.io)，但代码和训练数据的开源状态未在论文中明确说明。数据方面，使用的基准数据集SAT、MMSI、R2R都是公开可用的，但AVIC-R训练数据的构建细节（论文提到'小训练集'和'数据整理'在附录中）需要进一步确认。算力方面，AVIC-R训练使用8个GPU、140步、batch size=1，LoRA rank=8、alpha=16，训练规模相对较小，复现门槛不高。但推理阶段需要运行世界模型（Stable Virtual Camera）和多个MLLM实例（策略模型、验证器、QA模型），计算开销较大。难度方面，框架的提示工程和奖励设计有一定复杂性，特别是复合奖励函数的超参数调优可能需要大量实验。关键依赖包括：Qwen2.5-VL-7B作为基础模型、Stable Virtual Camera作为世界模型、GRPO训练框架。总体而言，如果作者开源代码，复现难度中等；否则，从论文描述精确复现可能有一定挑战，特别是输出解析、提示模板和奖励计算的细节。