Omni-Decision：面向全模态智能体的证据账本规划 Omni-Decision: Evidence-Ledger Planning for Omni-Modal Agents
用任务级证据账本取代嘈杂对话历史，让全模态智能体在干净状态下规划
前置知识
全模态智能体
以 LLM 为大脑、能跨视频、音频、图像、网页与计算工具等多种模态交互来回答问题的系统。与封闭式感知理解不同，它面对的是开放世界证据搜寻任务：要自主决定去哪里找证据、何时证据足够充分，才能给出答案。
本文的实验对象就是这类系统，全文关于性能瓶颈（规划 vs 感知）的归因与解决方案完全建立在对这一范式的理解之上。
ReAct 范式
推理-行动循环：LLM 交替产出思考与工具调用，工具返回的观测以对话消息形式追加进上下文，直至给出最终答案。它是最广泛使用的智能体骨架，但对话历史会随步数线性膨胀，噪声不断累积。
本文的无账本 ReAct 基线（OmniGAIA 60.28%）与被批评的观测堆积问题都以此为参照，理解它才能看懂证据账本到底替换了什么。
Planner–Critic 分离
把决定下一步做什么与检验观测是否合格拆成两个独立判断：规划器基于干净状态选动作，critic 在提交边界对照开放需求审查每条观测，产出支持、矛盾或遗漏的裁决，只有裁决通过的内容才能进入持久状态。
这是证据账本的准入机制，也是论文声称能拦截把噪声页面当作已闭合需求这类持续性错误的关键设计。
监督微调与决策级强化学习
SFT 在专家轨迹（此处为判卷正确的运行）展开出的状态-动作对上做最大似然训练；决策级 RL 不跑完整系统 rollout，而是对重建账本状态下的单个候选决策按规则奖励打分，强化得分高于组均值的动作。
论文的训练配方由这两级构成，其卖点正是账本轨迹天然提供过程监督信号，无需逐步人工标注即可训练。
确定性状态归约
状态转移只经由一个确定性算子 $\oplus$ 按字段应用固定规则，随机模块（LLM、工具）的输出必须先经裁决转成类型化事件才能入账，任何组件都不能绕过归约器直接改状态，随机性止步于提交边界。
这是规划器始终面对干净、已验证上下文这一核心保证的技术基础，也是与自由文本记忆的本质区别。
研究动机
全模态问答正从封闭式感知理解转向证据搜寻型任务：系统需要在视频、音频、图像中定位证据，从网页补全缺失属性，再经计算得到答案。现有“多模态模型 + 智能体框架”的组合有两大顽疾。其一是观测噪声：浏览器返回整页混杂文本，视频感知输出含大量无关细节的长描述，这些观测累积在对话历史中直接干扰规划，使模型过早收敛或采取无依据的动作。其二是能力短板在规划端而非感知端：同一路径下，更换智能体框架造成的性能差异可以超过更换底层模型。在 OmniGAIA 上，同样使用 GPT-5.2 + Gemini-3.1-Pro 后端，最小智能体只有 5.56%，而本文方法达 81.39%，说明框架决定了模型能力被实现的程度。
本文的目标是本文目标是证明并解决规划是全模态智能体的主导瓶颈这一命题，具体包括三件事。第一，通过受控后端替换实验，把性能损失定量归因到规划器或感知器，验证规划端是主要短板；第二，提出证据账本规划机制，用显式的结构化账本取代不断膨胀的对话历史，使规划器始终在紧凑、经过验证的状态上决策，持久上下文长度在任务过程中近似恒定；第三，设计无需逐步人工标注的训练配方，把执行中自然记录的账本状态、动作和 critic 裁决转化为 SFT 与决策级强化学习信号。最终指标是在 OmniGAIA 上达到超越 Gemini-3.1-Pro 直答的准确率，同时把每题成本压到其约 43%。
与已有工作不同的是，已有全模态智能体系统的共同点是：中间观测以自由格式轨迹、文件工作区或无类型文本记忆的形式承载，规划直接作用在这些序列上。例如 Orchestra-o1 按模态分解任务并用决策级 RL 训练编排器，OmniAgent 把按需获取的证据写入文本记忆，沙箱编码智能体则把感知外化为环境状态。上下文工程方法（ACON 学习压缩观测与历史、Complexity Trap 用占位符替换陈旧观测）都是在消息进入历史之后做压缩。本文的切入点本质不同：不是事前或事后压缩，而是构造上保持干净——每条观测必须在提交边界经 critic 裁决、以类型化事件的形式进入账本，规划器的持久上下文从头到尾只含控制信号。
核心方法
直觉上，该方法把记住了什么从模型上下文移交给外部的任务级证据账本。任务初始化时，规划器把问题解析成待满足的证据需求清单；账本状态 $S_t = \{U_t, F_t, E_t, C_t\}$：$U_t$ 是未解决的开放需求，$F_t$ 是事实与计算槽位，$E_t$ 是带来源和时间支持的已确认证据原子，$C_t$ 是尚未调和的观测矛盾。每步循环：规划器读取不可变任务上下文 $R_0$ 与渲染成有界文本的 $S_t$，选择动作 $a_t$（媒体定位、检索、浏览、计算、视觉验证或 finish）；工具返回观测 $o_t$ 后，critic 在一次瞬态调用中对照账本消化 $o_t$ 产出裁决 $v_t$；归约器作为唯一写入者提交类型化增量 $S_{t+1} = S_t \oplus \Delta S_t$。当 $ready(S_t) = (U_b^t = \emptyset) \wedge complete(F_t) \wedge (C_t = \emptyset)$ 时宣告就绪并起草答案。三个 LLM 角色由同一 GPT-5.2 承担，感知作为工具（Gemini-3.1-Pro）被调用，媒体从不进入 LLM 输入。
核心创新在于已验证信息的存放位置和噪声的准入机制。与 ReAct 让原始观测堆在历史里、与记忆组件把历史压缩成滚动自然语言摘要、与 ACON 事后压缩不同，本文规定观测不直接写账本：critic 必须在提交边界判断其支持、矛盾还是遗漏了所需证据，只有可用内容以类型化事件进入状态。这把每一步执行置于两个独立判断之下——critic 检查观测是否充分，规划器基于已验证账本选下一步；若两者合一，模型就要在决策的同时评估自己刚拿到的观测，而 LLM 缺乏外部反馈时难以可靠纠正自身错误，把嘈杂页面当作已闭合需求的错误会沿对话历史一直延续。此外，工具与 LLM 输出可以随机，但账本更新规则是确定性的：随机性止步于提交边界，任何模块不能绕过归约器改账本，且账本同时驱动规划、验证与停止三类决策。
方法步骤详情
步骤如下。(1) 初始化：从查询解析出证据需求清单并标记 blocking 或 supplementary，连同必须填充的事实/计算槽位，$E_0$、$C_0$ 置空。(2) 决策：每步 $t$ 规划器读取 $R_0$、渲染后的 $S_t$ 与上一步观测 $o_{t-1}$（只显示一次、不保留），从动作集 $A(R_0)$ 中选 $a_t$。(3) 执行与消化：执行工具得 $o_t$，critic 在瞬态调用中对照开放需求判定其支持/矛盾/遗漏，产出裁决 $v_t$。(4) 提交：归约器把裁决转成类型化事件——从 $U_t$ 移除已满足需求、向 $F_t$ 填入验证值、向 $E_t$ 追加带来源证据原子、向 $C_t$ 记录矛盾并保留双方来源。(5) 终止：finish 时终稿器依账本起草 $\hat{y}$ 并校验，失败则把缺失/冲突诊断写回账本；若无有价值动作且账本未就绪则报告证据不足，修订预算耗尽则返回带 forced 标记的当前最优答案。(6) 训练：状态-动作-裁决三元组用于 state-SFT（筛选判卷正确的运行，每步展开为账本状态与动作对微调规划器）和 closure-aligned RL（对重建账本状态采样一组候选决策，按规则化闭合检查与轻量奖励判卷打分，强化高于组均值者，单个决策无需执行系统即可打分）。
技术新颖性
技术新颖性体现在三点。第一，诊断方法学：用受控后端替换把框架决定能力实现程度的定性观察变成全模态领域的定量归因——固定 Gemini-3.1-Pro 感知，把规划器从 GPT-5.2 换到 Qwen3-Omni-30B，准确率从 81.39% 跌到 14.72%（-66.7 点），而固定 GPT-5.2 换感知最差仍 58.89%；同代 Qwen3.5-Plus 上换规划器损失 23.3 点、换感知 15.8 点，比值约 1.5。第二，账本作为中央控制对象：与自由轨迹或无类型记忆不同，它是任务作用域的类型化状态，规划、验证、停止读同一对象，就绪条件 $ready(S_t)$ 直接由三个合取式给出，还能标记 unfillable 需求以支持正确运行带开放需求终止。第三，无标注训练配方：账本天然记录过程监督信号，决策级 RL 可对候选决策离线打分而无需系统 rollout，两个更弱骨干（Qwen3.5-27B、Qwen3-Omni-30B）因此均获一致提升。
实验结果
五组实验构成完整证据链。(1) 主结果：OmniGAIA 360 题总体 81.39%（Easy 90.98 / Medium 78.75 / Hard 71.79），超同窗口实测 Gemini-3.1-Pro 直答（79.44%）1.95 点，超最强公开智能体沙箱编码智能体（75.00%）6.4 点且 Hard 上多 7.7 点；同后端对照智能体均低于 26%（最小智能体 5.56%、官方基线 18.33%、OmniAgent 25.51%）；每题成本约 $1.2，为 Gemini-3.1-Pro（$2.8）的约 43%。(2) 后端替换：换规划器 81.39→75.00（GLM-5.2）→58.06（Qwen3.5-Plus）→46.94（Qwen3.5-27B）→14.72（Qwen3-Omni-30B），换感知三档均不低于 58.89%，双换仅 13.89%。(3) 状态消融：账本 81.39% 对滚动记忆 68.33%、无账本 ReAct 60.28%，Medium/Hard 增益约 24 点、Easy 约 16 点。(4) 训练：Qwen3.5-27B 46.94→49.44（SFT）→50.56（RL），Qwen3-Omni-30B SFT 后 14.72→18.61。(5) 审计：正确案例闭合需求份额约为错误案例两倍；67 个失败案例中感知 27（40%）、检索 22（33%）、验证 9（13%）、计算 6（9%）、过早停止仅 3（4%）。WorldSense 上 65.0%，与 Gemini-3.1-Pro 的 65.5% 持平，每题 $0.3 对 $0.8。
局限与改进
作者承认的边界：critic 只读文本，媒体从不进入其输入，因此账本质量受限于感知工具的文本输出——感知器的错误无法被验证层发现，这也是失败归因中感知与检索合计约四分之三的根源。我的补充观察：其一，主结果依赖闭源 GPT-5.2 + Gemini-3.1-Pro，开源规划器（Qwen3.5-27B）即使用账本也只有 46.94%，训练仅补回约 3.6 点，方法对前沿闭源模型的红利最大；其二，OmniGAIA 仅 360 题，1.95 点的优势约相当于 7 道题，统计显著性存疑；其三，账本是任务作用域的，作者明言不覆盖开放式长期记忆组织，跨任务知识复用与终身学习场景未涉及；其四，需求解析与 blocking 标记由 LLM 完成，解析错误会传导到终止条件，可能导致误判 unfillable 或无法闭合；其五，成本对比的基线是 Gemini-3.1-Pro 直答，而本方法用 GPT-5.2 做规划器，属跨模型比较，成本结论依赖计费窗口。
独立分析的弱点
第一，文本瓶颈的验证层：critic 只见感知工具的文本输出，若视频定位漏掉关键帧或字幕抽取出错，账本会把错误证据确认为已验证，失败审计中感知占 40% 正说明了这一点，改进方向是让 critic 直接读取多模态输入做交叉校验。第二，对闭源前端的强依赖：Qwen3-Omni-30B 做规划器只剩 14.72%，SFT 与 RL 合计提升有限（+3.62 点），说明弱模型的决策分布偏离正确动作太远，账本结构本身救不回来，可探索更强的过程奖励模型或课程学习。第三，小样本评测：360 题上的 1.95 点领先无法排除随机波动，应报告置信区间或在更大基准上验证。第四，终止机制的风险面：unfillable 标记与 forced 答案都可能掩盖规划失败，建议输出更丰富的失败类型供下游诊断。第五，通用性证据不足：两个基准都是证据搜寻型问答，未测 GUI 操作、代码智能体等长程任务中账本模式是否同样有效。
未来方向
作者明确提出的下一步是让 critic 直接读多模态输入，使验证不再受感知文本输出的上界约束。在此基础上可以延伸：其一，把任务作用域账本推广为跨任务的证据记忆与可复用的证据模式，连接终身学习场景；其二，closure-aligned RL 目前用规则闭合检查加轻量奖励判卷，可引入更强的过程奖励模型，或用更强规划器的轨迹做蒸馏；其三，把账本抽象迁移到其他智能体域（GUI 智能体、科学发现、代码修复），检验类型化状态这一控制对象是否普适；其四，失败归因显示感知与检索合计约四分之三是剩余瓶颈，提示账本可与更强的检索器、多粒度视频索引协同设计；其五，按需求闭合度给运行分级的审计框架本身可发展为独立的智能体评测方法学，替代只看最终答案的评判。
复现评估
论文实现细节铺得很开：附录 A 给出完整账本表单与两条完整实例化轨迹，附录 B 给出观测归一化、需求匹配与证据级验证的实现语义，附录 G 给出提示模板，附录 C 记录 forced 答案与逐案例审计，附录 E 给出成本分布，附录 F 给出 RL 的数据构造、奖励定义与优化目标，算法 1 完整规定推理循环，方法层面可复现性较高。但工程门槛不低：主结果绑定 GPT-5.2 与 Gemini-3.1-Pro 两个闭源 API，复现一次 OmniGAIA（360 题）按文中单价约需 $430，加上开发迭代成本可观；Qwen3.5-27B / Qwen3-Omni-30B 的 SFT 与 RL 需要训练算力与轨迹数据管线；OmniGAIA（Li et al., 2026）与 WorldSense 均为公开基准，但文中未提及开源代码，验证需自行实现归约器的全部确定性规则，整体复现难度中等偏难。
论文图表
推理循环伪代码：从查询与资产初始化账本 $S_0$；循环内规划器依 $decide(R_0, S_t, o_{t-1}; A(R_0))$ 选动作，finish 则起草 $\hat{y}$ 并校验、失败把阻断诊断写回账本，否则执行工具、critic 产出裁决、归约器提交状态；若账本未就绪且无任何能推进账本的动作则返回 insufficient，超过最大步数 $T$ 同样报告证据不足。
给出了方法的精确操作语义，包括 finish 校验失败、修订预算耗尽、无 worthwhile 动作等边界情形的处理，是复现实现的最权威参照。