Intern-Decision：基于自回归掩码语言建模的高效多模态决策模型 Intern-Decision: Efficient Multimodal Decision Making with Autoregressive Masked Language Modeling
单次前向传播完成多字段结构化决策的多模态模型，兼顾精度、延迟与概率校准。
前置知识
自回归语言模型与因果移位
GPT 类模型逐 token 预测，因果注意力掩码保证每个位置只能看到左侧前缀。训练时损失在序列上做"移位"：位置 $t$ 的 logits 与位置 $t+1$ 的真实 token 配对，即标准的 next-token prediction。本文正是利用这一性质：在每个决策占位符（位置 $p_j$）的前一个位置 $p_j-1$ 读取 LM 头 logits，普通因果移位就让预测恰好对齐到占位符处的答案符号。
这是全文读出机制的根基。不理解因果移位，就看不懂为什么不需要任何新分类头、单次前向传播就能同时给所有决策字段打分。
掩码语言建模与混合预测范式
BERT 式掩码语言建模（MLM）用双向上下文重建被遮盖的 token；UniLMv2、GLM 等混合方法把自编码与部分自回归目标结合，Mask-Predict 则并行预测掩码位置并迭代精化。本文提出的"自回归掩码语言建模"不引入双向注意力：在因果模型的 JSON 骨架里把每个字段值替换为 $\langle decision\rangle$ 占位符，训练时只监督占位符对应的答案符号，推理时一次前向并行读出全部字段。
论文标题和方法本质都建立在这个概念上，理解它与 MLM、GLM、Mask-Predict 的异同才能把握论文在相关工作中的定位。
温度缩放与校准指标（ECE/Brier）
温度缩放在推理前拟合一个正标量 $T$，把 logits 除以 $T$ 再 softmax，只改变概率分布的尖锐程度而不改变 argmax。期望校准误差（ECE）把样本按最大置信度分成 10 个等宽桶，统计每个桶内平均置信度与经验准确率之差的加权和；多类 Brier 分数为 $BS=\frac{1}{N}\sum_i\sum_k(p_{ik}-\mathbb{1}[k=y_i])^2$，衡量完整预测分布与真实标签的距离。
论文用独立的 96 案例已知分布试点和 111 条 Hard 样本评估概率质量，Brier 从 0.628 降到 0.550、ECE 从 0.213 降到 0.089 等结论都依赖这些指标。
置信度级联与模型路由
让小模型先给出决策和置信度 $c(x)$：当 $c(x)\ge\tau$ 时直接采用其答案，否则把请求升级给更强的大模型。这样大部分流量走便宜的小模型，只有不确定的少数请求付出大模型成本，在精度与开销之间折中，是选择性计算的经典思路。
论文的 handoff 研究就是把 111 条 Jevbench-Hard 中 42 条低置信样本路由给 Atria-Dawn-Preview，把准确率从 73.87% 提到 87.39%，是展示决策模型价值的关键实验。
多模态架构：视觉塔、投影器与语言主干
典型的多模态大模型由三部分组成：视觉编码器（视觉塔）把图像编码为特征，投影器把视觉特征映射到语言嵌入空间，语言主干（LLM）做推理并输出文本。微调时常见做法是冻结视觉侧、只训练语言部分，以保留预训练视觉能力并降低算力需求。
论文在 0.8B/2B/4B 三个 Qwen3.5 主干上只微调语言主干、冻结视觉塔与投影器，这决定了模型能直接吃进游戏帧和界面截图，也解释了为何能保留原生 LM 头做候选打分。
研究动机
智能体的大量操作本质上是闭集决策——工具调用、模型路由、离散动作选择——但现有智能体仍普遍用自回归自由文本生成来完成这些选择。自由生成需要逐 token 解码，一次简单选择也要付出几十上百毫秒的解码开销；下游控制器还必须解析自然语言或生成的 JSON 才能拿到动作，接口复杂且脆弱，也无法天然给出可靠的置信度。当一次请求包含多个决策字段（例如同时判断工单该由哪个团队处理、紧急度评分、是否退款）时，逐字段生成或逐字段前向的代价进一步放大。已有的结构化决策模型（TypeSafe 的 Jev、JevK5、Kev、SemIf-OpenJev、Laya 等）虽然提供了 choice/score/binary 等类型化接口，但主要面向纯文本状态，且各自实现差异大：有的逐问题打分、有的外接指针头、有的用冻结模型 logits。而多模态智能体在动态环境中还需要整合视觉观察——游戏帧、界面截图、VizDoom 画面——动作选择同时依赖视觉证据和上下文约束，现有决策模型缺少这种支持。
本文的目标是本文的目标是构建一族紧凑的多模态决策模型（0.8B/2B/4B）：给定状态文本、可选的有序图像和带候选集的类型化问题，模型在一次因果前向传播中同时返回所有字段的选择标签和候选概率分布。量化目标体现在三个维度：决策准确率上希望追平或超过现有最强决策模型（论文对比的 Jev 1.13.0 七套件平均为 88.74%）；推理延迟上希望在单张 RTX 4090 上把固定 289-token、三字段请求压到几十毫秒量级；概率质量上希望通过温度缩放等后处理让置信度足以支撑不确定性分析和置信度路由。最终愿景是让这类小决策模型作为本地决策模块嵌入分层智能体系统：大模型负责规划与跨页推理，小模型负责高频、重复的结构化选择。
与已有工作不同的是，本文的独特切入是把结构化决策重述为"自回归掩码语言建模"：不改变因果主干、不引入双向注意力或外接指针头，而是在助手回复的 JSON 骨架中为每个字段放一个占位符，真实答案符号只出现在监督信号里、绝不进入输入序列，用主干原生 LM 头在占位符前一位置读 logits，实现"下一 token 对齐"的掩码预测。这与 Mask-Predict 的迭代精化、GLM/UniLMv2 的双向编码、PET/LM-BFF 的 cloze 微调、Laya 的编码器非自回归架构、Kev 的可学习指针头都不同。同时它把文本推理、指令遵循判断、视觉判断、界面动作统一进同一个决策接口，并刻意把准确率、延迟、概率质量拆成互不污染的独立评估协议——校准集由确定性生成器产生精确参考分布，这在结构化决策文献中是少见的严谨做法。
核心方法
直觉上，闭集决策就是"完形填空"：把问题骨架写好、把答案位置挖空，让预训练 LM 直接给空位打分。技术上，编译器把状态与有序决策模式（每个问题含字段名、指令和有序候选集）放进 user 轮，再附加助手 JSON 骨架，每个字段的值都是占位符；确定性映射 $a_j:\mathcal{C}_j\to\mathcal{V}$ 把每个候选映射为 62 个合法单 token 答案符号之一（布尔 no/yes 记 A/B，评分自 0 编号）。因果主干算出隐状态后，在 $z_{p_j-1}=\text{LMHead}(h_{p_j-1})$ 处读取词表 logits（$p_j$ 为第 $j$ 个占位符位置），推理时只对合法候选做带温度 $T$ 的 softmax：$P_j(c|x;T)=\frac{\exp(z_{p_j-1,a_j(c)}/T)}{\sum_{c'\in\mathcal{C}_j}\exp(z_{p_j-1,a_j(c')}/T)}$。一次前向即得全部字段的标签与概率，序列化器把符号映射回原始标签，输出不依赖自由文本解码器生成合法 JSON；服务支持每请求最多 16 个字段。
核心创新是"下一 token 对齐的掩码预测"。答案符号存放在监督张量的 $p_j$ 位置，普通因果移位天然把它与 $z_{p_j-1}$ 配对，因此训练就是在 $M$ 个决策位置上做全词表交叉熵 $\mathcal{L}_{decision}=-\frac{1}{M}\sum_{j=1}^{M}\log\frac{\exp z_{p_j-1,a_j(y_j)}}{\sum_{v\in\mathcal{V}}\exp z_{p_j-1,v}}$，其余所有 token（JSON 标点、状态、模式描述）一律忽略——这既不是完整 JSON 生成损失，也不是全 token 续训。与已有方法的本质区别有三：其一，答案从不进入输入（改变目标不会改变输入 token 序列），训练与推理使用完全相同的掩码骨架；其二，所有字段在同一次前向中打分，早前的占位符虽通过因果注意力对后续字段可见，但不回填预测答案、没有迭代精化或答案反馈；其三，不新增任何参数，完全复用预训练主干的原生 LM 头，从而保持与现有多模态 LM 生态的兼容。
方法步骤详情
第一步，构建统一决策语料：合并三类来源共 17,880 样本、23,500 个监督决策（5,500 含图像），三个规模共享同一输入——教师模型 deepseek-v4.1-flash 合成 General 4,066 条与 Hard 2,645 条困难决策，AG News、ToolACE、Typed Decision、WildGuard、WildJailbreak、Ruozhiba 等公开任务，以及 Snake、VizDoom、Shapes 指针等合成视觉数据。第二步，编译输入：状态与有序问题进 user 轮，助手侧只放带占位符的 JSON 骨架。第三步，训练：微调 Qwen3.5 主干（0.8B/2B/4B），视觉塔与投影器冻结，损失为 $\mathcal{L}=-\frac{1}{M}\sum_j \log\frac{\exp z_{p_j-1,a_j(y_j)}}{\sum_v \exp z_{p_j-1,v}}$。第四步，推理：单次前向 + 合法候选 softmax，输出标签与候选概率。第五步，后校准：独立划分上拟合温度（4B 为 $T=1.992418$）。
技术新颖性
技术新颖性体现在三个层面。范式层面：把 BERT 式"挖空预测"嫁接到 GPT 式因果模型上，但不做 Mask-Predict 那样的并行迭代精化，也不像 GLM/UniLMv2 引入双向编码或伪掩码，仅靠因果移位完成对齐，训练目标与推理路径严格一致；工程层面：极简主义——SemIf 用冻结模型 logits 直接打分、Kev 外接可学习指针头、Laya 采用编码器非自回归架构、Jev 走 RLCD 强化学习，而本文只需微调主干、零新增参数，天然继承 Qwen3.5 的多模态能力，让"决策模型"可以直接从任意 VLM 派生；评估层面：把准确率（七套件、按决策而非按行计分、套件等权平均）、延迟（固定 289-token 三字段请求）和概率质量（96 案例已知分布试点 + 111 条 Hard 的 Brier/ECE）拆成互不污染的协议，校准集由确定性 Python 生成器用有理数算术产生精确分布（非蒙特卡洛估计），归档后可逐字节复现。作者还明确标注公开 Jevbench 参与过开发、只能算诊断证据，这种自我限制在同类报告中罕见。
实验结果
准确率：4B 在七套件（Jevbench 三档、Typed Decision、ToolACE、AG News、WildJailbreak，共 12,351 决策）上等权平均 90.02%，超 Jev 88.74%、JevK5 85.16%；Typed 80.55% vs 73.35%，ToolACE 96.45% vs 91.29%，规模 0.8B→2B→4B 为 79.38%→84.68%→90.02%。延迟：RTX 4090 上 289-token 三字段请求 4B 均值 44.16ms，较 Jev 的 109.70ms 快 2.48 倍。校准：96 案例试点温度缩放把 Brier 0.628→0.550、ECE 0.213→0.089，优于 Jev 的 0.595/0.130；Hard 111 条上 Brier 0.3468 最低、ECE 0.0653 次低，82/111 的 argmax 不变。级联：42 条路由给 Atria-Dawn-Preview 后 73.87%→87.39%，估算 140.16s，较 Atria 单独 300.03s 省 53.29%。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 七套件结构化决策（等权平均） | 平均准确率 | 90.02%（Intern-Decision-4B） | Jev 1.13.0：88.74% | +1.28 个百分点，七套件中五个领先或并列 |
| Typed Decision（400 行 2,000 个决策字段） | 按决策计的准确率 | 80.55%（1,611/2,000） | Jev：73.35% | +7.20 个百分点 |
| ToolACE 工具选择 | 准确率 | 96.45%（299/310） | Jev：91.29% | +5.16 个百分点 |
| Jevbench-Hard | 准确率 | 73.87%（82/111） | Jev：72.07%；JevK5 并列 73.87% | 较 Jev +1.80 个百分点，与 JevK5 持平 |
| 本地推理延迟（289 token、3 字段、单张 RTX 4090） | 平均延迟 | 44.16ms（4B）；0.8B/2B 为 33.98/33.28ms | Jev 1.13.0：109.70ms | 4B 加速 2.48×，小模型加速 3.23×/3.30× |
| 已知分布校准试点（96 案例，完整分布对比） | 期望 Brier / 期望 ECE | 0.550 / 0.089（温度缩放后） | 未校准自身 0.628 / 0.213；Jev 0.595 / 0.130 | 较未校准 Brier −0.078、ECE −0.124；较 Jev Brier −0.045、ECE −0.041 |
| 置信度级联（Jevbench-Hard 111 条，42 条路由给 Atria-Dawn-Preview） | 准确率 / 总耗时 | 87.39%（97/111），估算 140.16s | 仅 4B：73.87%、4.90s；仅 Atria：89.19%、300.03s | 较仅小模型 +13.52 个百分点，耗时较仅大模型降低 53.29% |
| Jevbench-Hard 概率质量（111 条） | Brier / ECE | 0.3468 / 0.0653（4B，校准后） | Jev：0.3584 / 0.0947；ECE 最低为 JevK5 的 0.0467 | Brier 全场最低，ECE 次低 |
局限与改进
作者坦承的限制：缺少匹配数据与训练算力的消融，无法把 90.02% 归因于联合字段打分或参数规模本身；公开 Jevbench 子集（231 条）参与过开发调优，只能算诊断而非独立泛化证据；训练混合物直接包含 AG News、ToolACE、WildGuard 等评测来源，成绩偏"域内"；延迟只测了固定 289-token 短请求，未覆盖长上下文与截图负载，Jev 的传输与服务条件也未完全对齐；基线温度未统一重拟合，校准对比不完全公平；62 个候选符号、16 字段上限只是接口限制而非泛化声明；游戏与浏览器演示是定性轨迹，没有回合数、种子、回报等量化指标。我自己的观察：温度缩放在个案上可能变差——蒙提霍尔问题未校准 TVD（0.0889 级别的 0.3486/0.6514 分布）反而更低，说明全局温度不是每个案例的最优；96 案例试点实际只有 48 对独立设置（正反两种选项顺序共享同一状态），统计功效有限；字段顺序由 prompt 决定，无置换不变性保证；多字段之间没有联合分布约束，相关字段可能互相矛盾。
独立分析的弱点
弱点一：训练只用硬标签，而论文的校准试点明明能构造精确参考分布（如三门问题的 1/3、2/3）——完全可以用软标签或分布蒸馏把这些目标直接教给模型，而不是事后做一维温度缩放，后者在蒙提霍尔个案上反而让 TVD 变差。弱点二：因果注意力导致字段顺序敏感：同一请求"先答 urgency 再答 team"与反序会看到不同前缀，方法明确不保证置换不变性，可在训练中随机打乱字段顺序并加一致性正则。弱点三：无字段间联合约束，"是否退款=yes"却"团队=technical"这类逻辑矛盾无法被接口阻止，可引入结构化 CRF 或跨字段一致性校验层。弱点四：0.8B 在 WildJailbreak 上只有 64.48%，安全类判断能力随规模衰减明显，小模型落地时需按任务筛选或扩充安全数据。弱点五：延迟对比缺乏受控条件（批大小、warm-up、重复次数、计时边界未披露，Jev 传输条件待文档化），"2.48×"不宜当作严格加速比引用，也缺少饱和吞吐测量。弱点六：训练-评测同源（AG News 等公开数据同时出现在训练混合物与评测集），应补充真正的 held-out 或去污染评测版本。
未来方向
作者提出的方向：把置信度路由从论文中"单一报告工作点"升级为经过优化的路由策略（阈值扫描 + 代价敏感目标）；把方法泛化到任意大的 schema 与更复杂的环境；为交互式智能体补齐视觉控制的帧率级量化评测。基于成果可以延伸的：其一，用 RLCD 类校准奖励做强化学习微调（Jev 已报告此路线），在训练期直接优化概率质量，替代纯后验温度缩放；其二，把 96 案例生成器扩展为更大的概率推理校准基准，并加入字段间联合分布的监督目标；其三，探索答案回填的迭代变体——当前无答案反馈，多轮"填一个字段再条件化"可能提升相关字段间的一致性；其四，与视觉 token 压缩结合，评估长视频流、高分辨率截图下 44.16ms 延迟的稳定性；其五，把二级级联扩展到多级模型池并学习一个路由器而非固定阈值；其六，研究 62 个符号上限的扩展方案，如多 token 候选或层次化候选编码，以支持更大的动作空间。
复现评估
复现条件较好。代码开源于 GitHub（InternLM/Intern-Decision），0.8B/2B/4B 检查点发布在 HuggingFace collections（internlm/intern-decision）。论文对训练数据给出逐类计数（17,880 样本、23,500 决策、5,500 含图），并声称三个规模的训练输入经输入哈希、训练日志和分词器缓存验证完全一致；校准试点集的确定性 Python 生成器已归档，重建的输入与参考文件可逐字节复现；关键超参如 4B 温度 $T=1.992418$、推理配置（RTX 4090、BF16、SDPA、Transformers 5.14.1、flash-linear-attention 0.4.2）都明确写出。缺口：训练总算力、学习率/epoch/batch 等完整超参、教师合成 prompt 的具体形式未完整披露（评测阶段提到用 XTuner 后端）。总体难度评估：推理侧容易——单张消费级显卡即可跑通并复现延迟数量级；训练侧中等——不到 2.4 万样本的微调算力门槛不高，但需要自行整理混合数据与编译器细节。
论文图表
