超越正确性：混合思考多模态大模型的响应行为基准与对齐 Beyond Correctness: Benchmarking and Aligning Response Behaviors in Hybrid-Thinking MLLMs
PatternEval诊断基准与PatternRL训练对齐混合思考MLLM的响应行为
前置知识
混合思考接口（Hybrid-Thinking）
指单一多模态大模型同时暴露两种推理模式：思考模式（thinking）分配额外的测试时计算进行深度推理，非思考模式（non-thinking）在严格的延迟与 token 预算下直接给出答案，典型如 Qwen3 与 GLM-4.5。用户或系统按场景路由，无需维护两个独立模型。
本文的核心研究对象就是同一模型在两种模式下交付行为的系统性差异，即响应模式失配，理解接口形态是理解问题的前提。
思维链泄漏（CoT Leakage）
指内部推理痕迹出现在最终用户可见回答中，包括过程叙述、草稿分析、自我修正或显式思考标记；简洁的润色式解释不算泄漏。该标签刻画的是可观察的回答形式，不涉及对模型私有内部状态是否暴露的断言。
泄漏是 PatternEval 四类失败之首，也是非思考模式最普遍的坏模式来源，理解其操作化定义才能理解 Trigger 指标的含义。
GRPO 强化学习
群组相对策略优化（Group Relative Policy Optimization）：对同一提示采样一组回答，用组内相对优势替代价值网络来估计策略梯度，是当前 LLM 后训练的主流 RL 算法之一，DeepSeek-R1 等均采用。
PatternRL 就是在 GRPO 的奖励函数中叠加模式惩罚项，不知道 GRPO 的组采样机制就无法理解辅助奖励为何以 Bernoulli 抽样方式调用。
奖励模型与 RLHF
奖励模型用模型输出代替人工打分，为强化学习提供标量奖励信号。传统 RLHF 奖励模型学习人类对回答对的偏好排序；本文的 PatternRM 是响应级奖励模型，直接预测四个二元失败标签向量而非标量偏好。
PatternRM 是把评测标签转成训练信号的关键桥梁，其标签式设计与偏好排序式设计有本质区别。
LLM-as-a-Judge 及其校准
用强模型作为裁判评估其他模型的输出，需用人工标注集校准其精确率、召回率与 F1，因为裁判本身存在长度、自偏好、位置等偏差。本文用 2,500 条人工标注的固定响应集比较五个候选裁判。
Trigger 指标和 PatternRM 的训练标签都来自 LLM 裁判，裁判的可靠性直接决定评测与训练信号的可信度。
研究动机
现代多模态大模型普遍提供混合思考接口：思考模式分配更多测试时计算做深度推理，非思考模式在延迟与 token 预算受限下直接作答。作者指出，仅凭答案正确性无法刻画回答质量——同一模型在两种推理模式下交付给用户的最终回答在形式与一致性上差异巨大。对 25 个模型配置的评测显示，所有配对的响应模式差距 $\Delta_{pat}$ 均为正，其中 17 个超过 20 个百分点，Kimi-K2.6 的非思考 Trigger 高达 49.63% 而思考模式仅 0.99%，差距达 48.64 个百分点。正确性驱动的后训练并不约束回答的形式属性，因此非思考输出中会混入推理过程叙述、重复内容、互相矛盾的陈述或无依据断言。作者把这种模式间用户可见行为的系统性差异称为响应模式失配（response-pattern misalignment），而传统准确率指标完全掩盖了这一接口依赖的鲁棒性缺口。
本文的目标是本文的目标是超越答案正确性，系统评测并对齐混合思考 MLLM 的响应行为，具体分三层。第一，构建 PatternEval：一个含 2,415 个多模态提示的失败富集诊断基准，覆盖视觉感知与定位（VG，1,181 题）、OCR 与结构化图像理解（OS，579 题）、多模态知识推理（KR，655 题）三大任务族共九个子类别，专门诱发四类用户可见失败——思维链泄漏（CoT）、响应重复（Rep）、逻辑矛盾（Con）与表演式推理（PR）。第二，在匹配的思考/非思考模式下评测 25 个模型配置，量化接口间失配的幅度与分布。第三，把评测发现转成训练目标：训练响应级奖励模型 PatternRM 来识别四类失败，并在 GRPO 强化学习中引入类别特定惩罚（PatternRL），在不明显牺牲任务精度的前提下压低非思考模式的坏模式触发率，最终使推理预算可变而交付标准不变。
与已有工作不同的是，已有工作沿三条路线控制混合思考：学习路由或模式 token 决定是否推理；预算感知控制与自适应长/短策略调节推理量；数据中心或架构级设计强化行为分离。但它们优化的是准确率、效率或路由奖励，而非最终交付的回答本身——推理内容可能泄漏进非思考输出，策略也可能一边可见地思考一边满足非思考奖励。评测侧，通用与多模态基准考察鲁棒性、幻觉、指令遵循等，但聚合分数会掩盖具体失败；基于模型的自动评测又引入长度、自偏好等偏差。本文的独特切入是把响应模式本身作为一等评测与优化对象：用可审计的四标签分类学分离泄漏、重复、矛盾与表演式推理，并用 CoT 优先归因规则处理标签耦合，再通过 PatternRM 把失败标签转成类别加权训练信号，打通从路由后诊断到策略优化的完整闭环。
核心方法
直觉上，推理预算可以变，但交付给用户的回答标准不能变：答案应始终有据、连贯、简洁且不夹带过程叙述。方法分三步。第一步构建 PatternEval：从海量图像-提示对候选池生成 rollout、识别高频用户可见失败作为锚点，再扩展任务形式并做模式导向采样与类别均衡，得到 2,415 个提示。第二步建立双裁判评测协议：对每个图像-提示对 $x=(v,q)$ 在模式 $m\in\{NT,T\}$ 下采样回答 $\tilde{y}_m$，只评用户可见部分 $y_m$；验证裁判 Qwen3-Max 给出正确性 $c=J_{ver}(x,y_m,g)\in\{0,1\}$，模式裁判 Seed-2.0-Pro（带图像）给出四维二元标签 $J_{pat}(x,y_m)=[\hat{b}_{cot},\hat{b}_{rep},\hat{b}_{con},\hat{b}_{pr}]$；统计 $Acc_m$ 与 $Trigger_m=\frac{1}{N}\sum_i b_{any}(x_i,y_{i,m})$（$b_{any}=\mathbf{1}[\max_k \hat{b}_k=1]$）及差距 $\Delta_{acc}=Acc_T-Acc_{NT}$、$\Delta_{pat}=Trigger_{NT}-Trigger_T$。第三步训练对齐：PatternRM 从 Qwen3.5-27B 经 SFT 学会近似模式裁判，PatternRL 在 GRPO 中以 $r=\text{clip}(s_{ver}+s_{pat},0,1)$ 联合优化正确性与响应模式。
核心创新是把响应模式对齐确立为与答案正确性互补的独立训练目标，本质区别有三点。其一，评测对象从答案对不对转向回答以什么形式呈现：四个失败标签全部定义在用户可见形式上，不假设模型私有内部状态——CoT 泄漏指过程叙述、草稿分析、自我修正或显式思考标记出现在最终答案里，而简洁的润色式解释被排除；表演式推理则要求相关支撑必须指向图中可观察的对象、文本、数量、位置或图表数值。其二，标签采用 CoT 优先归因规则：已归因于 CoT 的证据不再重复计为 Con 或 PR，独立于泄漏轨迹的矛盾仍可触发标签，四个比例相互耦合、需联合解读，避免同一处失败被重复计数。其三，评测直接转成 RL 信号：PatternRM 以文本方式近似裁判，辅助奖励为 $s_{pat}=-z\min(0.1,\sum_p w_p\hat{b}_p)$，权重 $w_{CoT}=w_{Rep}=0.05$、$w_{Con}=w_{PR}=0.02$，调用指示 $z\sim\text{Bernoulli}(0.6)$ 以省算力；错误回答恒得零奖励，正确回答得分落在 $[0.9,1]$，惩罚永远不会覆盖正确性主目标。
方法步骤详情
第一步，基准构建（输入为海量图像-提示候选池）：先生成 rollout 识别高频失败作为锚点；再扩展到相关任务与响应形式；最后做模式导向采样——确定性格式检查主导的类别降采样、响应变化丰富的类别优先保留、高产量来源设上限，输出 2,415 对（VG 族 1,181、OS 族 579、KR 族 655）。第二步，裁判校准（输入为 Hy3-Vision 各 SFT/MixRL/OPD 阶段变体的 rollout）：由 Seed-2.0-Pro、Kimi-K2.6、Qwen3.5-397B 三裁判初判，按共识/争议约 7:3 分层并控制触发率约 70%，选出 2,500 条人工标注；对比五裁判后选带图 Seed-2.0-Pro（Con 标签 F1 62.5 最佳）。第三步，PatternRM 训练：90K 响应池经三裁判全票一致过滤剩 52,344 条，过采样 5,234 条得 57,578 条 SFT 实例（34,547 思考格式、23,031 直接格式），从 Qwen3.5-27B 初始化，选文本直接预测变体（宏 F1 71.3%）。第四步，PatternRL：从 Qwen3-VL-4B/8B-Instruct 初始化，GRPO 训练 44,200 条多模态混合提示（多模态数学、逻辑、文档理解大致均衡），4B 训 600 步、8B 训 400 步，与仅正确性奖励的 BaseRL 对照。
技术新颖性
技术上，本文的新颖性体现在评测与训练两端。评测端，PatternEval 是首个把响应模式作为一等评测对象的失败富集多模态基准：不同于指令遵循评测只查显式约束、聚合式偏好基准掩盖具体失败，它用可操作的四标签分类学加 CoT 优先归因，使泄漏、重复、矛盾、表演式推理可分离、可审计；并用 2,500 条人工标注校准集系统评估五个候选裁判，量化出矛盾与表演式推理（F1 约 40%–62%）远难于泄漏与重复（F1 约 87%–95%）这一判定难度分层。训练端，PatternRM 是响应级（而非偏好对级）奖励模型，直接回归四个失败标签；PatternRL 把它作为低成本辅助信号（以 Bernoulli(0.6) 概率抽样调用以控制推理开销），在保持验证器主奖励的同时抑制坏模式。与只控制何时推理、推理多少的路由类方法不同，它优化的是选定模式产出的最终回答是否行为得体，并首次在 25 个混合思考 MLLM 配置上量化了被常规准确率指标忽略的接口级鲁棒性缺口。
实验结果
主实验（Table 3，25 个配置）：所有配对的 $\Delta_{pat}$ 均为正，17/25 超过 20 个百分点，Kimi-K2.6 达 48.64（非思考 Trigger 49.63% vs 思考 0.99%），Seed-2.1-Pro 与 GPT-5.5 已压到 9.06 和 4.26。能力扩展不能消除失配：Qwen3.5 系列从 4B 到 397B-A17B，非思考 Acc 从 45.96% 升至 61.96%，思考 Trigger 从 22.19% 降至 4.23%，但非思考 Trigger 停在 28.45%–33.00%，差距维持 21.36–26.63 pp。失败分布不均：50 行边际触发率为 CoT 12.75%、Rep 8.49%、PR 4.72%、Con 2.74%。长度与失败正相关（Pearson 0.64/0.84），最长六分位中错误非思考回答 Trigger 约 86%，正确非思考回答也有 56%（思考对应 52%/22%），说明答案正确不保证形式得体。训练实验（Table 5）：仅正确性的 BaseRL 使 4B/8B 非思考 Trigger 从 44.22%/36.77% 恶化到 51.55%/44.33%；PatternRL 相对 BaseRL 降低 13.08/14.35 个百分点（至 38.47%/29.98%），Acc 几乎不变。通用能力（Table 6）：PatternRL 有轻微精度代价，4B 整体 77.89→76.02，8B 79.59→78.89，模型越大代价越小。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| PatternEval 混合思考评测（Qwen3-VL-4B） | 非思考 Trigger（坏模式触发率） | 38.47%（PatternRL），Acc 47.30% | 51.55%（BaseRL 仅正确性奖励），Acc 48.05% | Trigger 降低 13.08 个百分点，Acc 仅降 0.75 个百分点 |
| PatternEval 混合思考评测（Qwen3-VL-8B） | 非思考 Trigger（坏模式触发率） | 29.98%（PatternRL），Acc 50.71% | 44.33%（BaseRL），Acc 50.57% | Trigger 降低 14.35 个百分点，Acc 反升 0.14 个百分点 |
| 十个通用推理与文档理解基准（MathVista、ChartQA、DocVQA 等） | 整体平均 Acc | PatternRL：4B 76.02%，8B 78.89% | BaseRL：4B 77.89%，8B 79.59%；非思考原始：4B 75.83%，8B 76.71% | 相对 BaseRL 降 1.87/0.70 个百分点，但仍高于不训 RL 的非思考基线 |
| 模式裁判校准（2,500 条人工标注） | 四标签宏 F1 | PatternRM 直接预测变体 71.3%（操作裁判 Seed-2.0-Pro 带图 75.3%） | GPT-5.5 带图 77.0%；Qwen3.5-27B 直接预测仅 63.5% | 以更小推理成本逼近最强裁判，较其 27B 底座提升约 7.8 个百分点 |
局限与改进
作者承认的局限有三。其一，RL 阶段对齐不能根除坏模式：PatternRL 后 4B 非思考 Trigger 仍高达 38.47%，说明这些行为可能在更早的训练阶段就被噪声、不一致或模式偏向的数据写入，仅靠轻量辅助奖励无法完全纠正。其二，正确性-模式的权衡依赖模型容量：4B 在数学等推理密集任务上精度下降明显（整体 77.89→76.02），可能因为 PatternRM 压缩了小模型赖以解题的冗长探索式 rollout 空间，而大模型更容易给出简洁规范的解法。其三，PatternEval 是失败富集的压力测试，度量的是条件鲁棒性而非部署中的自然失败率。我的补充观察：裁判本身不完美（Con 与 PR 标签 F1 仅约 40%–62%），Trigger 的绝对值受裁判偏差影响；PatternRM 采用纯文本输入，无法核验多模态证据，对表演式推理的判定天然受限；奖励权重与 Bernoulli(0.6) 采样率均为经验超参，缺乏消融；8B 的完整训练配置缺失；且四标签非互斥、CoT 优先归因使边际比率不能当作独立流行率解读。
独立分析的弱点
弱点一：对 LLM 裁判的强依赖。Trigger 指标与 PatternRM 的训练标签全部来自裁判模型，而矛盾类 F1 仅约 55%–62%，假阳性会误罚正常回答、假阴性漏掉真失败；改进方向是引入规则化可验证检查（如重复可用 n-gram 或语义相似度自动检测）与多裁判集成校准。弱点二：PatternRM 纯文本输入看不到图像，对引用图中不存在证据的表演式推理只能依赖文本内一致性判断，与带图裁判存在约 2–4 个百分点的 F1 差距；可探索视觉一致性检查器或蒸馏带图裁判的文本可模仿信号。弱点三：惩罚施加在 RL 尾端，作者自己的分析提示失败源自更早的 SFT/中训数据，事后修补代价高；更经济的做法是在 SFT 数据清洗阶段就用 PatternRM 过滤或改写训练样本。弱点四：正确性-模式权衡与容量强相关，4B 受损明显，可按模型规模自适应调节 $w_p$，或对 PR/Con 采用课程式渐进惩罚，避免早期过度约束探索。弱点五：四标签耦合且聚合 Trigger 掩盖类别结构（Table 3 中 VG 族触发率常为 KR 族的数倍），建议按类别报告并做类别级优化而非单一标量。
未来方向
作者提出的方向：把响应模式约束前移到中训练或 SFT 阶段，通过清洗更高质量的监督数据在行为固化前干预，而非依赖 RL 尾端修补；按模型容量与任务难度动态平衡验证器信号与 PatternRM 信号。基于本文成果可延伸的：把 PatternEval 扩展到纯文本 LLM 与多语种，检验失配是否为多模态或中文场景特有；探索免 RL 的替代方案，如 DPO 式偏好优化或解码期结构化约束（强制非思考模式剥离 片段）；把四类失败扩展到新形态，如工具调用幻觉、引用不实、格式不遵从；研究 Trigger 与真实用户满意度、信任度的相关性，为坏模式的业务影响定价；以及将响应模式对齐与自适应推理预算控制联合建模，训练在任意预算下行为一致的统一策略；还可利用 PatternEval 的九类别雷达画像做模型失败模式的可解释诊断与定向微调。
复现评估
论文未提及开源 PatternEval 数据集、PatternRM 权重或训练代码，完整复现难度较高。不利因素：评测依赖大量闭源 API 模型（GPT-5.x、Seed、Claude、Kimi 等）作为被测对象与裁判，复现 Table 3 需要可观 API 预算；PatternRM 的 90K 响应池含内部 rollout 集合与 Hy3-Vision 阶段产物，外部无法重建；8B 完整训练配置缺失。有利因素：方法论描述细致——三步构建流程、四标签操作化定义、CoT 优先归因规则、裁判 prompt（正文称 Section E 给出）、奖励公式 $r=\text{clip}(s_{ver}+s_{pat},0,1)$ 与权重、Bernoulli(0.6) 采样率均有明示；RL 部分基于公开 GRPO 与公开数据集（OpenMMReasoner-RL-74K、WeMath、MMK12、ChartQA 等），策略初始化为公开的 Qwen3-VL-4B/8B-Instruct，学术团队用数十卡规模应可复现趋势。总体：评测协议易复现，训练管线中等偏难，逐位对齐论文数字较难。
论文图表
左图画出 11 个旗舰模型的思考/非思考模式坏模式触发率对比，非思考 Trigger 普遍更高，Kimi-K2.6 差距达 48.6 个百分点，GPT-5.5 仅 4.26；右图展示 PatternEval 三大任务族、九子类别的 2,415 题构成。
这是论文的动机图：一图同时呈现了核心问题（接口间失配普遍存在且幅度惊人）与解题工具（基准构成），定义了全文的研究对象。