学习结果在何处改变：面向多模态几何的信用可寻址推理 Learning Where Outcomes Change:Credit-Addressable Reasoning for Multimodal Geometry
把推理决策外化为可寻址事件，让优化在结果改变处分配局部信用，提升多模态几何推理。
前置知识
GRPO（组相对策略优化）
DeepSeekMath 提出的强化学习算法：对同一输入采样一组（如 $G$ 条）完整回复，用程序化奖励给每条打分，再以组内均值和标准差归一化得到优势 $A_x^{(i)}=\frac{R(x,y^{(i)})-\bar R_x}{\sigma_{R,x}+\delta}$，并把该优势均摊到回复的每个 token 上。相比 PPO 无需训练价值模型，是当前 LLM 推理 RL 的主流选择。
本文的基线和改造对象就是 GRPO。理解『一个优势覆盖整条轨迹』这一默认设定，才能理解 CE-GRPO 把比较组从『同一题的完整回复』改为『同一事件前缀下的完整续写』到底改动了什么。
信用分配（Credit Assignment）
强化学习核心问题：当奖励只在序列末尾给出时，如何判断中间哪些动作真正导致了成功或失败。在 LLM 推理中表现为：一条 30 步的解题链最后答错了，到底该惩罚第 3 步的错误辅助线假设，还是第 20 步的计算失误。
本文标题中的 credit-addressable（信用可寻址）直接针对该问题。论文的立场是：如果推理表示本身把关键决策切成了有边界的事件，信用分配的位置就由表示决定，而不再依赖价值模型或启发式切分。
结果奖励 vs 过程奖励
结果奖励（outcome reward）只在最终答案正确时给分，获取便宜且不易被投机取巧；过程奖励（process reward）对每个中间步骤打分，信号更密集，但需要人工标注或训练过程奖励模型（PRM），成本高且可能引入偏差。
本文的巧妙之处在于用反事实分支把结果奖励『局部化』：固定事件前缀后采样多条完整续写，它们终局奖励的差异就充当了该事件的伪过程奖励，全程不需要过程标注、也不需要价值模型。
程序辅助推理（PAL/PoT）
让 LLM 把推理写成可执行程序（Python 等），由解释器运行得出答案，把『推理』与『计算』解耦。在几何领域进一步发展为把图形关系转成形式语言或代码（如 AlphaGeometry、GeoTikzBridge），从而可被程序化验证。
Code-CoT 继承了『用代码承载几何关系』的思想，但有两点关键不同：代码与原图并存（互补而非替代），且代码是模型自己生成、与推理事件交织的持久推理空间，而不是外部工具或两阶段系统的中间产物。
Token 熵与高熵 token
自回归模型在某个位置输出的概率分布的熵 $H_t=-\sum_v p_{t,v}\log p_{t,v}$，衡量模型在该处的不确定性。已有研究发现 RL 微调时高熵 token 往往对应关键分叉点（分支词、决策词），是细粒度信用分配的天然线索。
CE-GRPO 用事件内平均 token 熵来分配分支预算。但不同事件类型的熵天然不同（论文中 think 事件平均熵约为 reference 事件的 7.7 倍），所以必须做类型内标准化 $\eta(e)=\frac{\bar H(e)-\mu_{\kappa(e)}}{\sigma_{\kappa(e)}}$，这是理解选择器设计的关键。
研究动机
多模态几何推理要求 VLM 先从图形中读出精确的视觉关系（垂直、平行、共圆、角度等），再在多步演绎中保持这些关系不出错；对象绑定、角度解读或辅助线构建中的任何一次失误都会让后续推导整体失效。现有模型用自由格式思维链作答，『∠ADB 是直角』『由相似三角形可得』这类决定性视觉决策被淹没在自然语言里；轨迹级强化学习（如 GRPO）又只给整条回复一个终局奖励，把同一优势均摊到每个 token。这形成了两个耦合的缺口：表示缺口——关键决策缺乏显式语义单元；信用缺口——终局反馈无法区分各决策的独立作用。论文的六模型对照实验还揭示了感知侧的瓶颈：Qwen2.5-VL-7B 仅看图的 MathVerse 平均准确率只有 49.4，配上外部生成的代码升至 60.6，但让它自己生成代码（同样不给图）反而跌到 34.6；三个开源模型的自生成代码比外部代码低 11.7–16.6 个百分点，说明可靠的代码生成本身就是短板。
本文的目标是论文提出并实例化『信用可寻址推理』（credit-addressable reasoning）：推理时暴露给外界的语义单元，同时定义学习过程在哪里比较备选方案、在哪里分配信用。具体目标有三层：(1) 设计一个既服务程序化验证又服务策略优化的统一推理表示 Code-CoT——保留原图、把视觉关系写成行号可寻址的可执行 Matplotlib 代码、把演绎组织成 think/reference/auxiliary/coordinate 四类事件；(2) 设计一个不需要过程标注、不需要价值模型、不需要测试时分支的算法 CE-GRPO，通过在事件边界做共享前缀反事实分支，把终局奖励差异转化为事件定位的局部优势；(3) 在九个几何基准上全面超越原生骨干、SFT 与轨迹级 GRPO，并验证优势随推理链变长而扩大的机制假设。
与已有工作不同的是，此前两条路线彼此割裂。程序辅助与形式化方法（PAL、ToRA、AlphaGeometry、GeoTikzBridge）把计算组织成程序或形式语言，暴露了推理结构，却不把它作为优化单元；细粒度强化学习（VinePPO、Segment PO、GPO、GRPO-MA）细化了更新位置，但语义决策仍来自学习到的价值、固定边界或 token 统计量。真正缺失的是推理与学习共享的语义单元。本文的独特切入是先做受控实验回答『代码能否充当这一单元』：在 MathVerse 上对三个开源、三个闭源模型比较仅图（I）、仅外部代码（C）、图+代码（I+C）三种输入，发现 I+C 在全部六个模型上最优（Qwen2.5-VL-7B 提升 11.2 分，InternVL3.5-8B 提升 18.4 分），且代码增益随原生视觉能力增强而递减（Gemini-3.1-Pro 仅 +0.7）——由此得出三条设计约束：代码必须与原图并存、必须由策略自己生成、必须被显式学习（直接 prompt Code-CoT 协议反而比骨干低 18.69 分）。
核心方法
直觉上，如果每个关键几何决策都被表示成一条有类型、有边界的『事件』，优化器就能固定事件之前的完整前缀、重采样该事件及其后的完整后缀，再用不同后缀的终局奖励差告诉策略：『正是这一步改变了结果』。技术上，给定输入 $x=(I,Q)$，策略单次自回归生成 $Y=\langle C, P, (e_\ell)_{\ell=1}^{L}, F\rangle$：$C$ 是行号可寻址、可执行的 Matplotlib 感知代码（原图 $I$ 全程保留），$P$ 为一行解题计划，事件 $e_\ell\in E=\{\text{think}, \text{reference}, \text{auxiliary}, \text{coordinate}\}$，$F$ 为最终答案。框架分五步（Fig 3）：SFT 从精选轨迹安装协议；策略保留原图，用可执行代码与类型化事件推理；结构先验加类型归一化熵选候选事件；固定图像、题目与共享前缀后分支采样多条完整续写；普通提示与反事实前缀提示按 1:1 混合，在同一 GRPO 目标与程序化奖励下联合优化。推理时无外部求解器、无测试时分支。
核心创新是『关键事件』的操作化定义：一个事件边界是关键的，当且仅当固定同一前缀 $z_c=y_{<s_c}$ 后，从该状态出发的不同续写得到不同的终局奖励。关键性不由选择器预先标注，而是由『兄弟未来』的奖励差异事后揭示。CE-GRPO 把前缀作为 assistant prefill 提供但明确排除在策略损失之外，事件条件优势 $A_{z_c}^{(j)}=\frac{R(x,\, z_c\oplus u^{(j)})-\bar R_{z_c}}{\sigma_{R,z_c}+\delta}$ 只更新重新生成的事件及其下游后果；若某前缀的所有续写奖励相同，该组方差为零、不产生任何策略更新，因此无效选择只是浪费计算而不会引入虚假监督。与轨迹级 GRPO 的本质区别在于：GRPO 对整条回复用同一个优势 $A_x^{(i)}$，把结构化轨迹当扁平序列；VinePPO 等细粒度方法靠价值模型或 token 统计量决定『看哪里』。这里『看哪里』由推理表示自身（协议定义的事件边界）决定——即表示与优化的协同设计。
方法步骤详情
第一步 SFT：Gemini-3.1-Pro 将 18,302 题的图转录为行号可执行 Matplotlib 代码，DeepSeek-V4-Pro 据此生成计划、交错事件与答案，轨迹须过结构/可执行/接地/动作/答案五重校验，训练冻结 ViT（lr $1\times10^{-5}$）。第二步 奖励 $R$：无效回复记 $-1$，否则 $R=\text{clip}(c(y)+0.3\,r_{\text{act}}(y)-\Omega(y),-1,1.3)$，三项对应答案正确性、动作有效率与行为惩罚。第三步 事件选择：协议标签确定性切分事件，类型内标准化的平均 token 熵记为 $\eta(e)$；结构候选取首个 think 事件，第二候选取 $\eta$ 最高的动作事件。第四步 前缀分支：2,000 题×2 轨迹收割 3,270 个前缀，最多复制 4 次得 11,450 条反事实行，与等量普通题 1:1 混合，每前缀采 $G=4$ 条续写。第五步 同一 clipped GRPO 目标全参数训练（veRL，lr $1\times10^{-6}$，无 KL）。
技术新颖性
与已有工作的区别有四点。(1) 相比轨迹级 GRPO/DAPO，比较组从『同一题目的完整回复』改为『同一中间状态的完整未来』，优势从序列级降到事件级，且全程不需要价值模型——这点与 VinePPO 的 PPO 式价值基线根本不同。(2) 相比 Segment PO、GRPO-MA 等，分支点来自协议定义的语义边界（reference/auxiliary/coordinate 有明确几何含义），而非固定比例切分、学习价值或纯 token 统计量。(3) 相比 SRPO、GPO、CFPO 等反事实/关键步方法，事件由推理表示自身给出，过程标注为零，且更新被限制在『重新生成的事件+下游』上，共享前缀因属于 prompt 而免于梯度。(4) 相比 AlphaGeometry、GeoTikzBridge 等外部求解器或两阶段系统，Code-CoT 把代码当作持久的、行可寻址的推理空间而非外部工具，单次前向调用完成感知、构造与演绎；同一组类型化事件同时支撑程序化验证（结构/执行/接地检查器）与策略优化（分支点），这正是『表示—优化协同设计』的可操作含义。
实验结果
主实验：CE-GRPO 九基准平均 76.04，超原生 Qwen3-VL-8B-Instruct 8.09 分、超 Code-CoT SFT 6.49 分、超轨迹级 GRPO 3.43 分、超最强细粒度基线 6.73 分，九基准全超骨干；亮点 GeoLaux-mini +13.34。两阶段：单次调用超 GDP-4B-RL→Qwen3-VL-8B 平均 3.07 分，九基准全超 GeoTikzBridge-8B；仅 prompt 得 49.26，协议必须学出。消融：随机/仅熵/仅结构/结构+熵 = 72.48/72.83/74.26/76.04，未闭合率 12.31%→4.73%。封闭率校正后仍 7/9 胜 GRPO，平均 +3.91。保真度：图到代码 macro recall 55.21%→80.43%。MathVerse 上 TD 持平而 VO +15.10。事件数分析（Fig 4）：优势每事件扩大 3.77 分（$r=0.866$），轨迹级 GRPO 每事件衰减 5.55 分。离线验证：结构先验把 Crit.@2 从 0.222 提至 0.289（+30.2%）。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 九个几何基准平均（视觉接地+平面几何+辅助构造+过程级） | 平均准确率 | 76.04 | 原生 Qwen3-VL-8B-Instruct 67.95 | +8.09，且全部九个基准均超骨干 |
| 九个几何基准平均 | 平均准确率 | 76.04 | 轨迹级 GRPO 72.61 | +3.43（封闭率校正后平均 +3.91，7/9 基准占优） |
| GeoLaux-mini（长链辅助线推理） | 准确率 | 90.61 | 轨迹级 GRPO 75.45 | +15.16（封闭率校正后 +12.53） |
| MM-Math（过程级多模态数学） | 准确率 | 80.32 | 轨迹级 GRPO 70.88 | +9.44（封闭率校正后 +8.42） |
| 单模型 vs 两阶段系统 | 九基准平均准确率 | 76.04 | GDP-4B-RL→Qwen3-VL-8B 72.97 | +3.07（九胜七，且无需额外的第一阶段模型调用） |
| MathVerse Vision-Only 变体（纯视觉感知） | 准确率 | 54.95 | 原生骨干 39.85 | +15.10，TD–VO 差距从 30.07 缩至 14.09 |
| 事件选择器（结构先验 vs 随机） | Crit.@2（300 题离线验证） | 0.289 | 随机选择 0.222 | +30.2% 相对提升；加熵后 |ΔR| 0.409、token 成本 75.0k |
局限与改进
作者承认增益集中在依赖中间构造与长链推理的任务：相对轨迹级 GRPO，GeoLaux-mini +15.16、MM-Math +9.44，但在视觉接地与标准平面几何上提升较小甚至为负——封闭率校正后 VisOnlyQA-Syn −0.46、Geometry3K −1.62，两阶段 GDP 系统也在 Geometry3K、PGPS9K 领先，说明固定符号解析在静态几何题上仍有优势。我的补充观察：(1) 选择器命中率仍低，Crit.@2 仅 0.287，多数轨迹两次候选采样都碰不到改变结果的事件；(2) 3,270 个反事实前缀由初始 SFT 策略一次性收割并全程固定，策略变强后前缀分布过时，有 off-policy 偏差风险；(3) SFT 数据依赖 Gemini-3.1-Pro 与 DeepSeek-V4-Pro 两个闭源模型合成，成本与可得性受限；(4) 训练用 64×A100，明显高于基线的 8×MI300X；(5) 四类事件类型学为几何定制，跨领域迁移只是展望；(6) Code-CoT SFT 在 Geometry3K（53.31 vs 64.52）等感知基准回退，协议有开销。
独立分析的弱点
独立分析几点弱点。其一，训练成本结构失衡：反事实分支让 rollout 数据翻倍、每个前缀要采 4 条完整续写，64 卡 A100 的门槛把多数实验室挡在门外；改进方向是训练轻量『结果差预测器』先粗筛前缀，或对续写做早期退出（生成到下一个可验证动作即评估）。其二，关键性完全依赖终局奖励方差：对『怎么走都对』的简单事件浪费算力，对整条链近乎唯一解的竞赛难题可能永远采不出差异，可引入难度分层课程或部分序奖励缓解。其三，感知错误不因事件化而消失：成功渲染上的事实召回仅 81.2%，且接地检查器只验证引用行存在与内容一致，不验证感知代码与原图语义一致，错误感知会以合法姿势污染后续推理；可加入渲染图与原图的视觉差异奖励或自我校验事件。其四，1:1 提示混合比、每前缀最多复制 4 次、15% 随机替换率、η 阈值 1 等超参均缺少敏感性分析。其五，答案等价判定依赖两个 Gemini 判官，引入外部模型偏差与持续 API 成本。其六，GeoLaux-mini 等小基准仅 330 题，+13 的增益缺少多种子方差报告。
未来方向
作者展望该框架适用于『具有显式中间结构和延迟结果监督』的通用推理任务。顺着成果可以延伸：(1) 迁移到代码合成、科学计算、表格推理、Agent 多步决策等有天然事件边界的任务，只需替换类型学与检查器；(2) 前缀在线刷新——随策略更新周期性重收割反事实前缀，或用重要性采样校正旧前缀分布，消除固定前缀的 off-policy 偏差；(3) 把『结构先验+类型归一化熵』选择器换成可学习的轻量价值头，与事后揭示的关键性定义互补，提高 Crit.@2 天花板；(4) 反向利用训练出的『结果敏感边界』做测试时树搜索与自我验证——目前 CE-GRPO 只改训练不改推理，测试时分支是免费的增长点；(5) 与视觉生成/渲染结合，把渲染反馈变成感知级过程奖励，直接攻击 Table 4 中约 19% 的事实召回缺口；(6) 扩展到完整版 GeoLaux、三维几何与需要多次辅助构造的竞赛级问题，进一步验证『事件越多优势越大』（+3.77 分/事件）的外推性。
复现评估
复现条件总体透明但门槛不低。有利因素：代码已在 GitHub 开源（github.com/gjn12-31/CE-GRPO）；骨干 Qwen3-VL-8B-Instruct 公开；九个评测集与八个 SFT 数据源均为公开数据集；训练框架 ms-swift（SFT）与 veRL（RL）开源；超参在 Table 12/13 完整给出（SFT：8×A100，lr $1\times10^{-5}$，3 epochs；RL：64×A100，batch 64，$G=4$，lr $1\times10^{-6}$，温度 0.6，无 KL）。障碍有三：SFT 轨迹需调用 Gemini-3.1-Pro 与 DeepSeek-V4-Pro 合成并五重过滤，API 成本可观且轨迹质量依赖 prompt 模板（Table 10 已给出）；RL 需要 64 张 A100，远超普通实验室配置，缩减前缀规模（如 3,270→几百）是唯一低成本路径但效果未验证；评测答案判定依赖两个 Gemini 判官，持续产生 API 费用。结论：协议、代码、数据配方齐备，算力充足时重训主表可行，综合复现难度中高。
论文图表
对比图：上半部分是自由格式推理轨迹（『∠ADB 是直角』『由相似三角形可得』等决策埋在文字里），整条轨迹只对应一个轨迹级奖励；下半部分是本文方法——感知代码 12→A,B,C on circle O、3→AD⊥BC 等决策变成行可寻址代码与类型化事件 e1…ek，结果差异被转化为事件 e* 上的局部信用。
一图点题：『Externalize visual information → Structure reasoning as events → Learn where outcomes change』的三步主线，是理解全文动机的入口。
在 MathVerse 五个从文本主导到视觉主导的子集上比较三种输入：I+C 曲线整体最高，且把 Text-Dominant 与 Vision-Only 之间的差距从 13.3 分压缩到 3.0 分，说明代码在视觉依赖强的题目上补偿了感知短板。
支撑『代码补充而非替代图像』这一核心设计决策的关键证据，直接导向 Code-CoT 保留原图的架构选择。
与外部 7B/8B 检查点（Qwen2.5-VL-7B 48.40、VL-Rethinker-7B 52.65、MMR1-Math-v0-7B 52.65、G-LLaVA-7B 22.99）及两阶段感知-推理系统（GDP-4B-RL→Qwen3-VL-8B 72.97、GeoTikzBridge-8B→Qwen3-VL-8B 69.58）的比较：CE-GRPO 平均超 GDP 3.07 分（九胜七，GDP 仅在 Geometry3K +4.42、PGPS9K +7.30 领先），全部九个基准超 GeoTikzBridge，且只需单次模型调用。
回答『为什么不干脆用外部解析器』：说明一体化的事件化推理在动态构造与视觉证据复用上优于固定符号解析的两阶段系统。