图形推理：通过可执行视觉状态提升推理能力前沿 Figure It Out: Improving the Frontier of Reasoning with Active Visual Thinking
提出FIGR方法，将可执行的图表构建集成到多轮推理中，通过强化学习学习何时以及如何外化中间结构作为视觉状态。
前置知识
Chain-of-Thought (CoT)
思维链是一种提示策略，通过要求模型逐步展示推理过程来提高复杂问题的解决能力。模型不是直接输出答案，而是先生成一系列中间推理步骤，然后再得出最终结论。
本文将思维链从纯文本扩展到包含可执行视觉构建的多轮推理，需要理解传统CoT的局限性和扩展方向。
Group Relative Policy Optimization (GRPO)
GRPO是一种强化学习算法，特别适合轨迹级别的延迟奖励监督。它从同一提示下采样一组候选轨迹，使用组平均奖励作为基线来计算相对优势，然后通过剪裁的代理目标更新策略。
FIGR使用GRPO来训练多轮推理策略，理解该算法对于掌握本文的训练方法至关重要。
视觉语言模型 (LVLM)
视觉语言模型是能够同时处理图像和文本的多模态模型，通常通过在语言模型基础上增加视觉编码器和跨模态对齐层来实现对图像的理解和生成能力。
FIGR基于Qwen3-VL-32B-Instruct这一LVLM构建，理解LVLM的架构和限制有助于理解本文的创新动机。
研究动机
现有的复杂推理方法面临三大核心问题。首先是纯文本推理方法（如Chain-of-Thought）无法显式编码空间和几何关系，当面对角度约束、相切条件、点相交等复杂约束时，所有空间关系必须通过符号表达式隐式维护，这给内部表示带来沉重负担并经常导致级联代数错误。其次是统一多模态模型虽然能在推理过程中生成图像，但缺乏对生成视觉内容的精确控制，由于图像生成没有基于可执行约束，即使微小的空间不一致性也会在推理步骤中传播，限制了其在需要精细几何精度问题中的可靠性。最后是工具增强视觉语言模型虽然提供了强可控性，但本质上被限制在给定图像和固定的一组预定义转换上（如缩放或裁剪），缺乏自主构建新图表、几何配置或抽象视觉表示的能力，这种限制限制了它们在需要动态生成和细化任务特定视觉结构的推理任务中的适用性。
本文的目标是本文的目标是设计一个能够将视觉构建直接集成到推理循环中的系统，使其能够在多轮推理过程中主动构建和迭代细化图表，并使用渲染的图形作为明确的、有状态的反馈。该系统需要学习何时应该调用视觉构建以及如何将执行反馈集成到其推理轨迹中，而无需依赖任务特定的监督视觉推理数据。
与已有工作不同的是，本文的独特切入角度在于不再依赖不受约束的图像生成或固定工具集，而是产生可执行代码来连接符号推理和视觉渲染。这种方法允许模型在多轮推理期间主动构建和迭代细化图表，使用渲染的图形作为明确的、有状态的反馈——类似于人类在解决复杂问题时反复绘制和更新图表。如图1所示，这种机制强制几何一致性并支持在其他范式失败的情况下正确推理。
核心方法
FIGR的整体思路是将可执行的视觉构建直接集成到多轮推理过程中。对于每个输入，模型交织文本推理和代码生成来构建图表，类似于人类在推理时迭代地绘制中间状态。形式上，在每个推理步骤t，模型维护一个包含文本上下文ht（包括先前的推理步骤、代码输出和解释器反馈）和可选的渲染图表It的状态。策略πθ采样一个动作at，该动作可以是文本延续或策略本身生成的代码片段ct。当代码动作被发出时，它由沙盒化的解释器执行，可能产生文本反馈Tt+1和/或渲染图表It+1，然后上下文被相应更新。这个过程重复直到发出终止标记或达到步骤限制。通过将图表表示为可执行和可重现的状态，FIGR在整个推理过程中实现了精确和可控的视觉反馈。
FIGR的核心创新点在于将视觉构建作为可执行的、可修订的中间状态集成到推理循环中，而不是生成不可控的静态图像或仅操作预定义工具。这种方法使得模型能够通过强化学习自主学习何时调用视觉构建以及如何利用执行反馈。通过使用GRPO算法进行轨迹级别的监督，模型能够学习在视觉构建确实带来更好结果时增加其可能性，而通过自适应奖励机制，模型学会了有目的地和有效地使用图表构建，将其视为有意义的中间状态，而不是强制性的或习惯性的操作。
方法步骤详情
FIGR的工作流程分为四个主要步骤。第一步，对于每个输入问题，模型首先估计通过图解推理是否可能有帮助，方法是通过查询一个辅助语言模型分类器，该分类器输出一个二元适用性标签s ∈ {0, 1}。这个分类器不提供逐步监督，而是调节奖励幅度，鼓励有选择地使用视觉构建。第二步，在强化学习期间，对于每个输入问题，GRPO在当前策略下采样一组G个候选轨迹。每个轨迹τi由文本和代码动作序列组成，以及它们的执行解释器反馈，并在模型发出特殊结束标记时终止。第三步，在推出终止后，计算标量奖励Ri = Racc(τi) + Rfmt(τi) + Rvis(τi)，共同反映最终答案正确性、输出格式合规性和视觉构建的适当性。其中视觉调用奖励Rvis仅在轨迹级别评估并与最终答案正确性耦合：当可执行视觉构建有助于正确解决方案时给予正奖励，当预测图解推理适合任务时分配更高权重。第四步，策略通过最大化代理目标来更新，该目标鼓励策略增加实现更高相对奖励的轨迹的可能性，同时在优化期间保持稳定性。整个过程重复直到收敛，使模型学会在多轮推理中交织文本推理和可执行视觉构建。
技术新颖性
FIGR的技术新颖性体现在三个方面。首先，它是首个将可执行代码构建直接集成到多轮推理循环中的方法，与仅依赖文本输出的模型或生成不受约束图像的统一多模态模型有本质区别。其次，它设计了自适应奖励机制来调节何时应该调用视觉构建，这种设计消除了对监督视觉推理冷启动阶段的需求，可以从指令调优模型（如Qwen3-VL-32B-Instruct）初始化并纯粹通过强化学习进行细化。最后，它采用GRPO算法在轨迹级别学习多轮推理策略，使得视觉构建的调用决策和由此产生的推理质量被联合优化，无需逐步监督或显式值模型。
实验结果
FIGR在七个数学推理基准测试中取得了显著的性能提升，平均准确率达到74.11%，超过基线策略Qwen3-VL-32B-Instruct 6.77%，超过纯文本RL基线4.88%。性能提升在AIME 2025和BeyondAIME等挑战性基准上尤为明显，分别提升了13.12%和11.00%，这些基准的推理需要维护全局几何或结构约束。值得注意的是，FIGR超过了同等大小的纯文本推理模型（如Qwen3-32B Thinking）和缺乏可执行视觉构建的更大LVLM GLM-4.5V。这些结果表明，通过学习一个策略来选择性地构建可控的、可执行的视觉状态作为多轮推理期间的中间表示，可以带来显著的性能提升。在消融研究中，移除自适应奖励机制导致早期代码使用短暂增加后迅速崩溃，代码比率和代码长度降为零，反映了在没有有效奖励指导情况下的过度使用-放弃循环。相比之下，FIGR在整个训练过程中保持持续的高代码比率，伴随着稳定且更长的代码块和高执行通过率。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| AIME 2024 | 准确率 (%) | 79.58 | 73.33 | +6.25 |
| AIME 2025 | 准确率 (%) | 79.32 | 66.20 | +13.12 |
| BeyondAIME | 准确率 (%) | 54.00 | 43.00 | +11.00 |
| MATH 500 | 准确率 (%) | 95.00 | 93.60 | +1.40 |
| MinervaMath | 准确率 (%) | 93.98 | 84.34 | +9.64 |
| AMC | 准确率 (%) | 44.49 | 41.18 | +3.31 |
| OlympiadBench | 准确率 (%) | 72.40 | 69.73 | +2.67 |
局限与改进
作者承认的主要局限性包括：由于多轮推理和代码执行，提出的方法会产生额外的计算成本，这种开销是外化中间状态的方法所固有的，这激励了未来通过紧凑的视觉表示或自适应控制策略来实现更高效的推理-执行循环的努力。可执行视觉构建对于需要维护全局结构或关系约束的问题特别有益，相比之下，可以通过局部或纯符号推理轻松解决的任务可能从视觉外化中看到较少的好处。更精确地识别和表征这些任务制度仍然是一个开放的研究问题。评估集中在强调结构一致性和可验证结果的数学推理基准上，将该范式扩展到其他领域，包括科学推理、程序合成和长视野规划，代表了未来工作的自然且有希望的方向。此外，从论文中的观察可以看出，统一多模态模型和工具增强视觉语言模型都表现出持续较弱的性能，统一模型在解决高度复杂问题时容易受到级联错误，而工具增强方法被限制在对给定图像的预定义操作上，无法灵活构建任务特定的图表。
独立分析的弱点
FIGR的独立分析弱点主要体现在三个方面。首先，计算开销较高：由于需要多轮推理和代码执行，FIGR的推理时间明显长于单次推理的基线模型，这在实时应用场景中可能成为瓶颈。改进方向包括开发更紧凑的视觉表示、并行执行策略或预测性缓存机制来减少执行开销。其次，适用性判断不够精确：当前使用的二元适用性分类器可能存在误判，导致不适合视觉推理的问题被误判为适合，反之亦然。改进方向包括开发更细粒度的适用性评分、基于问题特征的自适应阈值或多层次适用性判断机制。最后，可执行代码的稳定性问题：生成的代码可能包含语法错误或逻辑错误，导致执行失败或不正确的结果。改进方向包括代码验证机制、错误恢复策略或预训练代码生成模块来提高代码质量。此外，作者观察到的被动注入视觉输入（+Bagel img和+Qwen img）不能持续提高基线模型或纯文本RL基线的性能这一现象也暴露了一个弱点：仅暴露模型于视觉内容，没有可执行构建或反馈集成，无法作为可靠的中间状态，没有封闭的推理-执行循环，这些图像既不强制全局约束，也不为后续推理步骤提供可操作的反馈。
未来方向
作者提出的未来工作方向包括：将该方法扩展到其他领域，如科学推理、程序合成和长视野规划，这些领域同样受益于结构一致性维护和可验证结果。开发更高效的推理-执行循环，通过紧凑的视觉表示或自适应控制策略来减少计算开销。更精确地识别和表征适合视觉推理的任务制度，包括开发细粒度的适用性判断机制和基于问题特征的自适应策略。基于本文成果的可延伸方向包括：将可执行视觉构建与其他推理增强技术（如思维树、程序思维）结合，形成更强大的推理框架；探索不同的视觉表示形式（如3D图形、动态可视化）来支持更广泛的推理任务；研究如何将人类反馈集成到可执行视觉构建的学习过程中，以进一步提高系统的可用性和准确性；开发针对特定领域的可执行视觉构建库，提高代码生成和执行的成功率。
复现评估
论文声称代码将在https://github.com/chenmeiqii/FIGR开源，这为复现提供了基础。训练使用DeepMath-103K数据集，这是一个经过严格去污染的103,000个挑战性数学问题的数据集，具有可验证的答案。评估使用七个广泛使用的数学推理基准，包括AIME 2024/2025、BeyondAIME、MATH 500、AMC、MinervaMath和OlympiadBench，这些数据集都是公开可获取的。实现细节包括使用VeRL框架进行强化学习，以Qwen3-VL-32B-Instruct作为基线策略，设置最大交互轮数为3，最大生成长度为32,768个token，采样温度为0.7。从论文中提供的信息来看，复现难度中等偏上，主要是因为需要配置强化学习环境、设置解释器沙盒以及处理多轮交互的复杂性。然而，详细的实验设置、消融研究和完整的基线比较为复现提供了充分的信息。
论文图表