CogFlow：通过知识内化桥接感知与推理的视觉数学问题求解框架

提出认知启发的三阶段框架，通过知识内化解决视觉数学推理中的推理漂移问题

前置知识

推理漂移

推理漂移是指在多模态推理过程中，模型产生的推理步骤逐渐偏离视觉证据的现象。即使感知阶段正确提取了视觉元素，模型在后续推理中仍可能产生与感知结果矛盾或不支持的推理链。例如，模型正确识别到圆心坐标和半径，但在计算时却使用了错误的几何关系，导致最终答案错误。这种漂移现象会导致推理链条表面上连贯，但实际上缺乏视觉基础。

本文的核心贡献正是解决推理漂移问题，理解这个概念有助于把握 COGFLOW 框架中知识内化阶段和视觉门控策略的设计动机。

知识内化

知识内化是人类认知过程中的关键环节，指将感知到的原始信息转化为结构化、可用于推理的知识表征。在视觉数学问题中，模型不仅要识别出点、线、圆等几何元素，还需要将这些元素之间的关系内化为可操作的知识状态。例如，从直径这一视觉事实，内化出对应圆周角的几何定理应用条件。内化阶段介于感知和推理之间，确保推理过程建立在可靠的视觉基础之上。

知识内化是 COGFLOW 三阶段框架的核心创新点，它填补了感知和推理之间的空白，是理解论文技术路线的关键。

Group Relative Policy Optimization (GRPO)

GRPO 是一种轻量级的强化学习算法，通过群组基线稳定优势估计。与传统的 PPO 需要训练价值函数不同，GRPO 直接对同一输入采样多个候选轨迹，计算群组内的平均奖励作为基线，从而获得归一化的优势估计。优势函数的公式形式为群组内个体奖励与均值之差除以标准差加一个小常数。这种方法避免了额外的价值网络训练，计算效率更高，特别适合大规模语言模型的训练场景。

COGFLOW 的 VGPO 算法基于 GRPO 框架构建，理解 GRPO 有助于把握 VGPO 中群组优化和视觉门控的协同工作机制。

Softmax-DPO

Softmax-DPO 是直接偏好优化（DPO）的扩展变体，专门处理一个正样本对应多个负样本的场景。传统 DPO 只能对比一对正负样本，而 Softmax-DPO 通过 softmax 操作对比一个正样本与多个负样本的相对优势。其损失函数采用对数 sigmoid 形式，其中内部包含对多个负样本得分的指数求和减去正样本得分的对数。这种设计让模型自动关注最难的负样本，提供更密集的监督信号，从而提高训练稳定性和鲁棒性。

Softmax-DPO 是 COGFLOW 训练 IntlzR 奖励模型的核心算法，它通过对比五类错误类型的负样本，使模型学会识别推理漂移。

研究动机

现有的多模态大语言模型在视觉数学问题求解中面临两大核心困境。一是感知能力有限，模型难以准确提取和解释数学图像中的符号和图表元素。例如，在几何问题中，模型可能错误识别点的坐标或圆的半径，导致后续推理基础不牢。二是推理漂移问题更为隐蔽且严重：即使感知阶段正确提取了视觉元素，模型在推理阶段仍会产生忽略视觉证据的逻辑步骤。例如，在给定圆心坐标和半径后，模型却推导出与几何约束相矛盾的结论。这种漂移现象导致推理链条表面上连贯，但缺乏视觉基础，使得模型在视觉密集型任务上的准确率仅为百分之三十到四十，远低于人类水平。

本文的目标是本文的目标是构建一个能够忠实整合视觉线索到推理过程的视觉数学问题求解框架。具体而言，该框架需要实现三个层次的目标：首先，在感知阶段准确提取数学图表中的几何基元及其空间关系；其次，在内化阶段将感知结果转换为结构化、可用于推理的知识表征；最后，在推理阶段确保每一步推理都严格基于内化的视觉知识，避免产生与视觉证据矛盾的推理步骤。最终目标是使模型在视觉数学推理基准上达到更高的答案准确率和更可信的推理过程。

与已有工作不同的是，本文的独特切入角度在于首次明确地将认知科学中的知识内化概念引入视觉数学推理领域。现有工作要么采用一步式推理框架，直接交错视觉感知与推理，导致感知和推理错误相互交织；要么采用解耦流水线，分离感知和推理模块，但忽略了两者之间的连接纽带。COGFLOW 的创新在于明确建模人类推理的层次流程（感知、内化、推理），并在每个阶段引入针对性的增强机制。更重要的是，本文是首个系统性研究推理漂移问题的工作，通过知识内化奖励和视觉门控策略，填补了感知增强和推理忠实整合之间的空白。

核心方法

COGFLOW 采用了认知启发的三阶段框架，模拟人类解决视觉数学问题的层次化思维过程。第一阶段是感知（Perception），模型从原始图像中提取结构化的几何基元及其坐标参数。第二阶段是知识内化（Internalization），将感知到的几何元素转化为可用于推理的符号化知识表征。第三阶段是推理（Reasoning），基于内化的知识进行多步骤逻辑推导，最终得出答案。整个框架通过强化学习进行端到端训练，其中每个阶段都有对应的奖励信号：协同视觉奖励评估感知质量，知识内化奖励评估内化忠实度，推理奖励评估答案正确性。这种分层设计确保了模型在每个阶段都受到明确监督，避免了传统方法中感知和推理的脱节。

COGFLOW 的核心创新点在于三个方面。首先，协同视觉奖励通过参数空间和语义空间的互补评估提供协同的视觉监督：视觉参数化奖励将预测的几何基元转换为参数表达式，计算与真实基元的欧几里得距离，确保几何精度；视觉语义奖励将预测结果重新渲染为图像，使用编码器计算与真实渲染图像的余弦相似度，捕获全局布局一致性。其次，知识内化奖励是一个训练好的奖励模型，用于检测推理漂移。它通过对比五类典型错误类型的负样本，使模型学会评估推理链条是否忠实于视觉证据。最后，视觉门控策略优化引入视觉门控机制，在推理前过滤低质量的感知轨迹，确保只有高感知质量的输出进入推理阶段，从而稳定长链推理。

方法步骤详情

COGFLOW 的训练和推理流程分为两个主要阶段。在监督微调阶段，模型在数据集上训练两个周期，学习从图像到感知轨迹和从感知到推理轨迹的基本映射。学习率配置为十的负五次方，批大小为六十四。在强化学习阶段，模型使用算法在数据集上优化一个周期，学习率为十的负六次方，批大小为十六。强化学习阶段的输入是问题文本和图像，模型首先生成多个候选感知轨迹，每个轨迹包含结构化的几何基元。视觉门控根据感知质量评估公式评估每个感知轨迹的质量，只选择通过阈值的轨迹进入推理阶段。如果所有尝试都未通过，则选择质量最高的一个。对于通过视觉门控的感知轨迹，模型生成对应的推理轨迹。每个完整轨迹的奖励是三个组件的加权和，其中三个权重参数分别控制协同视觉奖励、知识内化奖励和推理奖励的重要性。群组内的所有轨迹共享基线，优势估计基于群组奖励的均值和标准差进行归一化。最终的损失函数采用裁剪策略，同时包含对参考策略的散度惩罚，确保训练稳定性。

技术新颖性

COGFLOW 的技术新颖性体现在多个层面。在架构层面，它是首个明确建模感知、内化、推理三阶段流程的视觉数学推理框架，填补了感知增强和推理忠实整合之间的空白。在奖励设计层面，协同视觉奖励创新性地结合了参数空间的几何精度评估和语义空间的布局一致性评估，避免了像素级噪声或黑盒嵌入相似度的缺陷。知识内化奖励首次提出了针对推理漂移的奖励模型，通过精细设计的五类错误类型负样本，使模型能够系统性检测和惩罚与视觉证据不支持的推理步骤。视觉门控策略优化将视觉门控与群组优化相结合，不仅在推理时过滤低质量感知，还在训练时通过视觉门控塑造策略本身，这是与传统仅在推理时过滤输出的本质区别。在数据层面，构建的数据集首次明确解耦了感知和推理的注释，提供了十二万一千七百三十个高质量的感知、推理对齐样本，为研究感知、推理对齐提供了重要资源。

**Figure 2**: Overview of the proposed visual mathematical reasoning framework COGFLOW. Inspired by the canonical three-stage human reasoning flow, COGFLOW adopts a hierarchical pipeline that integrates Synergistic Visual Rewards (SynVRs) for enhanced perception, a Knowledge Internalization Reward (IntlzR) to bridge perception and reasoning, and Visual-Gated Policy Optimization (VGPO) with Inference Reward (InfR) to anchor multi-step reasoning in perceptual accuracy.

**Figure 3**: Workflow of SynVRs. SynVRs consist of a Visual Semantic Reward and a Visual Parametric Reward, ensuring local geometric fidelity and global perceptual coherence respectively. Together, these two complementary visual rewards provide a unified supervision mechanism for training robust and accurate visual perception.

**Figure 4**: Pipeline of VGPO. VGPO introduces visual gate and multiple rewards to strengthen multi-step visual reasoning. Coupling perceptual quality control with outcome-based optimization promotes stability.

**Figure 10**: Curation pipeline of MATHCOG. We label MATHCOG-SFT and MATHCOG-RL based on the raw data. To construct MATHCOG-IntlzR, we sample positive examples from MATHCOG-SFT and generate five typical negative examples. Then, we adopt Softmax-DPO to train the IntlzR model.

实验结果

COGFLOW 在六个视觉数学推理基准上取得了显著提升。在基准测试上，达到百分之六十六点零的准确率和百分之五十六点二的思维链评估分数，相比基线的百分之五十七点四和百分之四十八点七，分别提升了百分之八点六和百分之七点五。在视觉密集型子集上提升更为明显：视觉密集子集达到百分之四十二点七，视觉主要子集达到百分之五十五点六，视觉中心子集达到百分之六十一点一。在基准测试上，达到百分之五十三点九的准确率和百分之三十九点五的思维链评估分数，在视觉密集子集、视觉主导子集和视觉仅子集上分别达到百分之四十四点八、百分之四十二点一和百分之二十五点七。在数学视觉理解基准上，达到百分之七十六点八的准确率，超过了所有同规模的开源模型。在另外两个基准上，分别达到百分之六十四点一和百分之四十六点二的准确率。消融实验表明，每个组件都对性能有积极贡献：仅加入协同视觉奖励使思维链评估提升百分之二点二，仅加入知识内化奖励提升百分之一点七，仅加入视觉门控策略优化提升百分之二点一，三者组合后达到最大提升。错误类型分析显示，将知识内化错误从基线的百分之十六点三降至百分之十点八，将推理错误从基线的百分之十七点零降至百分之十五点零，同时将正确答案比例从百分之二十二点一提升至百分之五十九点零。这些结果证明了 COGFLOW 不仅提高了答案准确率，更重要的是显著改善了推理过程的忠实度和可信度。

**Table 1**: Accuracy (%) and FlowVerse-style CoT-E (%) results on FlowVerse.

**Table 2**: Accuracy (%) and MathVerse-style CoT-E (%) results on testmini set of MathVerse.

**Table 3**: Accuracy (%) results on MathVista. COGFLOW demonstrates consistent superiority.

**Table 4**: COGFLOW shows competitive accuracy (%) results on more visual math benchmarks.

**Table 5**: Ablation of three proposed components (i.e., SynVRs, IntlzR and VGPO). The visual gate is always enabled during inference.

**Figure 9**: Error-type analysis. We analyze error-type distributions for COGFLOW variants alongside specialized visual–math models, the GRPO-style model, and the decoupled method. The baseline is denoted by the SFT+GRPO setting.

查看结构化数据

任务	指标	本文	基线	提升
FlowVerse 视觉数学推理	Accuracy / CoT-E	66.0% / 56.2%	GPT-5 (59.3% / 68.2%), VLM-R1-7B (41.2% / 50.7%)	相比同规模开源模型提升约 25%，接近闭源 GPT-5 水平
MathVerse 视觉数学推理	Accuracy / CoT-E	53.9% / 39.5%	MathFlow+ GPT-4V (43.8% / 56.7%), GPT-4V (39.4% / 54.4%)	相比 MathFlow 提升 10.1%，相比 GPT-4V 提升 14.5%
MathVista 数学视觉理解	Accuracy	76.8%	SophiaVL-R1-7B (71.3%), MultiMath-7B (50.0%)	相比 SophiaVL-R1-7B 提升 5.5%，相比 MultiMath-7B 提升 26.8%
WeMath 视觉数学推理	Accuracy	64.1%	Doubao-1.5-pro (65.7%), GLM-4.5V (68.8%)	作为 7B 模型接近闭源大模型性能
FlowVerse Vision Centric 子集	Accuracy	61.1%	VLM-R1-7B (37.8%)	提升 23.3%，证明视觉增强的有效性

局限与改进

作者承认了几个局限性。首先，训练过程计算密集，需要大量计算资源才能获得稳定的性能提升，在十六张显卡上训练七十亿参数模型仍需要显著的时间和成本。其次，当前方法主要专注于视觉数学问题，对几何图表有较强的依赖，尚未扩展到通用场景。对于非几何的自然图像，如何获得类似的结构化基元表示仍是一个开放问题。作者还指出，知识内化奖励模型依赖于手动设计的五类错误类型，可能无法覆盖所有可能的推理漂移模式。此外，视觉门控的阈值需要调优，在不同的数据分布上可能需要不同的设置。最后，构建的数据集虽然提供了高质量的感知、推理对齐注释，但样本量相比通用多模态数据集仍然有限，可能限制模型的泛化能力。

独立分析的弱点

COGFLOW 的几个弱点值得深入分析。第一，计算效率问题是实际部署的瓶颈。强化学习训练需要采样多个候选轨迹，推理时也需要多次尝试通过视觉门控，这显著增加了推理延迟。改进方向可以包括：设计更高效的优势估计方法，减少采样数量；或者训练一个轻量级的感知质量评估器，替代昂贵的视觉语义奖励计算。第二，几何基元的提取依赖于传统计算机视觉算法，对于复杂场景或低质量图像可能不够鲁棒。改进方向可以引入学习化的基元提取器，或者使用更先进的视觉骨干网络。第三，知识内化奖励的五类错误类型设计虽然覆盖了常见模式，但可能遗漏一些边缘情况。改进方向可以通过数据挖掘自动发现新的错误类型，或者使用更细粒度的错误分类体系。第四，数据集主要基于几何问题，缺乏代数、统计等其他数学领域的样本。改进方向可以扩展数据集覆盖范围，增加多样性。第五，当前的视觉门控策略是启发式的，选择第一个通过阈值的轨迹，可能错过更高质量的候选。改进方向可以设计更智能的轨迹选择策略，例如基于不确定性的采样。

未来方向

作者提出了几个有前景的未来研究方向。首先是扩展到通用场景。虽然当前方法专注于视觉数学问题，但获得视觉基元的过程是领域无关的。对于自然图像，可以先用检测或分割模型获得实例级区域和空间范围，借助大语言模型和轻量级人工验证，将这些输出归一化为统一的基元模式，编码每个实例的结构化语义特征及其关系。这种表示使得一致的知识内化步骤成为可能，将原始感知输出转化为紧凑的、可用于推理的状态。其次是探索更细粒度的感知、推理对齐。当前框架将感知和推理分为三个阶段，未来可以研究更交互式的对齐机制，例如允许推理阶段回溯到感知阶段进行验证和修正。第三是研究更高效的知识内化方法。当前知识内化奖励依赖于对比学习，未来可以探索基于生成式方法的知识内化，例如直接生成内化后的知识表征。第四是扩展到其他多模态推理任务。COGFLOW 的强性能表明该框架可以推广到其他视觉、语言领域，例如视觉问答、图像描述等。最后是研究更轻量级的模型架构，使得 COGFLOW 可以在资源受限的设备上部署，例如移动设备或嵌入式系统。

复现评估

COGFLOW 的复现性评估为良好。作者已经发布了完整的训练和评估包，包括代码、配置文件和训练数据集。数据集将在创作共享许可下发布，允许学术研究和商业使用。训练脚本包含了详细的超参数设置：监督微调阶段学习率为十的负五次方，批大小为六十四，训练两个周期；强化学习阶段学习率为十的负六次方，批大小为十六，训练一个周期。知识内化奖励模型基于三十亿参数模型，学习率为七乘十的负六次方，批大小为六十四，训练三个周期。所有模型在十六张显卡上训练。评估脚本覆盖了所有使用的基准，并报告了与主文本一致的指标。对于未公开发布代码或模型的基线，作者明确指出了哪些数字取自原始论文。作者还提供了详细的消融研究和诊断分析，覆盖了协同视觉奖励、知识内化奖励、视觉门控策略优化和视觉门控的贡献。所有关键训练超参数和配置都在附录中指定。总体而言，复现 COGFLOW 需要大量计算资源，但完整的实现细节和数据集的可用性使得复现是可行的。

CogFlow：通过知识内化桥接感知与推理的视觉数学问题求解框架 CogFlow: Bridging Perception and Reasoning through Knowledge Internalization for Visual Mathematical Problem Solving