以草稿进行思考：基于逻辑重建的光学解压 Thinking with Drafting: Optical Decompression via Logical Reconstruction
将视觉推理重构为逻辑解压，通过极简DSL草稿实现确定性视觉验证
前置知识
光学压缩与解压 (Optical Compression / Decompression)
光学压缩指的是OCR系统将视觉文档（文本、表格、公式等）压缩为高保真内部表征的过程——像素被压缩为感知token。光学解压则是其逆过程：从压缩的感知token中重建潜藏的逻辑结构。本文将推理任务重新定义为光学解压，即模型不仅要识别"写了什么"，更要理解"意味着什么"，将视觉输入中的隐式关系解压为显式的、可执行的逻辑表示。
这是本文的核心哲学框架。理解光学解压的概念才能理解为什么作者认为传统OCR和视觉生成都不足以解决需要严格逻辑精度的推理任务。
领域特定语言 (Domain-Specific Language, DSL)
DSL是为特定问题领域设计的专用编程语言，相比通用语言（如Python），它用更少的语法表达领域内特定的概念和约束。本文设计的Logic Graphic DSL是一种极简的图形DSL，专门用于描述条形图模型（bar model）中的实体、关系和聚合操作。它由三类原子操作组成：实体原语(HL)表示水平线段，关系原语(VL)表示垂直对齐线，聚合原语(HB/VB)表示水平/垂直括号。该DSL可编译为GeoGebra脚本进行数学验证，或SVG代码进行视觉渲染。
DSL是TwD方法的核心技术载体。模型通过生成DSL代码来外化其推理过程，生成的DSL可通过确定性渲染器转化为视觉图像，实现"推理即草稿"的闭环验证。
条形图模型 (Bar Model)
条形图模型是新加坡数学教育中广泛使用的视觉代数方法，用矩形条的长度表示数量，通过条的分解、对齐、比较来表示数学关系。例如，"A是B的3倍"用一个短条和三个等长短条并排对齐来表示。条形图模型将抽象的代数关系转化为可操作的几何结构，是视觉化数学推理的经典工具。
本文选择条形图模型作为主要测试场景，因为条形图模型天然具有严格的拓扑约束（对齐、边界一致性等），非常适合验证"推理是否正确"——如果DSL生成的条形图在几何上自洽，就说明推理逻辑正确。
Chain-of-Thought (CoT) 与 Program-of-Thought (PoT)
CoT是让大语言模型逐步生成自然语言推理链的提示方法，将复杂问题分解为逐步推导。PoT则更进一步，让模型生成可执行代码（如Python）来解决数学问题，通过程序执行获得精确结果。这两种方法分别在自然语言空间和通用代码空间中进行推理，但都存在局限：CoT的语言歧义性缺乏几何约束，PoT的通用代码存在语法噪声且难以进行视觉验证。
TwD方法与CoT和PoT形成鲜明对比。作者在论文中明确将TwD与这两种范式进行形式化比较，指出DSL空间相比自然语言空间具有逻辑刚性，相比通用代码空间具有语义简洁性，是推理的更优中间表示。
思维与图像 (Thinking with Images)
一种新兴的多模态推理范式，让模型在推理过程中生成中间图像（如草图、图表）作为认知支架。与纯文本CoT不同，它将思维外化为视觉形式，模仿人类通过绘图来辅助思考的过程。然而，像素空间的生成具有随机性不精确性——生成的图在感知上可能合理，但在数学上可能不精确。
TwD可以被看作'思维与图像'的升级版：不是在像素空间生成可能不精确的图像，而是在符号空间生成精确的DSL代码，再通过确定性渲染器转为数学上精确的视觉图像。
研究动机
当前多模态大语言模型在复杂推理任务中存在一个"精度悖论"（precision paradox）。在输入端，OCR系统能够高保真地转录视觉文档中的符号、数字、文本、表格和公式，实现了所谓的"上下文光学压缩"——将丰富的视觉文档压缩为高保真内部表征。然而，转录并不等于理解：一个数字"123"可能代表总量、差值或约束条件，取决于上下文。感知信号虽然高保真，但关系语义仍然是隐式的、非结构化的。在输出端，视觉生成模型优化的是感知合理性而非逻辑有效性。它们可以生成看起来像图表或数学构造的图像，但无法保证底层关系是精确的——一条生成的线段可能看起来比另一条长，但无法满足精确的定量比例。这种精度悖论意味着：OCR系统擅长识别符号，但不能表征支配符号的逻辑关系；视觉生成模型能产出视觉上合理的图像，但无法保证数学上的精确性。
本文的目标是本文的具体目标是：(1) 将视觉输入上的推理重新概念化为"光学解压"过程，即从压缩的视觉token中重建潜藏的逻辑结构；(2) 提出Thinking with Drafting (TwD)范式，利用极简的领域特定语言作为接地中间表示，强制模型将心智模型草稿为可执行代码，渲染确定性视觉证明以进行自验证；(3) 构建VisAlg基准测试来评估模型是否能通过光学解压重建视觉代数问题中的隐式逻辑拓扑；(4) 验证一个紧凑的8B模型在配备TwD认知支架后，是否能在视觉代数问题上超越领先的专有前沿模型。
与已有工作不同的是，本文的独特切入角度在于提出了"解析即推理"（Parsing is Reasoning）这一核心公理。与已有工作不同，本文认为真正的理解不在于生成流畅的文本解释，而在于恢复实体、关系和约束的显式可执行表示。已有方法将图像理解、文本推理和视觉生成视为分离的任务（如Figure 1a所示），而TwD将视觉推理重新定义为逻辑重建过程（如Figure 1b所示）。具体而言，已有CoT方法在自然语言空间中推理，语言的歧义性使其缺乏严格的几何约束；已有"思维与图像"方法在像素空间中生成中间图像，随机性导致数学不精确；传统OCR仅回答"写了什么"，而TwD回答"意味着什么"。TwD抓住了被忽视的关键点：推理的质量取决于中间表示的质量——一个结构化的、可执行的、可确定性渲染的DSL，比自然语言或像素空间更适合承载严格逻辑推理。
核心方法
TwD的核心思路可以用一个类比来理解：想象你在做一道复杂的数学应用题。普通的方法是直接在脑子里想（Chain-of-Thought），或者直接写代码计算（Program-of-Thought）。而TwD的做法更像一个有经验的老师——先在草稿纸上画出条形图模型，把题目中的数量关系用几何图形显式表示出来，然后基于这个图形进行推理。这个"画草稿"的过程本身就是推理：画图迫使你把模糊的自然语言约束解析为精确的逻辑原子。技术路线如下：首先，模型接收视觉输入和自然语言问题，通过"光学解压"将隐式逻辑拓扑解析为显式的DSL草稿（包含实体、关系、聚合三类原子操作）；然后，DSL通过确定性渲染器转为验证图像V；最后，模型基于自建的结构化草稿进行条件推理，生成精炼解释、完成的DSL和最终答案。整个过程形成闭环：重建→验证→纠正。
TwD的核心创新点在于将"草稿"（drafting）从最终输出重新定义为推理引擎本身。与已有方法的最本质区别有三点。第一，与CoT相比：CoT在自然语言空间T中进行推理（$\hat{t}_{cot} \sim P_ heta(t, I, Q)$），自然语言是歧义的，缺乏严格的几何约束；而TwD在DSL空间S中推理，DSL中的实体必须满足显式几何规则，起到正则化器的作用。第二，与"思维与图像"相比：思维与图像生成的中间图像$\hat{I}_{gen}$在像素空间中操作，存在随机不精确性，生成的图表可能感知上合理但数学上不准确；而TwD的中间表示$\hat{s}$是符号代码，渲染输出是数学上精确的。第三，与OCR相比：OCR回答"写了什么"，将视觉输入映射为字符序列（$Seq \sim P_ heta(Seq | I)$）；而TwD回答"意味着什么"，通过映射$I ightarrow S$显式捕获OCR忽略的逻辑拓扑，将原始像素转化为可操作的推理原语。关键创新是status-aware分割：实体原语HL的线段向量$v = [v_1, v_2, ..., v_n]$中，$v_i > 0$渲染实线（已存在量），$v_i < 0$渲染虚线（过程量，如减去部分或假设延伸），用符号编码存在状态，使模型能紧凑表示复杂变化模型。
方法步骤详情
TwD方法分为两个阶段。第一阶段是"光学解压与逻辑解析"：模型作为解析器，感知原始输入I，尝试将隐式逻辑拓扑解压为显式结构化草稿。具体地，模型生成初步文本解释$\hat{t}$和初始DSL草稿$\hat{s}$，其中$\hat{s}$的生成不是单步完成，而是逐步分解问题，每一步将I中的歧义解析为离散逻辑原子。DSL由三类原语组成：(1) 实体原语(HL)将输入中的物理量表示为水平线段，使用状态感知分割（正数为实线，负数为虚线）；(2) 关系原语(VL)通过显式x坐标和行索引编码水平实体之间的关系等式；(3) 聚合原语(HB/VB)将抽象算术操作接地为几何操作。第二阶段是"草稿与DSL条件推理"：生成的假设$\hat{s}$通过确定性渲染引擎$V = Render(s)$产生验证草稿图像V。模型利用第一阶段的输出作为"草稿上下文"，初始草稿$\hat{s}_1$作为外化的认知支架，允许模型检查自己的推理。模型生成精炼解释$\hat{t}_2$、完成的DSL $\hat{s}_2$和最终答案$\hat{a}$：$\hat{a} \sim P_ heta(t, s, a | I, Q, \hat{t}, \hat{s})$。通过将推理接地在$\hat{s}$中，计算由草稿中定义的显式拓扑引导。
技术新颖性
TwD的技术新颖性体现在多个层面。首先，它提出了"拓扑抽象层"来解决视觉代码生成中的高熵问题：将连续画布$\mathbb{R}^2$映射到离散逻辑空间$\mathbb{Z}^2$，y轴离散化为逻辑行，x轴由相对偏移而非绝对像素控制，模型只需关注实体的逻辑排序和分组，而非像素坐标计算。其次，引入确定性渲染器和语义宏（如比较模式宏自动生成差值括号和对齐线），确保正确的逻辑解析总能产生视觉上规范的图表。第三，DSL设计本身具有独特性：它不追求像素级控制的通用绘图语言，而是抽象掉渲染冗余，暴露问题的底层逻辑拓扑。DSL可编译为GeoGebra脚本或SVG代码，实现数学验证和视觉渲染的双重输出。第四，数据流水线设计新颖：通过语法检查→分析检查→风格检查的三阶段清单细化，再经LLM-as-judge与人类专家96%一致性的评分过滤，确保训练数据的质量。
实验结果
实验结果表明TwD范式在视觉代数推理任务上取得了显著成效。在VisAlg基准测试上，TwD（基于Qwen3-VL-8B初始化并进行监督微调）取得了82.63的总体分数，超越了所有开源基线和最强的专有模型，包括Gemini-3-Pro（79.96，提升2.67分）、Gemini-2.5-Pro（74.12，提升8.51分）和Claude-4（73.62，提升9.01分）。在代码相似度方面，TwD在BLEU（48.23）、ROUGE-L（72.22）和chrF（68.29）指标上均大幅领先，远超第二名Gemini-3-Pro的BLEU 30.18和chrF 57.53。在图像相似度方面，TwD取得SSIM 93.68（最高）和PSNR 30.25（最高），LPIPS 11.97（最低，表示最相似）。在验证评分方面，TwD在结构对齐（0.90）、信息覆盖（0.96）和答案泄露（1.00，即零泄露）方面表现优异，但在数值一致性（0.70）方面略低于Gemini-2.5-Pro（0.99）和Claude-4（0.99）。开源模型（InternVL3-8B、InternVL2.5-8B、Intern-S1-mini、Mimo-VL-7B-RL、Qwen3-VL-8B）得分均低于55，在代码保真度和图表重建方面存在明显不足。在跨schema分析中，TwD在所有五种视觉代数类型（比例分配、速率与百分比、变化与还原、求和与分割、差值分析）上保持一致的强劲表现，而专有模型的性能在不同schema间波动较大。在集合论推理泛化实验中，GPT-5等前沿模型出现"拓扑幻觉"——虽然尝试对齐线段，但无法保持布尔逻辑的严格性，而TwD成功将抽象集合问题分解为顺序几何操作。人类评估与验证器评分的相关系数高达r = 0.9575，验证了VisAlg评分系统作为人类判断可靠代理的有效性。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| VisAlg视觉代数推理（总体） | 综合分数 Score = 1/3 chrF + SSIM + LLMjudge | 82.63 | Gemini-3-Pro 79.96 | +2.67 |
| DSL代码相似度 | chrF | 68.29 | Gemini-3-Pro 57.53 | +10.76 |
| DSL代码相似度 | BLEU | 48.23 | Gemini-3-Pro 30.18 | +18.05 |
| 图像结构相似度 | SSIM | 93.68 | Gemini-3-Pro 90.36 | +3.32 |
| 图像质量 | PSNR | 30.25 | Gemini-3-Pro 27.32 | +2.93 |
| 验证评分-信息覆盖 | Coverage | 0.96 | Gemini-3-Pro 0.95 | +0.01 |
| 验证评分-答案泄露 | Leak (越高越好=越少泄露) | 1.00 | Gemini-3-Pro 0.96 | +0.04 |
| 验证评分-数值一致性 | Numerical | 0.70 | Gemini-2.5-Pro 0.99 | -0.29（落后） |
局限与改进
作者在论文末尾坦承了核心局限：DSL的结构表示范围有限，它专门围绕条形图视觉代数设计，强调线性拓扑关系以实现直观的结构监督，将其扩展到更广泛的科学图表类别仍是重要的未来研究方向。从论文数据中还可以观察到：(1) TwD在数值一致性维度上明显落后于专有模型（0.70 vs Gemini-2.5-Pro的0.99和Claude-4的0.99），说明虽然结构重建能力强，但在精确数值计算上仍有不足；(2) VisAlg仅覆盖五种条形图schema（比例分配、速率百分比、变化还原、求和分割、差值分析），对更复杂的数学推理（如几何证明、微积分、概率统计）的泛化能力未经验证；(3) 虽然在集合论推理上展示了初步泛化（Figure 7），但仅是定性展示，缺乏定量评估；(4) 数据集规模相对有限（10,430训练+942测试），且训练和测试数据来自同一构造流水线，可能存在分布内过拟合的风险；(5) 模型基于Qwen3-VL-8B微调，对更大模型是否同样有效尚不清楚。
独立分析的弱点
独立分析TwD的弱点，可以发现以下几个方面。首先，DSL的表达能力瓶颈：当前DSL仅支持条形图模型的线性拓扑关系，无法表达曲线、面积、角度、比例尺等更复杂的几何概念。改进方向是扩展DSL的原语集，引入弧线、面积区域、坐标系等新的原子操作，逐步支持更广泛的数学图表类型。其次，数值一致性不足：TwD在数值一致性上仅为0.70，远低于Gemini-2.5-Pro的0.99，说明模型在将文字描述的数值约束精确映射到DSL线段长度时仍有困难。可能的改进方向包括引入符号计算模块作为后处理步骤，或在训练中增加数值一致性的损失权重。第三，推理效率问题：TwD需要两阶段生成（初始草稿→精炼草稿+答案），相比直接生成答案的模型增加了推理延迟和token消耗。可以探索单阶段生成或草稿缓存机制来优化效率。第四，对基础VLM能力的高度依赖：TwD的效果建立在Qwen3-VL-8B的视觉理解和代码生成能力之上，对于能力更弱的基础模型，DSL生成可能本身就不可靠，导致方法效果大打折扣。
未来方向
未来研究方向可以从多个维度展开。作者提出的方向是将DSL扩展到更广泛的科学图表类别，支持非线性拓扑关系。基于本文成果可延伸的方向包括：(1) 将TwD范式应用到其他需要严格逻辑精度的领域，如几何证明、逻辑推理、程序验证等，验证"解析即推理"公理的普适性；(2) 将DSL草稿作为RLHF/DPO的奖励信号——由于DSL可确定性渲染且可验证，可以自动评估推理质量，为强化学习提供可靠的奖励；(3) 探索多轮交互式草稿——用户可以检查、修改模型生成的草稿，模型再基于修正后的草稿继续推理，实现人机协作推理；(4) 将光学解压与工具使用结合——模型生成DSL后自动调用GeoGebra、Mathematica等数学工具进行精确计算，弥补自身数值计算的不足；(5) 在教育领域，TwD可作为数学教学的智能辅导工具，不仅给出答案，更展示完整的条形图推理过程，帮助学生理解问题结构。
复现评估
在复现评估方面，本文提供了较好的条件。数据集方面，VisAlg基准包含10,430个训练实例和942个测试实例，数据构造流水线（数据草稿生成→清单细化→评分过滤）在论文中有详细的prompt描述（Appendix A.1-A.4），理论上可以复现类似数据集。模型方面，TwD基于Qwen3-VL-8B进行监督微调，训练配置明确（8-GPU节点，视觉token上限2048，最大序列长度5128，2个epoch，学习率$5 imes 10^{-6}$，warmup比例0.05），对算力需求中等。然而，论文未提及是否开源代码和模型权重，这是复现的最大障碍。DSL规范在论文中有完整定义，但渲染引擎的实现细节未完全公开。数据集的原始来源（公共数据集和网站上的15,000道条形图应用题）也未具体列出。总体而言，方法逻辑清晰、训练配置明确、数据构造可追溯，如果有代码和数据开源，复现难度为中等偏易；若无开源，则需要较大工程量来重新实现DSL渲染器和数据构造流水线。
论文图表
对比TwD和基线模型在乘法约束问题上的表现。基线模型将×3约束坍缩为加法布局，消除了重复单元结构的证据。TwD显式保留单元拓扑，渲染三个不同线段用于黄球行，结构保真度强制了正确算术。
这是附录中的错误分析案例，展示了基线模型的典型失败模式——"语义消除"，帮助读者理解为什么结构化DSL比直接生成图表更可靠。
对比TwD和基线模型在两天跑步距离问题上的表现。基线模型产生对齐冲突——垂直虚线（对齐锚点）放置错误，视觉上暗示第二天比第一天长，与标签"少35米"矛盾。TwD正确放置减法锚点，虚线精确划定差值线段，强制一致的空间逻辑。
展示了基线模型的另一典型失败模式——"对齐冲突"，说明了为什么确定性渲染和严格拓扑约束对于视觉推理的可靠性至关重要。