用漫画思考：通过结构化视觉叙事增强多模态推理 Thinking with Comics: Enhancing Multimodal Reasoning through Structured Visual Storytelling
用多格漫画作为图像和视频之间的中间推理媒介，兼顾时序结构与计算效率
前置知识
Chain-of-Thought (CoT) 思维链推理
Chain-of-Thought 是一种让大语言模型在给出最终答案之前，先输出中间推理步骤的提示或训练范式。通过将复杂问题分解为一系列有序的中间步骤，模型能够逐步推导，而非直接跳到结论。这种方法最早由 Wei et al. (2022) 提出，在数学推理和逻辑推理任务上显著提升了 LLM 的准确性。核心思想是：显式的推理过程比隐式的端到端映射更容易被模型学习和泛化。
本文提出的 Thinking with Comics 本质上是将 CoT 的「逐步推理」思想从纯文本扩展到视觉领域——用多格漫画的每一格代替文字推理的每一步，因此理解 CoT 是理解本文动机的基础。
Thinking with Images (TWI) 视觉思维范式
Thinking with Images 是将 CoT 从纯文本扩展到多模态的范式。在这个框架下，多模态大语言模型（MLLM）不仅将图像作为输入信号，还会在推理过程中生成中间视觉表征来补充关键视觉信息。例如模型可能在推理时生成一张草图或示意图来辅助空间推理。代表性工作包括 Visual Sketchpad (Hu et al., 2024) 和 GPT-4o 的图像推理能力。
Thinking with Comics 是对 TWI 的直接继承和改进。TWI 的核心局限是单张静态图像缺乏时序结构，而本文用多格漫画来解决这个问题，因此理解 TWI 才能理解本文的改进点在哪里。
Thinking with Video (TWV) 视频思维范式
Thinking with Video 由 Tong et al. (2025) 提出，利用 Sora 2 等视频生成模型将推理过程编码为短视频序列。视频天然包含时序信息和动态逻辑，模型在生成视频的过程中本身就完成了推理。这种方式解决了 TWI 缺乏时序结构的问题，但引入了大量冗余帧和极高的计算成本。
Thinking with Comics 的核心定位就是 TWI 和 TWV 之间的折中方案。理解 TWV 的高成本问题才能理解为什么漫画是一个更好的选择——它保留了时序结构但大幅降低了冗余。
信息密度与信息效率
信息密度指单位媒介承载的有意义信息量。在视觉推理中，静态图像的信息密度高（每一帧都独立有意义）但缺乏时序结构；视频包含时序结构但相邻帧高度冗余，信息密度低。信息效率定义为 $\eta(z) \triangleq I(a; z | q) / C(z)$，即给定问题 $q$ 时中间表征 $z$ 对答案 $a$ 的条件互信息除以生成成本 $C(z)$。漫画通过选择性地展示关键帧并嵌入文字，实现了高于视频的信息效率。
论文的理论分析（Appendix B）表明漫画比视频有更高的信息效率，这是本文最核心的理论支撑。理解这个概念才能理解为什么 4-6 格漫画就能达到饱和准确率。
研究动机
当前多模态推理范式存在一个根本性的模态鸿沟。Thinking with Images (TWI) 使用单张静态图像辅助推理，但单张图像无法表达时序结构和动态过程——比如一个多步数学推理过程中的状态转换、因果链条等信息在单张图中要么丢失，要么被压缩到难以辨识的程度。Thinking with Video (TWV) 引入视频生成来解决时序问题，但视频的代价极其昂贵：相邻帧之间高度冗余，一段 10 秒的推理视频按工业标准定价需要 $1.00，而视频中真正承载推理信息的可能只有少数几帧。更重要的是，视频生成的计算开销与视频时长线性增长 $C_{video}(t) = \alpha \cdot t$，这严重限制了 TWV 在实际场景中的可行性。此外，TWI 还面临跨模态对齐的困难——纯视觉推理缺乏文本锚定，容易产生语义歧义。
本文的目标是本文的目标是提出一种介于图像和视频之间的新推理媒介——漫画（Comics），并系统性地验证其在多模态推理中的有效性。具体而言，作者希望找到一种既能保留时序结构和叙事连贯性，又能大幅降低推理成本的视觉推理范式。论文在两类任务上进行全面评估：推理任务（MATH500、GSM8K、MathVista）和长上下文理解任务（DocVQA、CulturalBench），目标是证明漫画在多步时序推理任务上优于 TWI，在所有任务上的成本远低于 TWV。
与已有工作不同的是，本文的独特切入点在于观察到一个被忽视的日常生活事实：漫画是人类最自然的「结构化视觉叙事」形式。漫画天然具备时序逻辑（格与格之间的因果关系）、嵌入文本（对话框、旁白）和叙事连贯性，同时每格的信息密度远高于视频的每一帧。作者的核心洞察是：漫画并不是「降级版视频」，而是一种经过人类数百年文化进化筛选出的高效信息编码格式——它本质上是对连续时序的高层抽象压缩。此外，论文首次系统性地提出了两条漫画推理路径（端到端视觉推理 vs. 漫画作为条件上下文），并从理论和实验两个层面论证了漫画的信息效率优势，填补了 Thinking with 系列范式中「中间媒介」这一空白。
核心方法
Thinking with Comics (TwC) 的整体思路可以用一个简单的类比来理解：如果把推理过程比作讲故事，那么纯文字 CoT 就是用文字叙述，TWI 就是用一张照片概括全部，TWV 就是拍一部完整的电影——而 TwC 则是画一本漫画书。漫画书的关键特性是：它通过精心选择的几格画面，配合对话框和旁白，就能把一个完整的故事讲清楚，既不需要逐帧展示（视频的冗余），也不会因为只有单张图而丢失情节发展（图像的局限）。技术路线上，论文首先用 Gemini-3 Pro Image 作为漫画生成器，根据输入问题生成多格推理漫画，然后探索两条下游推理路径。第一条路径让生成模型自身完成端到端推理（漫画生成即推理），第二条路径将漫画作为中间表征输入给 MLLM 进行联合推理。整个框架不依赖额外训练，是一种推理时（inference-time）的范式创新。
TwC 最核心的创新点是将漫画定义为一种「高信息密度的结构化中间推理表征」，并从理论和实验两个维度论证了它的优越性。与已有方法的本质区别在于三个方面。第一，与 TWI 相比，漫画通过多格结构保留了时序信息——论文的消融实验表明，打乱漫画格的顺序会导致准确率从 75.0% 下降到 71.5%，删除中间格会导致更大幅度的下降，证明模型确实在利用格之间的时序逻辑。第二，与 TWV 相比，漫画通过选择性地展示关键帧来避免冗余——论文用信息论分析表明，漫画可以看作是从潜在时序轨迹中贪婪选择 $K \ll T$ 个关键状态，当信息函数近似次模时，贪婪选择能达到 $(1-1/e)$ 的近似最优。第三，漫画中的嵌入文本（对话框、旁白）扮演了「语义锚定」的角色——消融实验显示去除文本后在 CulturalBench-Easy 上准确率下降 18.1 个百分点，在 MathVista 上下降 13.2 个百分点，说明文字和视觉的联合作用远大于纯视觉推理。
方法步骤详情
TwC 框架包含两个核心步骤和两条下游路径。首先，给定输入问题 $q$，使用图像生成模型（Gemini-3 Pro Image）生成多格漫画 $C = G_\theta(q)$，漫画包含一系列面板 $C = c_1, c_2, \ldots, c_T$，每个面板 $c_t$ 描述一个中间推理状态。生成过程中，模型隐式学习一个潜状态转移过程 $h_t = f(h_{t-1}, q)$，$c_t = g(h_t)$。第一条路径（End-to-End Visualized Reasoning）直接从漫画的最后一格提取答案 $\hat{a} = R(c_T)$，推理和生成紧密耦合，计算成本低但推理能力受限于生成模型本身。第二条路径（Comic as Conditioning Context for VLM）将漫画作为中间变量 $z = C$ 与原始问题 $q$ 一起输入 MLLM，即 $\hat{a} = F_\phi(q, C)$。这条路径将漫画编码了空间结构、物体关系和时序演变的丰富表征提供给 MLLM，实现更强大的联合推理。两条路径的共同特点是：漫画生成是推理过程的核心环节，不同的是推理是由生成模型隐式完成还是由下游 MLLM 显式完成。
技术新颖性
TwC 的技术新颖性体现在三个层面。首先，这是首次将漫画这一日常叙事形式形式化为多模态推理的中间表征，并系统性地探索其在两类推理任务上的应用。此前的 Thinking with 系列工作只探索了图像和视频两个极端，TwC 填补了中间地带的空白。其次，论文不仅提出了方法，还提供了严格的信息论理论分析（Appendix B），用条件互信息和次模函数论证了漫画比视频更高效的原因——这是 Thinking with 系列工作中少见的理论支撑。第三，论文发现漫画中的「角色扮演叙事风格」对推理性能有显著影响：侦探风格在逻辑推理任务上比纪录片风格提升 28.5 个百分点（44.5% 相对提升），这暗示漫画不仅是推理的载体，其叙事结构本身也是一种强大的「视觉系统提示」（Visual System Prompt），这为未来的研究开辟了全新的方向。
实验结果
论文在五个基准上进行了系统评估，结果令人印象深刻。在推理任务上，TwC Path II（图文联合）在 MathVista 上达到 85.8% 准确率，显著优于 Thinking with Video（Sora 2 的 67.6%，虽然评估样本数不同但差距明显），也优于 Thinking with Image 的 TWI-1-Generated Photo（63.6%）和 DREAMLLM（35.9%）。在纯文本数学推理上，TwC 在 MATH500 上达到 92.3%、GSM8K 上达到 95.4%，与 GPT-5.2（99.0%/100.0%）和 Gemini-3-Pro（100.0%/99.0%）等顶级商业模型保持竞争力。在长上下文理解任务上，TwC 在 DocVQA 上达到 99.4% 准确率，大幅领先所有基线；在 CulturalBench 的 Hard 子集上达到 82.2%，领先 Gemini-3-Pro（90.0% 但这是直接推理的结果，而 TwC 使用的是 Path II 联合推理）。值得注意的是，TwC Only Image（仅用图像，无文本嵌入）在 MATH500 上也能达到 90.0%，在 DocVQA 上达到 92.8%，说明漫画的多格结构本身就提供了显著的推理增益。角色扮演叙事消融实验显示，侦探风格在 MathVista 上从 60.0% 提升到 85.0%，在 GSM8K 上从 68.0% 提升到 100.0%，平均绝对提升 28.5 个百分点。面板数量缩放实验显示准确率在 4-6 格时进入平台期，同时 token 成本稳定在 1100-1300 之间。时序扰动实验验证了漫画格之间的逻辑依赖性：完全打乱准确率从 75.0% 降至 71.5%，随机删除中间格导致更大的性能下降。文本锚定消融显示嵌入文本在 CulturalBench-Easy 上提升 18.1 个百分点，在 MathVista 上提升 13.2 个百分点。跨模型泛化实验表明 TwC 漫画在 Claude 3.7 Sonnet、Qwen-VL-72B、GPT-5.2、Gemini 3 Pro 和 GPT-4o 上均能带来一致的性能提升。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| MATH500 | Accuracy (%) | 92.3 (Path II: Img & Txt) | TWI-1-Generated Photo: 70.2; Sora 2: 67.0 | 比 TWI +22.1 个百分点，比 TWV +25.3 个百分点 |
| GSM8K | Accuracy (%) | 95.4 (Path II: Img & Txt) | TWI-1-Generated Photo: 69.4; Sora 2: 75.7 | 比 TWI +26.0 个百分点，比 TWV +19.7 个百分点 |
| MathVista | Accuracy (%) | 85.8 (Path II: Img & Txt) | TWI-1-Generated Photo: 63.6; Sora 2: 67.6 | 比 TWI +22.2 个百分点，比 TWV +18.2 个百分点 |
| DocVQA | Accuracy (%) | 99.4 (Path II: Img & Txt) | TWI-1-Generated Photo: 67.5; Sora 2: 50.5 | 比 TWI +31.9 个百分点，比 TWV +48.9 个百分点 |
| CulturalBench-Hard | Accuracy (%) | 82.2 (Path II: Img & Txt) | TWI-1-Generated Photo: 71.4; Sora 2: 70.0 | 比 TWI +10.8 个百分点，比 TWV +12.2 个百分点 |
局限与改进
论文存在几个值得关注的局限性。首先，所有实验都依赖 Gemini-3 Pro Image 作为漫画生成器，这意味着 TwC 的效果严重受限于底层图像生成模型的能力——如果生成模型无法准确表达数学符号或推理逻辑，整个推理链就会出错。论文没有在其他图像生成模型上验证泛化性。其次，Path I 的端到端推理能力明显弱于 Path II（MathVista 上 75.0% vs 85.8%），说明仅靠生成模型隐式推理是不够的，漫画生成和推理能力尚未在同一模型中统一。第三，评估中的公平性问题：Sora 2 的部分结果标注了星号（来自其他论文或仅在 50 个样本上评估），与 TwC 的全量评估存在不可比性。第四，CulturalBench 上 TwC 仍落后于 Gemini-3-Pro 直接推理（Easy: 88.3% vs 90.4%，Hard: 82.2% vs 90.0%），说明在某些纯知识型任务上，漫画推理可能引入不必要的视觉噪声。最后，论文缺乏对漫画生成质量的系统评估——生成的漫画是否真的在视觉上准确表达了推理过程，还是只是「看起来像漫画」但内容不准确？这需要更细粒度的人工评估。
独立分析的弱点
论文的弱点主要集中在以下几个方面。第一，漫画生成器的单一性是一个严重瓶颈：所有实验仅使用 Gemini-3 Pro Image，论文没有探索开源图像生成模型（如 Stable Diffusion、DALL·E 3）的表现，也没有讨论当生成模型能力不足时的退化策略。改进方向是建立一个漫画生成质量的评估框架，并在多个生成器上进行交叉验证。第二，角色扮演叙事风格的发现虽然有趣，但缺乏系统性的机制解释——为什么侦探风格对逻辑推理更好？是因为它激活了模型的某种隐式推理模式，还是因为它更好地利用了模型训练数据中的分布？目前仅有经验观察，缺乏因果分析。改进方向是设计控制实验，逐步引入侦探风格的不同元素（角色设定、线索展示、逻辑链条等）来隔离各自的效果。第三，Path I 和 Path II 的分裂设计暴露了当前模型的局限：理想情况应该是单一模型同时完成漫画生成和推理。第四，论文的理论分析（Appendix B）虽然严谨，但关键假设如信息函数的次模性在实际中是否成立未经验证。第五，漫画生成的 prompt 工程高度依赖手工设计，不同任务需要不同的 prompt 模板，缺乏自动化的 prompt 优化机制。
未来方向
基于本文的成果，有多个有前景的研究方向。首先，将漫画生成和推理能力整合到统一的端到端模型中是一个自然的延伸——可以考虑在 MLLM 训练中引入漫画生成作为辅助任务，让模型同时学习「画漫画」和「读漫画推理」。其次，论文发现叙事风格对推理有显著影响，这暗示了一个全新的研究方向：如何自动选择最优的叙事风格来匹配特定任务？可以设计一个元学习框架，根据问题特征自动选择或生成最优的漫画风格。第三，漫画作为中间推理表征的可解释性值得深入探索——漫画的每一格对应推理的哪一步？格之间的转换是否对应可解释的逻辑规则？第四，将 TwC 扩展到更复杂的推理场景，如多轮对话推理、长期规划、科学发现等。最后，建立漫画推理的标准化评估基准也很重要，包括漫画生成质量、推理准确性、信息效率等多维度评估。
复现评估
论文的复现性存在一定挑战。首先，核心实验依赖 Gemini-3 Pro Image 这一闭源商业模型，其他研究者无法完全复现相同的漫画生成结果。不过 Path II 的设计使得漫画生成和推理解耦，研究者可以用自己的生成器替换 Gemini-3 Pro Image，论文的跨模型泛化实验（Figure 7）也在一定程度上证明了这一点。其次，论文使用的基准（MATH500、GSM8K、MathVista、DocVQA、CulturalBench）都是公开数据集，评估协议清晰，这降低了复现门槛。第三，论文没有提供代码仓库或模型权重，prompt 模板虽然在 Appendix D 中详细列出，但图像生成模型的随机性意味着完全复现精确数值比较困难。算力需求方面，主要成本在于漫画生成——按 $0.134/张计算，生成全部评估样本的漫画成本约为数十到上百美元，远低于视频生成方案。总体而言，复现论文的核心发现（漫画优于图像、成本低于视频）是可行的，但精确数值复现需要访问相同的闭源模型。
论文图表
