修正还是重解？多LLM流水线中第二遍增益的分解 Revision or Re-Solving? Decomposing Second-Pass Gains in Multi-LLM Pipelines
多LLM协作中第二遍提升主要来自强模型独立重解而非真正的修订效果
前置知识
第二遍流水线（Two-pass Pipeline）
指先让一个较弱的模型生成初稿（第一遍），再让一个更强的模型审查并改进初稿（第二遍）的工作流程。第二遍模型通常被要求识别错误、提出修改建议并生成改进版本。这是目前提升LLM输出质量的常用方法。
本文研究的核心对象，理解第二遍增益的真正来源对于设计高效LLM系统至关重要
锚定效应（Anchoring Effect）
指人类或模型在做决策时过度依赖接收到的第一个信息（锚点）。在LLM上下文中，如果初稿包含错误结构或误导性内容，审查模型可能会被这些信息锚定，难以产生完全独立的推理，导致修订反而降低质量。
本文发现代码生成任务中弱draft内容有害，这正是因为锚定效应使强模型被牵制在错误结构中
McNemar检验
一种用于比较两个二分类模型性能差异的统计检验方法，特别适合分析同一测试集上的配对结果。它关注两个模型在不同样本上的预测差异是否显著，能够提供比简单准确率更精细的比较。
本文用此检验来验证分解效应的统计显著性，确保结论不是偶然误差
研究动机
多LLM修订流水线被广泛认为能提升输出质量，但主流解释存在根本缺陷。现有假设认为第二遍增益来自于强模型识别并修正弱模型错误（即真正的修订），但这一解释忽略了另一种可能：强模型可能只是完全独立地重新解决问题，根本没有利用初稿的语义信息。如果是后者，那么复杂的修订流水线可能完全不如直接将问题路由给强模型。现有研究要么只测量整体增益不分解机制，要么只做窄范围的对照实验，没有在统一框架下测试角色反转或区分草稿的结构和语义贡献。
本文的目标是本文的目标是通过严谨的实验设计，将多LLM协作的第二遍增益分解为三个可加成分：re-solving（强模型独立重解）、scaffold（草稿的结构脚手架）、content（草稿的实际语义内容）。作者希望在知识密集型MCQ和竞争性编程两类任务上验证这种分解，并理解任务结构、初稿质量和信息类型如何影响多LLM协作的有效性。
与已有工作不同的是，本文的独特切入角度是引入四条件设计进行可加分解。与只测量整体增益或简单对照的现有工作不同，本文设计了x1（生成基线）、x2（标准跨模型修订）、x3（重解对照）、x4（脚手架对照）四个条件，通过 $x_2 - x_1 = (x_3 - x_1) + (x_4 - x_3) + (x_2 - x_4)$ 的等式将总增益分解为re-solving、scaffold和content三个效应。这是首次在统一框架下同时分离结构贡献和语义贡献，并测试角色反转设置的研究。
核心方法
方法的核心思想是设计四个实验条件，通过巧妙的对照设置隔离出第二遍增益的不同成分。直觉上，如果强模型只接收问题不接收草稿（x3），那么任何增益都是纯重解；如果接收的是语义为空但格式匹配的占位草稿（x4），那么与x3的差异是scaffold效应；标准修订（x2）与空草稿修订（x4）的差异就是content效应。这样就能量化草稿到底提供了多少真正的语义价值。
核心创新点是语义为空但格式匹配的null draft设计。作者不用其他问题的真实输出作为假草稿，因为它可能携带潜在迁移信号。相反，他们精心设计了格式正确但语义为空的占位符：对MCQ任务，使用通用双理由模板加 Answer: X（X随机选择）；对代码任务，使用语法正确但语义空洞的stub。这样既能引出正常的reviewer行为，又不会提供任何任务相关的内容信号，从而 cleanly 隔离出scaffold和content效应。
方法步骤详情
实验分为四个条件。x1是生成器基线，生成器直接回答问题并缓存结果供后续条件复用。x2是标准跨模型修订，reviewer接收问题加生成器输出，被要求审查并改进答案，提示模板与x4完全相同只有草稿参数不同。x3是重解对照，reviewer只接收问题，使用与x1相同的提示直接回答，没有任何review框架，这样任何框架好处都归入x2。x4是脚手架对照，reviewer接收问题加语义为空的占位草稿，使用与x2相同的review提示。所有条件的提示都不揭示生成草稿的模型身份。对MCQ任务所有条件使用 Reason 1 / Reason 2 / Answer: X 格式，将答案字母放在最后防止锚定理由。
技术新颖性
技术新颖性体现在三个方面：一是首次提出了可加分解框架，用四条件设计分离re-solving、scaffold和content三个效应，数学关系清晰且每个效应都有明确的操作定义；二是精心设计的null draft避免了其他问题输出的迁移信号污染，确保scaffold效应纯粹来自格式和框架而非内容；三是同时覆盖了MCQ和代码两类结构差异很大的任务，并包含角色反转补充设置，揭示了draft质量如何影响协作效果。这种分解不仅学术上有趣，更直接指导系统设计：如果re-solving占主导就应该直接路由给强模型，如果scaffold占主导就应该用多阶段流水线。
实验结果
实验结果揭示了三个核心发现。第一，在知识密集型MCQ任务上，content效应对两个模型对和两个数据集都不显著，绝大多数观察到的增益与强模型重解一致。GPQA Pair 2的re-solving效应达到+56.6个百分点（p<.001），而content只有-3.0且不显著；HLE Pair 2的re-solving效应是+30.4个百分点（p<.001），content为-2.4也不显著。这表明在答案空间受限、初稿提供结构指导较少的MCQ任务上，弱初稿添加的信息几乎为零，强reviewer往往直接丢弃弱理由并从自己的参数知识重建答案。第二，在代码生成任务上，弱draft内容显著差于纯结构脚手架。LiveCodeBench上scaffold效应主导，Pair 1的scaffold效应是+25.9个百分点（p<.001），content却是-3.1（p<.01）；Pair 2的scaffold达到+42.9（p<.001），content为-7.9（p<.001）。而且content效应随难度恶化，Pair 1从Easy的轻微负值到Hard的显著负值，表明弱初稿的实现结构越错误，对强reviewer的锚定危害越大。第三，角色反转实验显示强draft确实帮助弱reviewer。在两个MCQ对和代码Pair 2中，当draft来自强模型时content效应变为显著正，说明draft效用高度依赖draft质量和它提供的信息类型。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| GPQA Diamond (MCQ) | Accuracy | 79.3% (Pair 1), 87.4% (Pair 2) | 61.6% (Pair 1), 33.3% (Pair 2) | +17.7pp (Pair 1), +54.1pp (Pair 2) |
| HLE (MCQ) | Accuracy | 20.2% (Pair 1), 37.5% (Pair 2) | 12.6% (Pair 1), 11.3% (Pair 2) | +7.6pp (Pair 1), +26.2pp (Pair 2) |
| LiveCodeBench (Code Generation) | Accuracy | 83.9% (Pair 1), 78.1% (Pair 2) | 50.6% (Pair 1), 28.5% (Pair 2) | +33.3pp (Pair 1), +49.6pp (Pair 2) |
局限与改进
作者承认的局限包括：只测试了两对模型配置，可能无法推广到所有模型组合；MCQ任务的回答格式固定为 Reason 1 / Reason 2 / Answer: X，格式可能影响scaffold效应的可观察性；代码任务只评估了竞争性编程，其他代码类型如软件工程可能有不同模式。我自己观察到的局限：所有实验都假设reviewer会认真执行review任务，但实际上LLM可能对某些任务不太遵循指令；null draft的设计虽然巧妙，但仍然可能携带一些隐含的结构假设；结果没有讨论计算成本，多阶段流水线即使无效也可能被其他原因（如透明性、可控性）偏好。
独立分析的弱点
本文存在几个可以改进的弱点。第一，null draft虽然语义为空，但仍然带有隐含的结构假设，比如MCQ模板暗示需要两个理由，这可能本身就引导了特定推理风格。改进方向是测试更多格式变种或使用更灵活的占位符。第二，只测试了两对特定模型（Gemini Flash Lite→GPT-5-mini和GPT-4o-mini→Gemini Flash），结论可能不适用于能力差距更大或更小的模型组合。应该系统性地变化模型能力差距并测量效应如何变化。第三，没有计算成本分析，虽然发现了MCQ上re-solving主导，但多阶段流水线可能在计算成本上有优势（如果弱模型远便宜于强模型）。未来应该加入成本效益分析，帮助在实际部署中做权衡。
未来方向
作者提出的未来方向包括测试更多任务类型（如文本生成、翻译、摘要），探索task structure如何影响效应分布，以及研究如何动态路由到不同流水线策略。基于本文成果，可以延伸的研究包括：设计预测器提前判断某个问题适合re-solving还是revision，实现自适应的协作策略；研究如何增强弱draft的结构价值而不引入有害语义，比如用强模型只生成代码骨架而非完整实现；探索更多模型对的协作模式，如中等模型→强模型或专门架构的弱模型→通用强模型；研究如何训练模型更有效地利用强draft而不被弱draft锚定，可能是通过对抗性训练或instruction tuning。另一个有前景的方向是研究effect分解在迭代多轮协作中的演化，比如第三轮、第四轮会怎样，以及不同序列的效应组合。
复现评估
复现难度中等。论文没有明确声明是否开源代码，但实验设计非常清晰，四个条件的prompt设计有详细描述（null draft在附录A），数据集都是公开的标准benchmark（GPQA Diamond、HLE、LiveCodeBench）。主要挑战是获取相同的模型API，因为论文使用了GPT-5-mini等较新模型。实验规模是GPQA 198题、HLE 451题、LiveCodeBench 1054题，每个题跑四个条件，总计约6800个模型调用，对普通研究者API成本较高但可接受。统计方法使用McNemar检验with Yates校正，实现不难。最大的复现障碍可能是null draft的精确设计，但附录提供了完整模板。总体而言，如果获得模型访问权限，复现是可行的，主要成本是API调用费用。
论文图表
