DiagEvo：基于分层错误记忆的诊断引导自进化 DiagEvo: Diagnosis-Guided Self-Evolution via Hierarchical Error Memory
从失败轨迹诊断错误原因构建分层记忆，引导自博弈出题，无外部资源超越R-Zero与DARC
前置知识
自博弈（Self-Play）
一种让语言模型自我进化的范式：挑战者模型负责生成问题，求解器模型通过回答这些问题来学习，两个模型轮流交替更新，一方冻结另一方训练。题目随求解器能力共同演化，理想状态是始终落在求解器能力边界附近——太简单学不到东西，太难则响应不稳定、训练信号弱。
DiagEvo 的 challenger/solver 双模型架构、共演化动态和全部实验设置都建立在自博弈范式之上，不理解这个循环就无法理解论文各组件在循环中的位置。
GRPO（组相对策略优化）
一种强化学习算法：对同一问题采样一组响应，以组内相对优势作为奖励信号更新策略，无需训练价值网络。本文中挑战者和求解器的每一轮更新都用 GRPO：求解器的响应若与伪标签一致得 +1，不一致得 -1，用独立的优化响应集计算策略梯度。
求解器训练和挑战者更新都基于 GRPO，论文区分'构建响应'与'优化响应'两套采样、并把失败优化轨迹送去做诊断，这些设计只有先懂 GRPO 的采样机制才能看懂。
伪标签与多数投票
生成的问题没有标准答案时，让求解器对每题采样 N 条回答，把出现最多的答案当作伪标签，其票数占比 $p_1$ 即自洽性分数。R-Zero 等免标注方法都靠它构造训练集，但当求解器的同一个系统性错误在采样中占多数时，会形成自我确认偏差，把错误固化成训练标签。
论文的双置信度过滤正是为解决伪标签不可靠而生，理解 $p_1$、$p_2$ 的定义和 $p_1 \geq \tau p_2$ 这条相对约束，前提是先懂多数投票及其失效模式。
课程学习
控制模型所见训练样本的顺序与难度分布的训练策略，经典形式是从易到难逐步推进。本文场景中没有现成的题库可排序，课程必须由循环自己产生：哪些错误原因还没解决、哪些已经掌握，决定了下一轮应该生成什么样的题目，这就是一种在线课程调度。
DiagEvo 的本质是把错误记忆转化为课程信号，Active/Mastered 状态加上频率驱动的采样概率 $?arepsilon_{t+1}$ 就是课程学习的具体实现，论文第 2.2 节明确以这一联系自我定位。
经验记忆（Reflexion 类方法）
语言智能体把历史交互总结为记忆以指导后续决策的方法家族：Reflexion 和 ExpeL 存储交互反思摘要，CER、ReasoningBank、ReMe 从成败轨迹构建记忆，SkillRL 把轨迹整理成技能库。这些方法中记忆服务于解题智能体自身的决策或策略更新。
本文与记忆方法家族的关键差异在于记忆的用途：不用于解题而用于出题，成为自博弈循环内部的课程来源，理解这一定位才能抓住论文的贡献点。
研究动机
免标注自博弈方法（R-Zero、Absolute Zero）只依靠难度、可学性、多样性等统计信号调整出题，这些信号能估计题目对当前求解器有多难，却回答不了'求解器为什么会错'。同一个错误原因可能藏在表面完全不同的题目里，缺乏跨题诊断时反复出现的弱点无法被识别，挑战者拿不到'下一轮该练什么'的直接信号。论文图 1 展示了后果：纯自由探索下题目长度随轮数不断膨胀，而数学平均分停滞，模型学会把题目写得更长更花哨，却没针对真实弱点。另一个问题是伪标签不可靠：题目过难或有歧义时，多数投票会产生自我确认偏差，用错误的多数答案训练会跨轮强化错误。有引导的方法（R-Few 用人工标注样本、SPICE 用文档语料、DARC 用难度标签加特权教师）虽能稳定训练，但持续改进依赖自博弈循环之外的任务资源，破坏了免标注的初衷，且外部资源的获取成本限制了可扩展性。
本文的目标是本文的目标是：在不使用任何外部任务资源（人工样本、文档语料、难度标签）的前提下，让自博弈循环自己产生指导信号，使生成的题目始终贴近求解器不断移动的能力边界。具体拆解为三件事：其一，从求解器自身的失败历史中提炼可迁移的错误原因，追踪哪些原因反复出现、哪些已被克服；其二，据此调度下一轮题目生成——未解决的活跃错误做定向出题，其余预算留给自由探索维持覆盖面，已攻克的原因偶尔与新原因组合出复合题；其三，在求解器训练前过滤掉高冲突的'题目-伪标签'对，抑制自我确认偏差。最终衡量标准是在 Qwen3-4B、Qwen3-8B、OctoThinker-8B 三个求解器、九个基准上，数学与通用推理成绩全面超越 R-Zero 等免标注方法，并挑战使用外部资源的 DARC。
与已有工作不同的是，现有方法把出题方向的来源分成两派：免标注派（R-Zero、Absolute Zero）用求解器响应的统计信号如通过率和票数分布，只知难易不知病因；有引导派（R-Few、SPICE、DARC）引入外部资源，方向明确但依赖循环之外的信息。本文的独特切入点是第三条路——方向就藏在自博弈过程已经产生的数据里：失败轨迹本身。做法是把同一题上与伪标签一致和不一致的两条推理轨迹送给一个轻量诊断模型做对比，定位两者最早分叉的推理步骤，提炼出剥离了题目具体数值和表面形式的可迁移错误原因。相比 Reflexion 等记忆方法把记忆用于解题决策，本文首次把记忆用于出题决策，让过去的失败成为循环内部的课程信号；诊断结果还用 Active/Mastered 状态机管理，把'记忆存了什么'升级为'记忆如何调度训练'。
核心方法
直觉上，DiagEvo 给自博弈装了一个'体检-开方'闭环：求解器每轮训练后，诊断模型对比失败与成功轨迹找出病因，存入分层错误原因记忆；下一轮挑战者照病历出题——活跃病因定向出题，已掌握病因偶尔与新病因缝合成复合题。技术路线分四步（图 2）：① 挑战者按频率驱动混合策略出题并用 GRPO 更新，自由探索概率 $\varepsilon_{t+1}=F_1/(F_1+F_t/k)$，其中 $F_t$ 是当前活跃期各原因失败总数，$F_1$ 是首轮参照值；② 求解器每题采 N 条构建响应做多数投票得伪标签，双置信度过滤保留 $p_{low} \leq p_1 \leq p_{high}$ 且 $p_1 \geq \tau p_2$ 的题；③ 诊断模型从保留题的失败优化轨迹中提取、去重、归组错误原因；④ 分层记忆更新各原因的 Active/Mastered 状态与活跃期频率 $f_t(e)$，得到下一轮的 $\varepsilon_{t+1}$ 和定向分布 $p_{t+1}(e)=f_t(e)/F_t$。挑战者与求解器交替更新，任一时刻只有一个模型在训练。
核心创新是把求解器的失败历史转化为自博弈内部的结构化课程信号，与已有方法的本质区别有三点。第一，与 R-Zero 等只看对错统计的方法不同，DiagEvo 做对比诊断：把同一题上答案相反的成败轨迹 $r^+$ 和 $r^-$ 放在一起找最早分叉点，得到的是'为什么错'的可迁移原因，而非'错了几次'的表面信号。第二，错误原因不是平铺列表而是两层分层记忆：相关原因归到技能节点之下，每个原因带 Active/Mastered 状态和活跃期失败频率，形成可调度的状态机——失败多则定向出题概率上升，原因被攻克（定向题平均自洽度达 $\theta_{up}$）后频率清零、概率回流到自由探索，复发则自动重新激活。第三，双置信度过滤在绝对约束 $p_{low} \leq p_1 \leq p_{high}$ 之外新增相对约束 $p_1 \geq \tau p_2$（$\tau=1.6$），要求第一、二大答案的票差明显，专治两个答案票数接近导致的伪标签漂移，这是对自我确认偏差的针对性防御。
方法步骤详情
每轮四阶段。① 出题：挑战者以概率 $\varepsilon_{t+1}$ 自由探索，否则从 $p_{t+1}(e)=f_t(e)/F_t$ 采样 Active 原因定向生成；同技能节点有 Mastered 姊妹原因则以交叉状态缝合拼进提示。先用冻结求解器评估一批题，GRPO 更新挑战者。② 建训练集：更新后的挑战者出候选池，求解器每题采 N 条构建响应，多数答案为伪标签 $\hat{y}(x)$，保留满足 $p_{low} \leq p_1 \leq p_{high}$ 且 $p_1 \geq \tau p_2$ 的题。③ 训练求解器：对保留题另采 G 条优化响应做 GRPO，与 $\hat{y}(x)$ 一致 +1、否则 -1。④ 维护记忆：诊断模型按 $e_{new}=\mathcal{D}_{ext}(x,\hat{y}(x),r^-,r^+)$ 提取原因，先与已知 $E_{known}(x)$ 匹配（命中 Mastered 则重新激活），未匹配的检索去重、归入技能节点，轮末合并冗余节点。定向题平均自洽度达 $\theta_{up}$ 则晋升 Mastered、频率清零。
技术新颖性
技术新颖性体现在四个层面。其一，诊断信号来源新颖：无需外部资源，仅用自博弈内部已产生的失败数据，与 SPICE、DARC 等依赖文档语料或特权教师的方法形成鲜明对比，却达到更高整体分（Qwen3-8B 上总平均 57.4% 超出 DARC 1.1 点）。其二，记忆组织新颖：技能节点加错误原因的两层结构，配合 Active/Mastered 状态与活跃期频率，把静态记忆库变成动态课程调度器，晋升时频率清零的设计自动把采样预算从已攻克原因转移回自由探索，保证课程不枯竭。其三，交叉状态缝合新颖：把 Active 原因与同节点 Mastered 原因拼接出复合题，消融显示同节点缝合比随机配对高 1.0 点数学平均分，说明记忆的结构化组织本身产生增益。其四，相对置信约束 $p_1 \geq \tau p_2$ 新颖：现有方法只用绝对票数阈值，本文对比前两大答案的票份比例，消融显示在绝对约束之上再加这一条使数学平均从 70.9% 升到 72.3%，oracle 一致性从 72% 升到 75%。
实验结果
表 1 主实验覆盖三个求解器、九个基准（AMC、GSM8K、MATH-500、OlympiadBench、MMLU-Pro 等数学与通用推理）。默认 4B 诊断模型下，DiagEvo 在三个求解器总平均上全部登顶：Qwen3-8B 数学平均 72.3%（超 R-Zero 4.5 点），通用 38.8%，总平均 57.4% 超 DARC 1.1 点；Qwen3-4B 53.5%、OctoThinker-8B 41.9%，均超 DARC 1.3 点，且不用外部资源。诊断规模影响小：4B 到 235B-A22B，数学仅升约 1 点，通用约 0.3 点，增益来自机制而非规模。消融（表 2）：冻结挑战者掉 3.8 点；纯探索 69.5%、纯定向 70.1%，均低于完整策略 72.3%；无过滤 69.4%。训练动态（图 3）：前五轮升至 72.3%，第 6、7 轮回落到 72.0%、71.4%，故取第 5 轮检查点；原因 151 涨至 244 个、节点约 36 个；oracle 一致性 65% 升至 75%。只训数学，OctoThinker 通用从 10.7% 升到 28.4%。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 数学推理平均（Qwen3-8B，5 个基准） | 准确率 % | 72.3 | R-Zero 67.8 | +4.5 |
| 通用推理平均（Qwen3-8B，4 个基准） | 准确率 % | 38.8 | R-Zero 36.2 | +2.6 |
| 总平均（Qwen3-8B，9 个基准） | 准确率 % | 57.4 | DARC 56.3 | +1.1（且无外部资源） |
| 总平均（Qwen3-4B，9 个基准） | 准确率 % | 53.5 | DARC 52.2 | +1.3 |
| 总平均（OctoThinker-8B，9 个基准） | 准确率 % | 41.9 | DARC 40.6 | +1.3 |
| OlympiadBench（Qwen3-8B） | 准确率 % | 51.4 | DARC 48.4 | +3.0 |
| GPQA-Diamond（Qwen3-8B） | 准确率 % | 46.0 | DARC 44.4 | +1.6 |
| 消融：完整双置信过滤 vs 无过滤（Qwen3-8B 数学平均） | 准确率 % | 72.3 | 69.4（无过滤） | +2.9 |
局限与改进
作者在文中体现的局限：性能并非单调提升，第 6、7 轮数学平均回落到 72.0% 和 71.4%，只能靠人工选第 5 轮检查点，缺乏自动停止准则；oracle 一致性最高只到 75%，意味着训练集中约四分之一伪标签仍与真实答案不符，诊断对比所依赖的 $\hat{y}(x)$ 本身可能是错的，论文也承认提取的只是'相对推理差异'而非真值层面的病因；训练语料只有数学题，通用推理虽涨但绝对值仍低，BBEH 仅 12.4%，比 Base 只高 1.9 点。我自己的观察：其一，诊断质量完全依赖 Qwen3-Instruct 系列模型的比较推理能力，未测其他家族的诊断模型，方法可能对诊断模型有隐性偏好；其二，诊断流水线对每条失败轨迹都要一次 LLM 调用加检索确认，成本随失败数线性增长，主文未讨论开销与收益的权衡；其三，$\tau=1.6$、$p_{low}/p_{high}$、$\theta_{up}$ 等超参的鲁棒性只在附录部分报告（如 $k$ 不敏感、$\tau$ 有敏感性分析），主结论对这些选择的依赖程度读者不易判断。
独立分析的弱点
第一，伪标签天花板：75% 的 oracle 一致性意味着约 25% 训练信号是错的，GRPO 以 ±1 奖励直接消费这些标签，改进方向是引入轻量验证器（代码执行、符号检查）对争议题二次确认，或按票差对奖励加权。第二，检查点靠事后挑选：第 5 轮后性能回落说明记忆可能逐渐固化或题目分布漂移，改进方向是把 oracle 一致性或定向题自洽度做成在线监控指标，触发自动早停或记忆剪枝。第三，泛化不对称：Qwen3-8B 数学平均涨 8.9 点（63.4% 到 72.3%），通用只涨 5.6 点，BBEH 这类多步组合推理基准几乎不动，改进方向是把诊断循环扩展到代码、逻辑等多任务混合训练，检验错误记忆的跨域复用。第四，诊断模型单点依赖：只试了 Qwen3-Instruct 三个尺寸，多小的模型还能提取有效错误原因、非 Qwen 家族是否可行都未知。第五，评估用 GPT-4o 做数学判分，judge 偏差可能影响与 DARC 报告数字（部分直接取自其论文）对齐的严格性。
未来方向
作者在结论中指出结构化诊断使失败成为可用课程信号，可延伸的研究包括：一是把分层错误记忆做成可迁移资产——求解器 A 攒下的错误原因库能否冷启动求解器 B 的训练，类似教师错题本在学生间复用；二是把 Active/Mastered 状态机与 RLVR 的可验证奖励结合，在有真值的领域直接用通过率替代自洽度做晋升判据，消除伪标签噪声；三是把诊断—记忆框架推广到多模态与智能体任务（工具调用失败、视觉推理错误），错误原因的定义需要相应泛化；四是研究记忆规模与训练轮数的标度律，论文只跑到 7 轮、244 个原因，节点合并策略在更长训练下是否稳定未知；五是让诊断模型与求解器共同进化——目前诊断模型完全冻结，在循环中更新它可能提升诊断质量，也可能引入漂移，值得消融。此外交叉状态缝合只在技能节点内做，跨节点的类比式缝合（把远距离技能的 Mastered 经验迁移到新弱点）是一个自然但未探索的方向。
复现评估
复现难度中等偏高。有利条件：所有基础模型公开（Qwen3-4B/8B-Base、OctoThinker-8B-Hybrid-Base、Qwen3-Instruct-2507 系列），九个基准全部公开；评估协议写得明确——数学用 simple-evals 配 GPT-4o 判分、AMC 用 mean@32、通用用贪心解码精确匹配，DiagEvo 结果为三次独立运行的均值加标准差；附录 E 给了模型选择、输入边界、训练配置和运行时分解，附录 D、J 给了状态转移和检索路由的完整规则，正文公式 1 至 4 加流程图足以指导实现。不利条件：论文未提及开源代码或数据仓库，管线涉及挑战者、求解器、诊断模型、embedding 模型四个模型在线协同，GRPO 训练 4B/8B 模型跑 5 轮共演化需要多卡 GPU 集群，每题 N 条构建响应加 G 条优化响应的大规模采样推理开销可观；诊断步骤每条失败轨迹一次 LLM 调用，日志与记忆调试工具需自建；部分基线数字直接取自 DARC 论文而非复现，严格对齐需自行重跑。建议先在 Qwen3-4B 上跑 1 到 2 轮打通管线再扩展。
论文图表
三面板对比。(a) 共演化动态：纯自由探索下题目长度随轮数大幅增长，而求解器数学平均分停滞不前； 分享例题：第 1 轮和第 5 轮的题目对比，显示无引导自博弈中题目表面复杂度不断膨胀；(c) DiagEvo 的表现：借助分层错误原因记忆，题目长度保持稳定且数学平均分持续提升。
一眼看懂论文动机：无引导自博弈会退化成'题目越写越长但没练到点上'，这是 DiagEvo 要解决的核心问题，也是引言论证的出发点。