← 返回 2026-10-30

A-RSI：零数据多模态自我改进的自适应任务池刷新 A-RSI: Adaptive Task Refresh for Zero-Data Multimodal Self-Improvement

Yu Liu, Youxing Li, Yuedong Tan, Zhiwei Yang, Zihan Su, Hanqi Feng, Shaojie Zhang, Libin Liao, Zihao Wan, Chenxu Wu, Cong Cao, Fangfang Yuan, Yanbing Liu, Ziheng Chen, Pei Fu, Radu Timofte, Zongwei Wu, Nicu Sebe, Barnabas Poczos, Jian Luan 📅 2026-10-28 👍 67 2026-11-09 18:30
GRPO 多模态推理 强化学习 数据课程 递归自我改进 零数据训练
arXiv HuggingFace PDF

训练日志判断任务池何时耗尽，仅用800个程序化新任务实现零数据多模态自我改进

前置知识

GRPO（组相对策略优化）

一种免价值网络的强化学习算法：对每个提示采样 $m$ 条回答，用组内奖励的相对差异（组内优势）作为策略梯度信号，无需训练评论家。关键性质是：当一组回答的奖励完全相同（例如全对或全错）时，组内优势为零，该提示对当前批次不贡献任何梯度。动态重采样会剔除这类无信号提示并重新采样。

本文刷新决策的核心指标 $U_w$（仍保有非零组内优势的提示数）直接建立在 GRPO 的组内优势之上，不理解组内优势为零意味着什么，就无法理解『学习信号枯竭』的含义。

零数据递归自我改进（Zero-data RSI）

递归自我改进指模型用自己的输出产生训练经验并更新自身权重的循环；零数据指训练阶段不用任何外部样本或人工标注答案。代表工作：Absolute Zero 用代码执行器验证自生成任务，R-Zero 让出题者与解题者共同进化，MM-Zero 用多角色多模态自博弈；它们大多连续或每步更新训练数据。

论文的问题设定与全部贡献都定义在零数据框架内：不能用外部数据、不能查验证/测试分数，这决定了『何时换数据』只能依赖模型自身的训练反馈。

奖励黑客与截断效应

RLVR 中模型可能钻奖励空子：学会规范格式或按时停止却不提升正确性。更隐蔽的是评测伪影——许多分数提升来自『更多回答在预算内跑完』而非推理变强：MM-Zero v5 在 4096 限长下比基线高 +4.18 分，基线仅放宽限长到 8192 就白拿 +2.00 分，同一权重只保留 59% 增益。

论文的方法设计与审计体系都围绕区分『完成回答』与『纠正错误』展开，这是理解其贡献成色与诚实评估方式的前提。

课程学习与难度选择

训练时按难度或模型能力挑选任务的方法族：强化学习中的优先级关卡复放（Prioritized Level Replay）、语言模型训练中的在线难度过滤（挑中等难度）、bandit 课程、ThinkLite-VL 式的 MCTS/通过率从固定题库挑难子集。共同假设是『挑对任务比随机采样更高效』。

论文最重要的反直觉发现之一是：在其测试的各种难度感知选择策略（前沿选择、可学带、失败优先等）全部不敌随机替换，需要了解这些方法才能理解对比实验的意义。

研究动机

递归自我改进（RSI）方法大多在回答『下一批生成什么经验』——更难的题、贴近模型能力边界的题——却很少回答『现有经验什么时候不再有用』。一个系统可能在训练信号已经枯竭的任务池上继续消耗更新预算，而过度频繁的刷新又会浪费还没学完的新任务。答案可靠性是另一个独立问题：当训练标签来自自一致性投票或多数表决时，模型自身预测中的错误会直接变成下一次更新的监督信号——作者复现 MM-Zero 时发现其训练标签是模型多数投票，程序化生成器答案与该标签的吻合率仅 5–12%，约 16% 的发布图像几乎全黑。此外增益本身可能被高估：MM-Zero v5 在 4096 token 预算下比基线高 +4.18 分，但其中约一半只是『学会按时写完答案』。在旧池上硬撑的后果也很具体：No-Refresh 对照在 S31 处记录 35 次零信号警告、100 步中仅 94 步产生正常梯度，健康门两次失败后训练直接中止。

本文的目标是本文的目标是把『何时引入新经验』从『生成什么经验』中剥离出来，做成一个只依赖训练日志、不查阅任何验证或测试分数的自动决策。具体而言：让 Solver 在一批程序化生成的多模态任务上做 GRPO 训练，监控日志中两个信号——仍保有非零组内优势的提示数量 $U_w$ 和记录的回答正确率 $a_w$——当信号相对两个窗口前衰减超过阈值（$U_w \le \rho U_{w-2}$，$\rho=0.85$）或正确率显著上升（$a_w-a_{w-2}\ge\eta=0.10$）时，把整个任务池替换成 400 个程序预先算好答案的全新任务，同时保留已学到的模型权重。整个循环不用外部训练样本、人工答案标注或评测分数；并且作者要求刷新规则可被形式化规约、四条性质用 SMT 求解器机器验证、生成答案可被独立审计、增益要在更长输出预算与格式校正评分下复核。

与已有工作不同的是，与 Absolute Zero、R-Zero、MM-Zero 等聚焦『任务如何提出与演化』的工作不同，A-RSI 把任务生成器冻结为固定模板库，把研究焦点放在池级控制决策上：什么时候整池换新。这带来三个独特角度。其一，刷新时机与答案正确性被有意分离——训练动力学回答 WHEN，程序计算的参考答案回答 WHAT is correct，避免多数投票把模型错误固化为标签的回路。其二，工程严谨性本身被当作贡献：任务生成合同 $I=R_\tau(s_\tau(z)),\; q=Q_\tau(s_\tau(z)),\; a=E_\tau(s_\tau(z))$（图、题、答案共享同一底层配置）被形式化，四条性质由 Z3 机器检查，1,000 个实际消耗任务做了独立答案重算（1,000/1,000 一致），4,000 个注入缺陷全部被审计发现。其三，作者系统性地审计自己的增益是否真实（长度预算敏感性、格式校正评分、完成状态分层分解），对 MM-Zero 的批评刨根问底后又主动撤回其中一条不成立的指控（mean-reversion 基线修正后原指控消失），这种先自我怀疑的姿态在 RSI 文献中极为少见。

核心方法

A-RSI 的直觉是：一个任务池『还有没有教学价值』不需要问外部考官，看自己的训练日志就知道——当越来越少的问题还能在一组 8 条回答中产生奖励差异（即 GRPO 组内优势非零），或训练正确率已经爬得很高时，这个池子就快被『学穿』了，该换下一批。技术路线分三步（Figure 2）：(a) 训练前一次性准备——固定一组模型编写、经检查的任务模板库 $\mathcal{T}$，每个模板 $\tau$ 从参数分布 $p_\tau$ 采样 $z$，由同一底层配置同时生成图像 $I$、问题 $q$ 和程序计算的参考答案 $a$，通过构建检查、新鲜度与污染筛查后装入候选库（16,000 个候选，扣除 1,488 个诊断留出与不合格项后剩 14,482 个），再按固定家族配额预生成一批互不重叠的 400 任务替换池；(b) 训练中——只有 Solver 在活跃池上以 GRPO 更新，每窗口 100 步，奖励为正确性、格式、正常终止三项之和，每窗口用全新优化器与调度器；(c) 每个接受的窗口结束后——控制器只读训练日志，按规则决定保留还是激活下一个未用池，刷新保留模型权重但重置池内窗口计数。

核心创新是把『池级刷新时机』定义为一个可规格化、可机器验证的训练日志谓词，而不是靠验证集分数或固定日程。检测器监控 $U_w=|\{x_g:\max_j|A_{g,j}|>\varepsilon\}|$（仍保有非零优势的不同提示数）与 $a_w$（记录的回答正确率），在满足最小观察期 $n_w\ge n_{\min}=3$ 后，若信号保留率 $U_w/U_{w-2}\le 0.85$ 或正确率上升 $\ge 10$ 个百分点则触发整池替换。与已有方法的本质区别有三：(1) 数据更新不再连续或每步发生（Absolute Zero、R-Zero、MM-Zero 均如此），而是离散的、由模型自身经验驱动的整池事件，训练数据与学习信号的关系变得可检查、可回执重放；(2) 监督不依赖模型投票——每个任务的答案由程序从底层配置直接算出，『图、题、答案同源』被写成形式化合同并经 SMT 验证，独立审计确认 1,000/1,000 答案重算一致；(3) 作者诚实地划清证据边界：$U_w$ 下降只是『操作型』枯竭指标，不是『池已被掌握』的证明（全错且响应分布集中同样会使组内方差消失），附录 G 甚至显式验证了『零正确率零信号的模型也会触发刷新』这一反面情形可以满足。

方法步骤详情

第一步，模板合成（训练前一次性）：从几何、图表、表格、计数四类种子题型出发，基座模型写出可执行的问题结构与参数化程序，形成 7 个生成器（多跳几何、平面几何、多系列图、单系列图、指代图、表格、计数），共 16,000 候选。第二步，实例化与检查：执行 $(I,q,a)=G_\tau(z)$，经构建检查（几何题把程序答案与坐标重算值比对）、新鲜度与污染筛查，排除诊断留出项后剩 14,482 个合格候选，按配额 $k=(194,131,54,21)$（对齐评测视觉类型占比 48.5%/32.7%/13.5%/5.3%）预生成互不重叠的替换池。第三步，训练：Solver 用 GRPO 每窗口 100 步，每提示 8 条 rollout（温度 1.0、限长 4,096），奖励 $r=r_{\text{ans}}+0.1\,r_{\text{fmt}}+0.3\,r_{\text{stop}}$，裁剪 0.2、无 KL、学习率 $10^{-6}$；健康门要求至少 97/100 步梯度正常，失败重试一次。第四步，刷新决策：由日志算 $U_w,a_w$（$\ell=2,n_{\min}=3,\rho=0.85,\eta=0.10$），触发则整池换入 400 个未用任务、计数归零、权重延续；替换池耗尽则拒绝开新窗口而非静默复用。

技术新颖性

新颖性体现在四个层面。第一，问题重构：把 RSI 的数据管理拆成选择（哪些任务）与时机（何时换）两个正交决策，并证明前者在各种被测实现下都不敌随机、后者可由日志自动化——『随机赢了精挑细选』本身有方法论价值。第二，信号复用升级：DAPO 的动态采样已用『组内奖励全相同』剔除无梯度提示，本文把同一信号从 batch 级过滤升级为池级枯竭诊断。第三，验证层严谨：用 Z3 机器检查四条规约性质（正确性排序保护 $R(r_c)-R(r_w)\ge 1-\lambda_{\text{fmt}}-\lambda_{\text{stop}}>0$、滞后比较不跨池、难度指针单步有界、相继池互不相交），用 7×1,000 受控奖励探针和 18×1,000 对抗答案检查器实测奖励行为（发现并给出修复 220/16,000 选择题解析漏洞的候选），1,000/1,000 独立答案重算一致、4,000 注入缺陷全部检出、800/1,000 图像字节级重现。第四，评估层诚实：把增益分解为『两次都完成』与其他完成状态层（Qwen both-finished −0.71，MiMo +0.99），并用预算倍增下增益保留率（A-RSI 80% vs MM-Zero v5 59%）检验收益真实性。

Overview of A-RSI. Task templates, the candidate reservoir, and replacement pools are fixed before training. The controller reads training logs to decide when to activate a fresh pool; only the Solver policy is optimized.
Figure 2: Overview of A-RSI. Task templates, the candidate reservoir, and replacement pools are fixed before training. The controller reads training logs to decide when to activate a fresh pool; only the Solver policy is optimized.
Training pools through S32, with columns aligned by continuation updates. Each numbered block represents 400 fresh tasks, and its width shows how long that pool is used. Pools are numbered in replacement order separately for each arm. Colors identify selection strategies, and triangles mark detector-triggered replacements.
Figure 3: Training pools through S32, with columns aligned by continuation updates. Each numbered block represents 400 fresh tasks, and its width shows how long that pool is used. Pools are numbered in replacement order separately for each arm. Colors identify selection strategies, and triangles mark detector-triggered replacements.

实验结果

主实验（Qwen3-VL-8B，11 个完整测试集 22,042 题，8192 token，Macro11）：$S_t$ 57.77 经 8 窗口、仅 800 个新任务达 61.05（+3.27），11 个基准全涨（+1.19 至 +8.33），四类视觉子集全涨（几何 +3.64、计数 +6.94）；MiMo-VL-7B 从 59.08 升至 60.71。策略对比：同预算第 6 窗口 A-RSI 60.40 对 No-Refresh 58.35（+2.05）；第 8 窗口 61.05 > Continuous 60.64（3,200 任务）> Periodic 59.89 > Frontier 59.59，每千新任务增益 4.09 对 0.90/1.77/2.28，截断率 4.16% 最低。检测器：Qwen 旧池 $U$ 239→195（81.6%）触发、第一替换池 83.16% 再触发；MiMo 62.45%/71.86% 触发、98.68% 保留——同一规则对不同模型给出不同决策；No-Refresh 记录 35 次零信号警告、94/100 正常梯度步后停训。选择策略全败：对随机对照 60.29，失败优先 −2.63、可学带 −1.90、阶梯 −0.82、Frontier −1.45；但固定 Frontier 时检测器触发 59.59 反低于定时刷新 59.89，时机优势未获证明。审计：1,000/1,000 正确答案排序保持，生产检查器暴露 220/16,000 漏洞。增益真实性：预算倍增后保留 80%（MM-Zero v5 59%），格式校正下 +3.27 几乎不变；但 Qwen both-finished 层 −0.71，MiMo 才有净纠正 +0.99——Qwen 收益主要来自把跑不完的回答写完。

Comparison with related self-improvement and data-selection methods. Most change their training data continuously or at every step, whereas A-RSI replaces the whole pool only when its own training logs show saturation and refills it with random programmatic tasks.
Table 1: Comparison with related self-improvement and data-selection methods. Most change their training data continuously or at every step, whereas A-RSI replaces the whole pool only when its own training logs show saturation and refills it with random programmatic tasks.
Qwen3-VL-8B-Instruct on the eleven full benchmark sets (8192 tokens). Columns follow the Sij notation defined in the text.
Table 2: Qwen3-VL-8B-Instruct on the eleven full benchmark sets (8192 tokens). Columns follow the Sij notation defined in the text.
MiMo-VL-7B-SFT on the eleven full benchmark sets (8192 tokens). Columns follow the Sij notation defined in the text.
Table 3: MiMo-VL-7B-SFT on the eleven full benchmark sets (8192 tokens). Columns follow the Sij notation defined in the text.
Qwen refresh policies at matched updates. Scores are Macro11 on the eleven-benchmark suite (8192 tokens). New tasks exclude the shared initial pool.
Table 4: Qwen refresh policies at matched updates. Scores are Macro11 on the eleven-benchmark suite (8192 tokens). New tasks exclude the shared initial pool.
Replacement-selection ablations. Scores are Macro11 at 8192 tokens on the eleven-benchmark suite.
Table 5: Replacement-selection ablations. Scores are Macro11 at 8192 tokens on the eleven-benchmark suite.
Controlled reward scoring on 1,000 independently checked generated tasks. The second and third checks retain an incorrect answer, isolating auxiliary-reward increases without a correctness increase.
Table 6: Controlled reward scoring on 1,000 independently checked generated tasks. The second and third checks retain an incorrect answer, isolating auxiliary-reward increases without a correctness increase.
S32 policy results on the eleven-benchmark suite at 8192 tokens. Parentheses give the gain over St; LJ averages judge accuracy over the same eleven benchmarks.
Table 7: S32 policy results on the eleven-benchmark suite at 8192 tokens. Parentheses give the gain over St; LJ averages judge accuracy over the same eleven benchmarks.
Visual-type results at S32, 8192 tokens. Accuracies and truncation rates are pooled within each type; bold marks the best refreshing arm.
Table 8: Visual-type results at S32, 8192 tokens. Accuracies and truncation rates are pooled within each type; bold marks the best refreshing arm.
Length-budget comparison on the eleven-benchmark suite: the public base model, released MM-Zero v5, and A-RSI at S32.
Table 11: Length-budget comparison on the eleven-benchmark suite: the public base model, released MM-Zero v5, and A-RSI at S32.
Fresh-pool training comparison on all eleven benchmarks, using accuracy scoring and an 8192-token limit at the same update budget.
Table 12: Fresh-pool training comparison on all eleven benchmarks, using accuracy scoring and an 8192-token limit at the same update budget.
Independent reference-answer checks. Denominators are the audited records for each group, not all 16,000 reservoir candidates.
Table 13: Independent reference-answer checks. Denominators are the audited records for each group, not all 16,000 reservoir candidates.
Training feedback and controller actions across all three pool stages. Refresh requires retention at most 85% or an accuracy increase of at least ten points, after the minimum observation period.
Table 14: Training feedback and controller actions across all three pool stages. Refresh requires retention at most 85% or an accuracy increase of at least ten points, after the minimum observation period.
MiMo's full eleven-benchmark output comparison, S0 → S32. The contribution averages per-benchmark net transitions divided by each benchmark's full test size.
Table 15: MiMo's full eleven-benchmark output comparison, S0 → S32. The contribution averages per-benchmark net transitions divided by each benchmark's full test size.
Full-suite Macro11 accounting through S32, in percentage points. Completion strata are post-training outcomes, so this decomposition does not identify a causal fraction of reasoning improvement.
Table 16: Full-suite Macro11 accounting through S32, in percentage points. Completion strata are post-training outcomes, so this decomposition does not identify a causal fraction of reasoning improvement.
Independent checks of the 1,000 generated tasks in A. Membership is fixed before checking, without replacement of failed cases.
Table 17: Independent checks of the 1,000 generated tasks in A. Membership is fixed before checking, without replacement of failed cases.
Automated analysis of the fixed random 1,000-question sample, S0 → S32, at 8192 tokens. The last two columns include only questions for which both responses finish; No result-conditioned filtering is applied.
Table 18: Automated analysis of the fixed random 1,000-question sample, S0 → S32, at 8192 tokens. The last two columns include only questions for which both responses finish; No result-conditioned filtering is applied.
Per-benchmark accuracy on the eleven-benchmark suite at 8192 tokens, St against A-RSI at S32. All eleven benchmark point estimates improve.
Table 19: Per-benchmark accuracy on the eleven-benchmark suite at 8192 tokens, St against A-RSI at S32. All eleven benchmark point estimates improve.
Claims from the current eleven-benchmark policy comparisons and explicitly scoped historical auxiliary experiments.
Table 26: Claims from the current eleven-benchmark policy comparisons and explicitly scoped historical auxiliary experiments.
The seven program-based generators and the candidate library. Gold answers were independently recomputed.
Table 30: The seven program-based generators and the candidate library. Gold answers were independently recomputed.
Refresh policies and training feedback. (a) Qwen Macro11 on the eleven-benchmark suite (8192 tokens), with window 0 at the initialized checkpoint St. (b) Within-pool signal retention. Paired points compare models against the 85% signal threshold. Open markers denote final-round replay. The controller also checks accuracy gains.
Figure 4: Refresh policies and training feedback. (a) Qwen Macro11 on the eleven-benchmark suite (8192 tokens), with window 0 at the initialized checkpoint St. (b) Within-pool signal retention. Paired points compare models against the 85% signal threshold. Open markers denote final-round replay. The controller also checks accuracy gains.
Training gains retained at twice the output budget. Gains over base on the eleven-benchmark suite are normalized to each method's 4096-token gain (4.08 points for A-RSI and 4.18 for MM-Zero v5). Base and trained checkpoints use the same output budget.
Figure 5: Training gains retained at twice the output budget. Gains over base on the eleven-benchmark suite are normalized to each method's 4096-token gain (4.08 points for A-RSI and 4.18 for MM-Zero v5). Base and trained checkpoints use the same output budget.
From truncation to completion. Both base decodes reach the limit for each item. S32 finishes correctly in both decodes: 1,759/3,437 tokens for A1 and 5,140/2,515 for A2. Shorter, completed responses can improve benchmark accuracy even when the reasoning remains flawed.
Figure 6: From truncation to completion. Both base decodes reach the limit for each item. S32 finishes correctly in both decodes: 1,759/3,437 tokens for A1 and 5,140/2,515 for A2. Shorter, completed responses can improve benchmark accuracy even when the reasoning remains flawed.
Additional completed-answer corrections. Interpreting the marked geometry. C5 uses a supplementary rather than equal angle; C6 distinguishes standing-wave loops from full wavelengths in its final explanation.
Figure 10: Additional completed-answer corrections. Interpreting the marked geometry. C5 uses a supplementary rather than equal angle; C6 distinguishes standing-wave loops from full wavelengths in its final explanation.
Additional completed-answer corrections. Visual comparison and symbol localization. C7 compares full object lengths; C8 locates the pianissimo marking in the requested bar.
Figure 11: Additional completed-answer corrections. Visual comparison and symbol localization. C7 compares full object lengths; C8 locates the pianissimo marking in the requested bar.
Additional completed-answer corrections. System scope and answer acceptance. C9 accounts for evaporation in every effect; C10 reads the chart label instead of treating a copyright date as a reason to abstain.
Figure 12: Additional completed-answer corrections. System scope and answer acceptance. C9 accounts for evaporation in every effect; C10 reads the chart label instead of treating a copyright date as a reason to abstain.
查看结构化数据
任务指标本文基线提升
Qwen 11 基准（同更新预算第 6 窗口，刷新 vs 不刷新） Macro11 平均准确率（8192 token） 60.40（A-RSI，换入 400 个全新随机任务） No-Refresh（沿用旧 500 任务池续训）58.35 +2.05
Qwen 11 基准（第 8 窗口终点 S32，策略对比） Macro11 61.05（仅 800 新任务） Continuous 每窗口刷新 60.64（3,200 新任务）/ Periodic 59.89（1,200）/ Frontier 59.59（800） 对 Continuous +0.40 且新任务用量仅 1/4；对 Frontier +1.45
MiMo-VL-7B-SFT（第 8 窗口） Macro11（8192 token） 60.71 原池续训 60.01；每窗口刷新 60.69；每两窗口 60.53 对原池 +0.70（对另两臂仅 +0.02/+0.18，作者声明不构成时机优势）
数据效率 每 1,000 新任务的 Macro11 增益 4.09 Frontier 2.28 / Periodic 1.77 / Continuous 0.90 1.8–4.5 倍
输出预算鲁棒性（4096→8192 token） 相对基线增益保留率 80%（A-RSI S32：4096 下 +4.08 → 8192 下 +3.25） MM-Zero v5 59%（+4.18 → +2.45） +21 个百分点
替换任务选择（四窗口每窗刷新，随机对照） Macro11 差值（8192 token） 随机选择 0（对照 60.29） 失败优先 −2.63 / 可学带 −1.90 / 总做错 −2.40 / 阶梯 −0.82 / 全层级 −1.19 / Frontier −1.45（对 A-RSI） 随机全面最优

局限与改进

作者在附录 U 承认：每臂只训练一次，主对比仅 8 窗口且未做 16k 评测，小差距（+0.40、+0.02）无显著性检验，训练噪声可达 0.5–1.5 分（同配置首窗口四跑 54.74/55.27/54.45/54.03，极差 1.25）；No-Refresh 在 S31 停训，预注册的 S32 主终点无从读数。最关键的局限是时机声明：Qwen 前两次刷新都恰在第三窗口，与固定三窗口日程重合，且首个刷新点是用既有日志选定的，缺少固定日程随机对照，『日志驱动时机优于固定日程』未被建立——附录 M 反复强调。MiMo 的 Continuous/Periodic 池按 Qwen 的难度前沿选取，跨模型结论受限。生成器不含函数图像、数值估计与空间任务；家族配额与 19 个主题词参考了评测基准元数据。我的观察：Qwen 增益中 both-finished 层为负（−0.71），真纠正证据主要靠 MiMo（+0.99）与少量定性案例；A-RSI 对 MM-Zero v5 的 +0.79 也在噪声内；检测器只回答『信号是否衰减』而非『池是否被掌握』，低熵模型行为未验证；答案正确性最终依赖模板与执行器正确——这是程序化监督无法自我证明的信任根。

独立分析的弱点

(1) 终止奖励主导 Qwen 增益：奖励含 $r_{\text{stop}}$（触顶 −1），Qwen 分解显示 both-finished 层 −0.71，收益主要来自截断回答得以完成（首新池窗口截断 17.2%→12.3% 即 +1.22）。改进：解耦终止与正确性评估，或用 L1 式长度预算训练，把『完成任务』单列指标。(2) 检测器语义偏弱：$U_w$ 下降既可能是已掌握也可能是全错且响应集中，附录 G 证明零正确率模型也会触发刷新。改进：结合难度分层信号（阶梯诊断已给出层级通过率），区分『全对饱和』与『全错放弃』。(3) 时机优势未证实且信号耦合：$r_{\text{stop}}$ 计入优势使第二次刷新依赖辅助奖励方差（仅按正确性计数时保留率 0.934，不触发），且缺固定日程对照。改进：补固定三窗口随机对照与跨种子复制，或基于约 3 窗口的信号半衰期设计自适应阈值。(4) 任务域窄：几何/图表/表格/计数模板与真实视觉推理差距大。改进：扩展模板并加入图像必要性检查（MM-Zero 有题可无图作答）堵文本捷径。(5) 单次运行、统计功效低但评测成本高。改进：固定子集评测加序贯检验，在成本与置信度间取衡。

未来方向

作者明确列出的下一步：跨种子复制以获得每策略方差估计；加入固定三窗口日程的随机刷新对照，彻底分离『新鲜数据』与『自适应时机』；对本轮 8 窗口模型补做 16k 输出预算评测；为低熵模型设计刷新策略（低熵模型组内奖励方差天然小，$U_w$ 信号可能失真）。另有一个已启动未完成的前瞻性分叉：用更严格的候选答案检查器（要求选择题输出完整终止选项）替换生产检查器后在 8192/16384 双预算下重训对比。基于本文成果可延伸的方向：(1) 把池半衰期（约 3 窗口）与 $U_w$ 衰减曲线建模，实现刷新预算规划而非阈值触发；(2) 将程序化生成扩展到函数绘图、数值估计、空间推理，检验『随机优于选择』在更多样任务下是否仍成立；(3) 引入图像必要性约束作为 admission check，堵住无图作答的捷径；(4) 把『训练日志控制器 + 机器可验规约 + 审计回执』这套基础设施推广到代码自我改进、Agent 自我改进等其他 RSI 循环；(5) 研究刷新时保留部分旧任务的混合策略——本文早期实验显示 225/300 部分替换反而全面输给固定池续训（−0.72 至 −2.26），机制尚不清楚，值得专门研究。

复现评估

复现友好度上乘但门槛不低。有利：规格完整——Algorithm 1/2 给出主循环与任务构造伪代码，控制器参数全显式（$\ell=2,n_{\min}=3,\rho=0.85,\eta=0.10$，配额 $(194,131,54,21)$），训练细节充分（FSDP2+colocated vLLM、lr $10^{-6}$、8 rollouts、温度 1.0、训练限长 4,096、裁剪 0.2、无 KL），38 个控制器回执与 321,605 个阈值用例可确定性重放，Z3 查询可保存重载，审计集 800/1,000 图像字节级重现。不利：正文未给公开代码/数据仓库链接；16,000 题模板库依赖基座模型生成并经人工审核，重建成本高；评测协议复杂（11 基准完整测试集、格式校正评分、LJ 评审器），22,042 题×多检查点评测需大量推理算力；训练为 8B/7B 模型×5 臂×8 窗口×100 GRPO 步×8 rollouts 的 vLLM 重负载，单节点多天起步，消融成倍增加。最根本限制是每臂单次训练：即使完整复现，±1 分内的策略排序也可能翻转（作者自证同配置重复极差 1.25）。综合：理解与审计层面易复现，训练评测层面需可观算力，结论排序的统计稳健性要靠读者自行多次复制建立。

论文图表

Motivation for A-RSI. (a) Pool reuse can stall learning, while fewer truncations can raise accuracy. (b) Training logs guide refresh, and response audits distinguish completion from error correction.
Figure 1: Motivation for A-RSI. (a) Pool reuse can stall learning, while fewer truncations can raise accuracy. (b) Training logs guide refresh, and response audits distinguish completion from error correction.

两栏对比图：(a) 现有 RSI 在固定任务池上重复训练会停滞——旧数据何时耗尽无人回答；而减少截断本身就能提高准确率（同样输出预算下，被截断的长链推理写完即涨分）。(b) 本文方案：历史训练日志驱动下一轮（WHEN：旧池信号衰减→换新任务），并把收益拆成完成（completion）与正确性（correctness）两个可分别审计的部分——同一问题前后两次回答都完成时，答案从错变对才是真纠正。

这张图概括了论文的两大动机（池复用会停滞、增益可能只是学会写完）并预告了响应级审计的方法论立场，是理解全文问题意识的最佳入口。

Figure 7: From completed-but-wrong to completed-and-correct. Both independent base decodes give the same wrong answers (21.59 and 2), while both S32 decodes give the correct answers (60.68 and 1). These corrections also persist in the seed-0 evaluations from S21 through S33.

两个『真纠正』案例：B1（MathVerse 周长）基座把 40° 当作所求扇形角得 21.59，S32 识别出缺角圆（320° 弧）算出 $P=2(8)+\frac{320}{360}2\pi(8)\approx 60.68$；B2（CharXiv 颜色定位）基座把颜色渐变读反选 2，S32 正确定位 W2 底部深紫色选 1。前后回答都正常结束，纠正与截断无关，且在 S21–S33 各检查点稳定。

证明训练确实能修复已完成回答中的视觉读图与几何解释错误（而不仅是让回答写完），支撑『存在非截断性收益』的主张。

Figure 8: Additional completed-answer corrections. Category aggregation and component-level calculation. C1 includes both relevant chart categories; C2 divides the branch voltage across its series resistors.

C1（ChartQA 波兰时间占比）基座只算 66% 而漏掉『波兰+国外』双选的 7%，训练后正确聚合 66+7=73；C2（电路分压）基座把 9V 全压给 50Ω 电阻，训练后用分压公式 $V_{50}=9\cdot\frac{50}{50+100}=3$V。两个案例在两个独立解码下都完成纠错。

补充定性证据：图表读数聚合与电路计算类纠错，显示收益覆盖不同推理类型而非单一模式。

Figure 9: Additional completed-answer corrections. Visual grounding followed by arithmetic. C3 distinguishes the two target fields before solving their scores; C4 counts the shaded pieces before multiplying by their area.

C3（MATH-Vision 飞镖）基座把第一轮命中位置看反、内环赋 4 分得 12，S32 正确区分外环/内环后解 $3x=12,\,2x+y=15\Rightarrow 3y=21$；C4（直角三角形阴影面积）基座数错阴影块得 24，S32 数出 10 块后算 $\frac{2(8)(8)}{16}\cdot 10=20$。

典型的『视觉定位先于代数』纠错：公式本来就会，错在读图——说明训练改善的是视觉 grounding 这一多模态核心能力。

相似论文推荐

RSI-Anything：用世界模型解锁递归自我改进 🎯 69.0%
RSIAgent：通过自主探索在新环境中实现递归自我改进 🎯 67.3%
ModularRSI：模块化且可泛化的递归式智能体框架自我改进 🎯 64.7%
RSI Arena：迈向有人类反馈的递归自我改进 🎯 64.6%
模型自我评判：多模态推理的无监督自进化训练框架 🎯 62.6%