从 RLVR 到 RLSVR：任务变换诱导自可验证奖励以实现开放式大模型自我改进 From RLVR to RLSVR: Task Transformation Induces Self-Verifiable Rewards for Open-Ended LLM Self-Improvement

方法分四步。信息分配：采样 $x \sim \mathcal{D}$ 和间谍索引 $u$，按 $o_i = x$（平民）或 $o_u = g(x)$（间谍）分配观测，$g(\cdot)$ 为信息退化算子（摘要/写作遮蔽 20%、数学遮蔽 40%）。表演阶段：每个玩家基于私有观测生成 $y_i \sim \pi^P_\theta(\cdot | o_i, \tau)$，平民和间谍都完成同一目标任务，输出全部公开。检测阶段：玩家基于状态 $s_i = (o_i, Y)$ 投票 $v_i \sim \pi^D_\phi(\cdot | s_i)$，检测奖励 $r_i^D = \mathbb{I}[v_i = u]$，GRPO 归一化得优势 $A_i^D$；表演阶段用零和奖励——间谍 $r_u^P = -\beta(m_u - \bar{m}_c)$，平民按比例分配并加组内一致性惩罚，总奖励为零以驱动共进化，再经 RAE 校正角色偏差。交替优化：两个带 KL 正则的 GRPO 截断目标轮流更新 $\pi^P_\theta$ 与 $\pi^D_\phi$，一固定时更新另一个，避免过早收敛。

技术新颖性体现在多个层面。范式层面，首次把 SSL 的任务变换原则引入 RLVR，提出 RLSVR，让“自监督学习”从标签层扩展到奖励层，从理论上证明可验证性可被工程化构造。实例层面，SpyRL 首次用“谁是卧底”式信息不对称博弈实现开放式任务的自我改进，把质量评估转化为可验证的身份识别问题。机制层面，区别于 R-Zero、Absolute Zero 等单点提议者-求解者范式，SpyRL 采用多人竞争与集体决策，用群体投票抵消单个裁判的偏差放大，更鲁棒。优化层面，引入 RAE 校正信息不对称导致的角色偏置（消融显示去掉后七基准平均从 50.4 跌到 37.5），并设计两阶段交替优化打破固定自博弈的策略停滞（Math500 在 100 epoch 达 79.5 而非停滞在 72.3）。整个框架只需廉价的文档级信息，无需昂贵的问题级人工监督，便于跨场景迁移。

独立分析有五处弱点。第一，奖励信号脆弱性：投票奖励与质量对齐依赖“信息残缺必然导致输出劣化”的因果链，若任务本身冗余度高（间谍凭残缺信息也能蒙混过关）或检测器能力不足，信号会失效——改进方向是自适应调节遮蔽比例或引入多级信息退化，维持训练信号新鲜度。第二，计算开销大：相比单点提议-求解范式，SpyRL 每轮需 $n$ 次表演生成加 $n$ 次检测，token 成本约为 $2n$ 倍——可探索更小的候选生成或异步流水线优化。第三，任务覆盖窄：仅有三类文本任务——应扩展到代码生成、多模态、智能体决策等更广谱任务。第四，评估循环依赖：方法批评 LLM 裁判但主评估又用 GPT-4o——应引入更多人评或更稳健的参考无关指标。第五，理论保证缺失：未形式化证明变换后的代理目标与原质量 $Q$ 的收敛关系——需要补充理论分析，说明在何种条件下代理奖励与质量单调相关。

作者明确提出的方向是把任务变换范式推广到更广泛的开放式能力，并探索除 SpyRL 之外的其他 RLSVR 实例（信息不对称只是潜在变量 $z$ 的一种形式）。基于成果可延伸的方向有：第一，设计自适应的 $g(\cdot)$ 算子，根据检测准确率动态调节信息退化强度，保持训练信号新鲜；第二，把 SpyRL 扩展到多轮对话和工具使用场景，潜在变量可编码为“隐藏的工具调用或缺失的上下文”；第三，研究更大的群组规模 $n$ 与稀疏投票的结合，平衡信号丰富度与计算开销（当前 $n=5$ 已是甜蜜点）；第四，探索不同潜在变量类型（如条件扰动、隐藏约束）如何拓宽可构造的可验证任务边界；第五，结合过程奖励，让检测不仅看最终投票还审视推理链质量，进一步提升信号密度。

复现性总体较好。作者明确声明模型和代码已开源（github.com/wangqinsi1/RLSVR/tree/SpyRL）。所用训练数据集（GovReport、WritingPrompts、Nemotron-CC-Math-v1、PubMed）及评估基准（Multi_News、QMSum、VCSum、SAMSum、WritingBench、GSM8K、Math500、AIME24/25、Minerva、MMLU-Pro、GPQA-D、arXiv、BillSum）均为公开数据集。关键超参数披露充分：batch size 1024、100 epochs、组大小 $n=5$、最大生成长度 2048、遮蔽比例 20%/40%、交替优化策略、RAE 与 GRPO 配置都在正文与附录给出。骨干模型 Qwen3-4B 和 8B 也是开源的。主要挑战在于算力：batch size 1024 的多智能体自博弈训练对 GPU 资源要求很高，普通团队难以完整复现主表实验；GPT-4o 裁判的 A/B 评估也带来 API 成本，人评环节（10 名博士生评 400 条样本）也非一般团队能轻松复制。