超越人类监督扩展大型推理模型：通往超级智能之路 Scaling Large Reasoning Models beyond Human Supervision: A Path toward Superintelligence

论证分五步。第一步建立形式化基础（第 2 章）：MDP/POMDP 设定、轨迹目标（式 1）、PPO/GRPO 目标（式 4-7）、不确定性度量（式 8-9）。第二步定义五级阶梯并说明边界：标准 RLHF 同时跨越 L0（人给偏好）与 L1（学到的奖励模型即复用评估器）；一个方法可在奖励上自动化而在任务上仍靠人工。第三步梳理奖励轴（第 3 章）。L1 侧：Math-Shepherd 用蒙特卡洛补全估计步级奖励 $R(\boldsymbol{z}_{\le t})=\frac{1}{N}\sum_j \mathbb{I}\{\boldsymbol{y}_j=\boldsymbol{y}^*\}$，PRIME 从结果标签隐式推导过程奖励，另有生成式验证器与 rubric 评估器。L2 侧分三支：模型衍生（EM-RL 负熵奖励、Intuitor 自确信 $R_i=\frac{1}{|\boldsymbol{o}_i|}\sum_t \mathrm{KL}(\mathcal{U}\|\pi_\theta)$、TTRL 多数投票伪标签、CoVo 轨迹一致性）；参照锚定（JEPO/VeriFree/RLPR/NOVER 等，统一为『推理项+答案项』梯度分解，Table 2）；环境接地（代码执行、游戏胜负、Lean 形式化验证）。第四步梳理经验轴（第 4 章）：固定 $(\Pi_H,E_H)$ 是出发点；任务生成在固定环境中进行（STaR、R-Zero、AZR、LSP），proposer 奖励用可学习性 $\bar{p}(1-\bar{p})$（式 18）；环境构造围绕固定任务展开（PAIRED 遗憾目标、Eureka、Agent World Model、ScaleEnv、Genie）；L3 要求任务与环境流水线集成（EvoEnv，ZeroGUI 为边界）；L4 共同演化代表有 CURE、SPIRAL、GenEnv、Darwin Gödel Machine。第五步给出评测框架（第 5 章）：能力用冻结基准、反馈用来源匹配的审计、经验用解率分布与环境有效性，Table 6 规定各级最低证据。

技术新颖性体现在框架层面而非新算法。第一，递退监督阶梯是首个把『奖励来源』与『经验来源』统一进一张 L0-L4 地图的分类学：Figure 2-4 把二百多个方法按『回路中哪个组件仍依赖人类』定位——TTRL 属于 L2（多数投票替代人工评估）而非 L3（任务仍外部提供），SPIRAL 的奖励证据在奖励轴、自博弈课程在经验轴。第二，Table 2 的策略梯度分解把 JEPO、LaTRO、VeriFree、RLPR、DRO、NOVER、P2S、DARL、DuPO 等十余种参照锚定方法统一写成 $R_r\nabla_\theta\log\pi_\theta(\boldsymbol{z}|\boldsymbol{q})+R_a\nabla_\theta\log\pi_\theta(\boldsymbol{y}|\boldsymbol{q},\boldsymbol{z})$，揭示它们只是给推理项与答案项赋不同权重的同族变体。第三，Table 3 用 R/E/Π 三个圆点标注经验轴方法的组件自主性，并把 PAIRED 的遗憾目标与任务生成的可学习性信号识别为同构机制（都在策略能力边界附近采样）。第四，三对象评测框架与 Table 6 记分卡把『声明处于哪一级』与『必须提供哪些证据』绑定，在评测方法论上是新的。

独立分析的弱点：(1) 分类边界主观性强——例如 ZeroGUI 被标为边界情形，但同类 GUI 方法可能因评估者是否外置而被归入不同层级，缺乏可计算的判定规则，改进方向是给出可操作判据（如强制列出每个组件的输入来源清单）。(2) 框架对『多久审计一次、审计多少样本才够』没有定量指导，稀疏外部锚点的采样理论（类似漂移检测与最优监控）完全缺失，改进方向是把锚点调度形式化为最优停止或在线漂移检测问题。(3) 对失败模式的对策大多是枚举式的（共识过滤、多数确认、集成、冻结评估器），缺少在这些防御机制本身被策略适应后的二级分析——即『审计者也可能被共同适应』的递归问题，改进方向是研究审计协议自身的对抗鲁棒性。(4) 多模态、长上下文与安全评估同低监督学习的联系只是指出薄弱，没有给出跨模态的反馈保真度迁移评测协议。(5) 计算经济学视角缺席：综述承认低标注成本会转嫁为更高的推理与交互成本（共识要多次采样、自生成经验要额外的 proposer 与环境构造开销），但没有给出任何方法族的成本模型，改进方向是建立『每个可学习样本的端到端计算成本』标准报告格式，使 token 效用可跨方法比较。

作者提出的方向：为内在与共识奖励建立独立锚点（稀疏可执行检查、跨家族冻结评估器、语料接地一致性测试、周期性专家抽审），并让锚点保持在优化回路之外以监测内部奖励与外部能力的分歧；研究验证器在优化压力下的鲁棒性认证——静态 RewardBench 通过不等于能抵抗被优化的输出，需要对抗评估、与更严格检查器的差分测试、不对称目标与集成防御；把结构化证据（rubric、claim 级验证、检索、校准 judge）扩展到科学推理、长文事实性、多模态与偏好敏感生成；对课程做可学习性与覆盖面的纵向测量，保留未解任务档案供未来策略使用；用分阶段可执行检查与对公共基准（SWE-bench、OSWorld、WebArena）的差分测试验证生成环境的保真度；为闭环系统设计停止准则与角色条件基线，应对非平稳性；把经验生成视为资源分配问题——样本集中于学习边界、低信息 rollout 提前拒绝、短过程反馈与重放缓冲复用昂贵交互；把稀疏锚定与生成课程延伸到预训练与持续 mid-training；在安全上对策略、反馈、经验三个对象同步审计，保持人类否决通道独立。基于本文成果可延伸的：形式化『生成-验证不对称』的理论边界；把 Table 6 记分卡工程化为训练时持续集成式的自动审计工具；研究阶梯层级之间的最优转移策略——何时值得从 L2 升到 L3、升级的边际收益与风险如何量化。

这是综述/立场论文，没有需要复现的实验与代码，复现对象是它的分析框架与评测协议。有利条件：论文维护一个持续更新的 GitHub 仓库跟踪最新进展；符号系统完整（Table 1），公式推导自包含；所有评测建议都映射到公开可得的套件（RewardBench、ProcessBench、PRMBench、JudgeBench、WebArena、OSWorld 等）与公共工具链（lm-evaluation-harness、LightEval、ZeroEval 等），复现『三对象审计』本身主要是工程性工作，单卡即可完成大部分反馈保真度检查。困难在于：第一，若想复核综述对某类现象的归纳（如共识训练先升后崩、闭环平台期低于 oracle 监督），需要重新运行相应原始方法，算力需求从单卡到大规模 RL 集群不等，论文未给统一预算；第二，Table 6 要求 compute-matched 基线与完整解码配置披露（温度、top-$p$、最大 token、种子、judge 提示、环境版本），这超出多数已发表报告提供的信息，意味着按此标准严格复核文献结论往往不可行；第三，闭环与自生成环境的审计需要冻结外部测试、组件冻结消融与多样性轨迹记录，实验设计与记录负担显著高于常规评测。总体而言：理解与引用框架零门槛，复现其评测主张需中等偏上的工程投入，复现其归纳的实证结论则受各原始工作可复现性的制约。