大规模高效探索：通过在线学习与不确定性引导探索大幅提升RLHF数据效率 Efficient Exploration at Scale

本文方法的完整步骤如下：首先，使用预训练和SFT后的Gemma 9B模型作为初始策略参数 $\theta_0$，同时初始化奖励模型 $\phi_0$（使用相同的transformer骨干网络，加上随机初始化的MLP头）。训练在20万提示词上迭代进行，每批64个提示词。对于每批，执行以下流程：（1）使用当前策略 $\pi_{\theta_t}$ 为每个提示词采样16个候选回复；（2）对于每个提示词和回复对 $(Y, Y')$，计算选择概率在100个集成粒子 $Z=1,...,100$ 上的方差；（3）选择方差最大的回复对 $(Y^*, Y'^*)$ 发送给人类反馈模拟器，模拟器基于Gemini 1.5 Pro的Bradley-Terry模型产生选择；（4）收到人类选择后，使用损失函数 $\nabla_{\phi_t} \ln p_{\phi_t}(Y \succeq Y'|X)$ 更新点估计奖励模型的参数；（5）冻结骨干网络，分别更新100个差分网络（先验网络始终不更新）；（6）计算策略梯度 $\Delta\theta_t$，其中强化信号为 $p_{\phi_t}(Y \succeq Y'|X) - \frac{1}{2} + \epsilon$，并使用指数移动平均维护锚点参数 $\bar{\theta}_{t+1} = \eta\bar{\theta}_t + (1-\eta)\theta_{t+1}$ 进行正则化；（7）使用AdamW优化器更新策略参数；（8）对新的64个提示词，采样16个回复并基于奖励估计选择4对——（最高,最低）、（最低,最高）、（第二高,第二低）、（第二低,第二高），再次计算梯度并更新参数，最终得到 $\theta_{t+1}$。这个双步更新确保了策略在每批数据上得到充分优化。

本文的技术新颖性体现在多个方面。首先，affirmative nudge的设计极其简洁——只需在强化信号中添加一个标量 $\epsilon$，却解决了在线RLHF中长期困扰研究者的性能崩塌问题，这在技术上非常优雅。之前的研究要么降低学习率（牺牲最终性能），要么回退到早期checkpoint（浪费计算），affirmative nudge不牺牲任何性能。其次，将认知神经网络应用于RLHF的奖励建模是一个全新的方向，之前Dwaracherla et al. (2024)虽然使用了不确定性引导探索，但仅更新奖励模型而固定语言模型，本文则同时更新两者。第三，信息导向探索的查询策略比传统的基于不确定性的主动学习更为精巧——通过集成网络的方差直接衡量了'人类选择结果的信息价值'。第四，本文首次系统性地在对数坐标下研究RLHF的扩展规律，之前的论文通常使用线性坐标，这掩盖了不同算法之间扩展特性的质的差异。第五，策略更新规则融合了REINFORCE和PMPO的优点，并通过锚点正则化和affirmative nudge进行了改进。

本文存在几个值得关注的弱点。首先，affirmative nudge虽然解决了性能崩塌问题，但其理论基础尚不清晰——为什么添加一个小的正标量就能防止崩塌？论文仅通过实验验证了效果，但缺乏理论分析，这使得 $\epsilon$ 的最优选择只能通过经验调参获得。改进方向是建立affirmative nudge的理论框架，推导出 $\epsilon$ 的最优值与模型参数、数据分布的关系。其次，信息导向探索的查询策略基于选择概率方差，但这只衡量了'区分度'而没有考虑'难度'——模型可能在两个都很好的回复之间不确定，或者在两个都很差的回复之间不确定，这两种情况的信息价值是不同的。改进方向是引入更精细的信息增益度量，如预期KL散度或贝叶斯风险。第三，100个先验网络和100个差分网络的集成虽然参数量不大，但推理时需要100次前向传播来计算方差，这在实际应用中可能成为延迟瓶颈。改进方向是探索更高效的不确定性估计方法，如MC Dropout、谱归一化或低秩近似。第四，实验仅使用9B模型，且未报告与其他RLHF变体（如DPO、IPO、KTO）的对比结果，限制了读者对该方法相对于最新技术的定位判断。第五，论文未讨论在多目标优化场景下的适用性，实际的RLHF通常需要在有用性、无害性、诚实性等多个维度之间权衡。

论文作者提出了五个有前景的未来研究方向。第一，改进探索算法：在奖励模型更深层次建模不确定性（而非仅在头部），不仅对奖励模型建模不确定性，还对语言模型本身建模不确定性，以及开发更高效的优化算法。第二，提示词选择：当前算法在给定提示词的情况下选择回复，但可以扩展为选择哪些提示词应该被标注——预期信息增益高的提示词应该优先被标注，这可以进一步提升数据效率。第三，多轮对话：当前方法可以扩展到优化多轮对话质量，Marklund和Van Roy (2024)提出的价值模型可以预测预期奖励，本文方法可以与之结合。第四，AI Agent优化：方法可以扩展到优化AI Agent的性能，当动作产生延迟后果时，需要学习价值函数来处理。第五，AI辅助反馈：随着AI能力提升和回复变得更复杂，人类直接比较回复变得困难，AI辅助反馈（如让AI生成'为什么一个回复更好'的解释，由人类验证）是一个有前景的方向，辩论范式（debate paradigm, Irving et al., 2018）是一个例子。基于本文成果，还可以延伸到：将信息导向探索应用于多模态模型训练、跨语言RLHF、以及结合人类反馈和AI反馈（RLAIF）的混合方法，甚至可以探索在持续学习（continual learning）场景中的应用。

从复现角度来看，本文面临较大挑战。首先，论文明确指出'我们的意图不是提供足够的细节来复现我们的结果，而是分享算法的关键要素和一些动机'，这意味着作者有意不公开完整的实现细节，包括具体的超参数设置（如学习率、batch size、affirmative nudge的 $\epsilon$ 值）、网络架构的精确配置、训练流程的全部步骤等。其次，实验使用的Gemma 9B模型是Google的开源模型（gemma.google.dev），理论上可以获取，但人类反馈模拟器基于Gemini 1.5 Pro，这是一个闭源模型，外部研究者无法完全复现模拟器的行为。第三，训练数据来自Google内部仓库的20.2万条提示词，这些数据未公开发布，外部研究者只能使用类似规模和分布的公开数据集（如Anthropic HH-RLHF、UltraFeedback等）进行近似复现。第四，实验的计算资源需求较大——需要训练9B参数的语言模型、奖励模型、以及100个集成网络（200个额外MLP），这需要相当可观的GPU资源（可能需要数十到数百个GPU小时）。第五，论文提供了足够的算法描述（如更新规则公式、ENN架构、affirmative nudge的公式），理论上的复现是可能的，但需要大量工程投入和调参工作。总体而言，本文的复现难度较高，建议作者发布代码和预训练模型以促进后续研究。