桥接在线与离线强化学习：用于多轮代码生成的上下文赌博机学习 Bridging Online and Offline RL: Contextual Bandit Learning for Multi-Turn Code Generation

COBALT方法包含三个主要步骤。第一步是离线轨迹收集：对于每个编程问题，使用参考LLM（如经过微调的R1-Distill 8B-FT或Qwen3 8B-FT）采样16条独立的轨迹，每条轨迹最多3轮。然后进行数据清洗：保留至少包含一个正确程序的轨迹（即$\max_{(s_t,a_t)\in\tau} R(s_t, a_t) = 1$），丢弃过于简单的任务（所有16个程序都正确）和过于困难的任务（所有程序都错误）。最后应用最大方差下采样，每个问题最多选择4条轨迹。第二步是轨迹分割：将每条轨迹按轮次分割成部分轨迹，例如轨迹$(o_0, a_0, o_1, a_1, o_2)$会被分割成三个部分轨迹：$(o_0)$、$(o_0, a_0, o_1)$和$(o_0, a_0, o_1, a_1, o_2)$。第三步是在线上下文赌博机学习：使用GRPO算法，对于每个部分轨迹，LLM生成单步程序$a_t \sim \pi(\cdot|s_t)$，计算奖励$R(s_t, a_t)$，然后优化目标函数$J_{\text{step}}(\pi) = \frac{1}{T} \sum_{t=1}^{T} \mathbb{E}_{s_t \sim d_t^{\pi_{\text{ref}}}} \left[ \sum_{a_t} R(s_t, a_t) \pi(a_t|s_t) \right]$。奖励函数包含三个部分：正确性奖励$R_{\text{correct}}$（基于测试通过率）、改进奖励$R_{\text{improve}}$（与之前程序相比的提升）和格式奖励$R_{\text{format}}$（惩罚格式错误和重复输出）。

COBALT的技术新颖性主要体现在三个方面。首先，理论上，作者证明了在KL信任域约束下，COBALT的逐步优化目标$J_{\text{step}}$与在线多轮RL目标$J$之间的性能差异界为$O(T\sqrt{\eta})$，其中$T$是任务时域，$\eta$是KL半径。这比标准离线RL方法的$O(T^2)$误差界有显著改进，表明COBALT能更好地近似在线RL的性能。其次，方法上，COBALT创新性地将离线数据收集与在线单步探索相结合，既利用了离线数据的丰富性，又保持了在线探索的适应性。这种混合范式在RL领域是新颖的，特别是在LLM训练背景下。最后，在奖励黑客缓解方面，作者提出通过数据增强（添加包含错误测试用例的扰动轨迹）来训练LLM对不准确反馈的鲁棒性。这种将对抗性训练思想应用于RL数据增强的方法也是创新的，实验表明能显著减少奖励黑客行为（例如Qwen3 8B-FT-COBALT的奖励黑客错误从855减少到85）。

COBALT方法有几个值得改进的弱点。首先，数据收集阶段依赖参考模型的质量，如果参考模型在某些编程问题上表现不佳，收集到的轨迹可能缺乏多样性或质量不高。改进方向包括：引入课程学习策略，先从简单问题开始收集轨迹；或者使用多个不同架构的参考模型，增加轨迹的多样性。其次，奖励函数的设计较为粗糙，特别是改进奖励$R_{\text{improve}}$的权重0.1是固定的，可能不适合所有问题难度。可以探索自适应权重调整，根据问题的难度和模型的学习阶段动态调整奖励权重。第三，最大方差下采样策略虽然能保持数据多样性，但可能会丢失一些有价值的轨迹。可以考虑更智能的采样策略，如基于模型不确定性的采样，优先选择模型最不确定的轨迹进行训练。第四，训练时域$T_{\text{train}}=3$相对较小，虽然实验显示能泛化到更长时域，但更长的训练时域可能带来更好的性能。可以探索渐进式训练，逐步增加训练时域。最后，扰动数据增强虽然能缓解奖励黑客，但扰动策略相对简单（交换测试用例的输入输出），可以设计更复杂的扰动策略，如部分修改测试用例或添加噪声测试用例。

基于COBALT的成果，未来研究可以在几个方向展开。首先，可以将COBALT扩展到其他迭代决策任务，如数学推理和深度研究。论文作者已经提到，上下文赌博机学习可能适用于这些领域，但需要验证一步可恢复性是否成立。其次，可以探索将COBALT与在线RL方法结合，构建迭代上下文赌博机框架，在轨迹数据集更新和在线逐步探索之间交替进行。第三，可以研究更先进的奖励黑客检测和缓解方法，特别是针对语义漂移问题。这可能需要引入形式化验证或更强的逻辑推理能力。第四，可以探索COBALT在更大规模模型（如70B、700B）上的效果，以及在多模态代码生成（如涉及图像、音频的代码）中的应用。最后，可以研究如何将COBALT与人类反馈结合，引入人类程序员的调试经验来指导轨迹收集和奖励设计。

COBALT的复现性总体较好。作者已经开源了代码和数据（GitHub链接在论文中提供），这大大降低了复现门槛。数据方面，TACO数据集是公开的，但需要进行清洗（如论文所述，从25,433个问题中筛选出6,103个有效任务）。LiveCodeBench也是公开基准。算力需求方面，所有实验在单节点4个NVIDIA H100 GPU（96GB显存）和96个CPU核心上完成，这对于学术实验室和中小规模组织来说是可接受的。但需要注意，生成轨迹数据需要参考模型，这可能需要额外的计算资源。复现难度中等：GRPO算法使用veRL库实现，无需修改；但需要实现代码执行服务器（基于Ray）和数据清洗流程。超参数设置在论文中有详细说明（Table C.1），包括批大小128、学习率1e-6等。总体而言，对于有RL训练经验的团队来说，复现COBALT是可行的，但需要仔细处理数据质量和训练稳定性。