基于潜空间对抗正则化的离线偏好优化 Latent Adversarial Regularization for Offline Preference Optimization

GANPO 的完整训练流程如下（对应 Algorithm 1）：（1）数据采样：从偏好数据集 $\mathcal{D}$ 中采样一批三元组 $\mathcal{B} = \{(x, y_w, y_l)\}$。（2）特征提取：将这批数据分别通过策略模型 $\pi_\theta$（带梯度）和参考模型 $\pi_{\text{ref}}$（冻结），获取最后一层隐藏状态作为潜空间表示，得到四元组 $(h^+_{\theta}, h^-_{\theta}, h^+_{\text{ref}}, h^-_{\text{ref}})$。（3）判别器优化：首先计算所有四个表示的原始 logit $s = C_\phi(h)$，然后通过移动平均更新全局运行均值 $\mu_{\text{pos}} \leftarrow \alpha \mu_{\text{pos}} + (1-\alpha) \text{Mean}(s^+_{\text{ref}})$ 和 $\mu_{\text{neg}}$，接着计算两个判别器的损失并更新参数。（4）生成器优化：计算原始 OPO 损失 $\mathcal{L}_{\text{OPO}}$ 和对抗损失 $\mathcal{L}_{\text{adv}}$，然后更新策略参数 $\theta \leftarrow \theta - \eta \nabla_\theta (\mathcal{L}_{\text{OPO}} + \lambda \mathcal{L}_{\text{adv}})$。整个过程交替进行，判别器和生成器在每一步都更新。

GANPO 的技术新颖性体现在多个层面。首先，这是首个将潜空间正则化引入语言模型偏好优化的工作，开辟了 token 级优化之外的新方向。其次，四元表示框架是对标准二元 GAN 的重要扩展——偏好数据天然包含配对信息（优选 vs 拒绝），GANPO 通过两个判别器分别处理正负表示，避免了单个判别器无法同时分离拓扑不同流形的问题。第三，选择参考模型而非外部强教师模型作为 '真实' 数据的来源，这看似保守但实际上有深刻考量：参考模型（通常是 SFT 模型）的潜空间流形代表了预训练获得的自然语言良好结构，与策略模型有足够的分布重叠，迫使判别器学习语义区分而非表面风格差异；同时，参考模型在 DPO 等方法中已经存在，无需额外采样成本。第四，将相对平均 GAN 引入潜空间散度的变分形式，通过移动平均基线提高了训练稳定性。

GANPO 存在几个值得深入分析的弱点。第一，计算效率问题：每一步训练都需要对两个模型（策略和参考）进行前向传播以提取潜空间表示，然后还需要额外的判别器前向和反向传播，这使得每步的计算量大约是纯 DPO 的 2-3 倍。改进方向可以是探索参数共享的轻量级判别器架构，或采用稀疏采样策略减少判别器更新频率。第二，参考模型的限制：GANPO 将参考模型的潜空间流形视为 '良好结构' 的锚点，但如果参考模型本身存在偏见或能力不足，这种锚定会限制策略的探索。改进方向可以是引入课程学习，逐步放松对参考模型的依赖，或使用多个参考模型的集成。第三，超参数敏感性：对抗训练的稳定性高度依赖 $\lambda$（对抗权重）、$\alpha$（移动平均衰减率）等超参数的选择。论文未提供详细的敏感性分析。改进方向可以是自适应调整 $\lambda$，根据判别器的置信度动态平衡 OPO 损失和对抗损失。第四，仅在英文数据上验证，缺乏多语言实验。

作者提出了几个有前景的未来研究方向。第一，符号反馈增强：标准对齐方法难以处理严格的语法约束（如有效 JSON、可编译代码），未来可以将编译器信号或逻辑验证器直接注入潜空间损失，将语法作为可微分流形约束。第二，在线自博弈框架：GANPO 目前在离线设置下工作，将其扩展到在线 'Self-Play' 框架——模型自己生成 rollout 然后由演进的判别器评判——可能桥接离线效率和在线方法（如 PPO）的性能优势。第三，多模态扩展：由于 GANPO 在表示空间而非离散 token 上操作，它天然具有模态无关性，适配到视觉-语言模型（VLM）可以为跨模态生成提供强大的对齐方法，其中文本和图像表示之间的结构一致性至关重要。基于已有成果还可以延伸：探索 GANPO 在代码生成任务上的应用（代码有明确的正确性信号，可以作为额外的判别器监督）；研究 GANPO 与 RLHF 的结合（将在线 PPO 的奖励信号与潜空间正则化结合）；以及在多轮对话场景中的应用（潜空间的序列级反馈可能特别适合捕捉对话连贯性）。

从复现角度来看，GANPO 具有较好的可复现性。作者已在 GitHub 上开源了代码（https://github.com/enyijiang/GANPO），这大大降低了复现门槛。训练数据使用的是 UltraFeedback 数据集，这是公开可用的大规模偏好数据集。实验涉及的两个基础模型（Gemma2-2B-it 和 Llama3-8B-Instruct）也都是公开可获取的。然而，复现仍面临一些挑战：首先，训练需要同时加载策略模型和参考模型，对于 Llama3-8B-Instruct 级别的模型，至少需要 2 张高端 GPU（如 A100 80GB）；其次，对抗训练的稳定性对超参数敏感，论文提到的 $\lambda$、$\alpha$、$\eta$ 等需要仔细调优；第三，评估涉及多个外部工具（AlpacaEval-2.0、Skywork-Reward-V2 作为 oracle judge、IFEval 等），需要额外的设置。总体而言，对于有 GPU 资源和对抗训练经验的研究者，复现难度为中等。