基于联合训练低秩适配器的可引导多目标组相对偏好优化 Steerable Multi-Objective Group-Relative Preference Optimization with Jointly Trained Low-Rank Adapters
一次GRPO训练联合学习偏好可控的LoRA适配器混合，推理时切换λ即改变目标权衡
前置知识
LoRA（低秩适配）
LoRA 冻结预训练权重 $W_0$，为每个线性层附加一对低秩矩阵 $A\in\mathbb{R}^{r\times d_{in}}$、$B\in\mathbb{R}^{d_{out}\times r}$，只训练秩不超过 $r$ 的增量 $BA$，并用缩放常数 $\alpha/r$ 控制幅度。初始化时令 $B=0$，保证训练起点完全等价于原模型。它把可训练参数从全量微调的数十亿降到百万级，是参数高效微调的主流方案。
LambdaMix 的全部可训练参数就是每个目标一个的 LoRA 适配器，理解有效权重 $W(\lambda)=W_0+\frac{\alpha}{r}\sum_t\lambda_t B_tA_t$ 的混合机制必须先懂 LoRA。
GRPO（组相对策略优化）
GRPO 是 DeepSeekMath 提出的在线强化学习算法：对同一提示采样一组（本文 $G=8$ 条）回答，用组内奖励的相对比较代替价值网络来计算优势，再以 PPO 风格的裁剪目标更新策略，并通常附带对参考策略的 KL 惩罚。它省去了 critic 网络，组内比较的设计天然契合多目标场景下的逐目标标准化。
本文所有训练都在 GRPO 框架内进行：奖励标准化、优势计算、裁剪更新、KL 锚定等步骤全部依赖组相对思想，是读懂方法章节的前提。
多目标对齐与超体积（Hypervolume）
RLHF 常涉及相互冲突的目标（有用 vs 无害）。一组工作点构成的帕累托前沿质量用超体积（HV）衡量：以参考点（本文取原点）为界，统计被这些点支配的区域面积，HV 越大说明覆盖的权衡空间越好。配套指标还有非支配点数（ND）、跨度（Span，同一目标最高与最低均分之差）与反转（Reversal，加大某目标权重其得分反而下降的次数）。
论文全部主实验都用 HV/Span/ND/Reversal 来度量"权衡质量"与"可控性"，不懂这套多目标优化指标就无法解读 Figure 2-4 与附录 Tables 11-20。
偏好条件化策略（Preference-Conditioned Policy）
指单一模型接受偏好向量 $\lambda\in\Delta^{T-1}$（概率单纯形上的权重）作为条件输入，推理时输出不同目标权衡下的回答，而非为每个权重单独训练一个模型。已有实现路线包括提示条件化（CLP）、把偏好写入低秩方向（Panacea）、专家路由（HoE）与模型合并（Preference Vector）等。
本文研究的核心问题正是：这类"一次训练、推理切换"的策略族在组相对在线 RL 下应如何训练，以及适配器混合与目标加权两种条件化途径各自承担什么作用。
模型合并（Model Merging）
将多个独立微调得到的参数增量事后组合：线性插值（rewarded soups）、TIES 解决更新符号冲突、DARE 先稀疏化再合并、task arithmetic 按系数加权组合等。它复用已训好的能力并允许部署后再组合，但各更新方向可能互相干扰，且需要先完成多次独立训练。
模型合并是本文最重要的基线家族之一（另有 HoE 路由和专家集合），理解其"先分别训练、再组合"的范式，才能体会 LambdaMix"在变化混合下联合训练"的本质差异。
研究动机
后训练（RLHF/DPO/GRPO）通常要在相互冲突的目标间取舍：PKU-SafeRLHF 上要求回答既有用又无害（拒绝回答可提升安全性却牺牲有用性）；GSM8K 上要求既解对题又遵守格式、字数、用词等指令约束；SynthPAI 改写评论要求保留原文措辞同时抹去年龄、职业等属性线索。标准做法把目标加权固定后训出单一策略，而用户偏好因场景而异且可能在部署后改变。要获得不同权衡，现有办法要么贵要么弱：为权重 $w\in\{0,0.25,0.5,0.75,1\}$ 各训一个专家需要 5 次训练、160k 次补全生成，在 Qwen3.5-9B 上要存 33.1M 适配器参数，却只提供 5 个固定工作点；提示条件化（CLP）虽只需一次训练，但对偏好变化响应很弱——Qwen3.5-9B 上有用性跨度仅 0.300，且有 3 次有用性、2 次无害性反转；合并两个端点适配器需要 2 次训练且更新方向可能冲突；HoE 专家路由要分 3 个训练阶段。灵活性与成本、质量之间的矛盾悬而未决。
本文的目标是本文目标是只用一次训练就得到覆盖整个偏好谱系的单一模型：推理时给定偏好向量 $\lambda\in\Delta^{T-1}$ 即可切换目标权衡点，无需再训练、也无需在生成时计算奖励。成效以三条标准衡量。其一，权衡质量：在有用性-无害性（PKU-SafeRLHF）、正确性-指令依从（GSM8K+约束）、改写保留-属性拒绝（SynthPAI）三个任务上取得高于全部条件化与合并基线的超体积（HV），实验覆盖 Qwen3-4B、Qwen3.5-9B、Qwen3.6-27B、Olmo 3 7B 四个基座。其二，可控性：改变 $\lambda$ 应产生足够大的分数跨度（Span）、尽可能少的反转（Reversal）和大量非支配点，让用户能按需微调平衡并可预期方向。其三，效率：每个目标只挂一个低秩适配器，一次运行、32k 次补全、13.2M 参数即可服务任意多个偏好，替代专家集合式的 5 次运行、160k 补全、33.1M 参数换 5 个固定点。
与已有工作不同的是，已有工作分几条路线，各自绕开了核心问题：条件化策略（CLP 的提示条件化、Panacea 把偏好写入低秩方向、MOC 约束偏好-奖励对应、PRISM 共享适配器加分支前缀）多用提示文本或共享参数传递偏好；模型合并（Preference Vector、TIES/DARE/task arithmetic）与专家路由（HoE）都依赖先分别训练再组合，需多次训练。本文的独特切入是提出并回答：偏好条件化的适配器混合在组相对在线 RL 下应当怎么学？答案是让同一个偏好向量 $\lambda$ 同时承担两件事——选择生成回答的适配器混合（决定采样策略是谁）与加权组内标准化后的奖励（决定更新偏向什么），使每个被采样的策略恰好为它被要求的偏好而训练。这把 PaLoRA（有监督多任务学习中的偏好条件适配器混合）首次移植到 LLM 在线对齐，结合 GDPO 式逐目标组内标准化，并用控制变量消融首次分离"混合条件化"与"加权条件化"各自的贡献——这是以往任何基线工作都未提供的研究视角。
核心方法
直觉上，LambdaMix 给每个目标在冻结模型上装一个独立的低秩"旋钮"，偏好向量负责拧旋钮：$\lambda$ 既决定生成时各适配器的混合比例，也决定更新时各目标奖励的权重，于是每个被采样的策略都在为它被要求的权衡而学习。技术上建立在 GRPO 之上：线性层有效权重为 $W(\lambda)=W_0+\frac{\alpha}{r}\sum_{t=1}^{T}\lambda_t B_tA_t$，$W_0$ 冻结，$A_t$、$B_t$ 是第 $t$ 个目标的秩 $r$ 因子。对每个提示采样 $G=8$ 条回答后，先逐目标组内标准化 $\tilde{R}_{t,i}=(R_{t,i}-\mu_t)/(\sigma_t+\epsilon)$，按 $\lambda$ 加权得 $U_{\lambda,i}=\sum_t\lambda_t\tilde{R}_{t,i}$，再对整批标准化为优势 $\hat{A}_{\lambda,i}$，用带 KL 惩罚的裁剪 GRPO 目标只更新适配器。训练按 PaLoRA 日程从 $(0.5,0.5)$ 退火到端点；推理时换 $\lambda$ 即换策略，不算奖励、不更新参数。
核心创新是"一个 $\lambda$、两处生效"的协调机制，以及适配器在变化混合下的联合训练。与专家集合、模型合并（Preference Vector、task arithmetic、TIES/DARE）和 HoE 路由的本质区别：那些方法先在固定权重下分别训出能力再事后组合，更新方向可能冲突；LambdaMix 的两个适配器从同一初始化（等价基座）出发，在训练中不断以不同混合共同生成回答并共同接收梯度，学到的是"协同"行为而非可拼接的孤立能力。与 CLP/Panacea/MOC/PRISM 的区别：条件化不在提示文本或共享方向里，而是确定性、连续的权重空间映射 $\lambda\mapsto W(\lambda)$，免去"学会理解文字优先级"的负担；且同一 $\lambda$ 加权更新目标，rollout 条件化与训练信号严格一致。消融证实两者缺一不可：Qwen3.5-9B 上 Mixture-only HV 0.8144、Weight-only 0.7960、Both fixed 0.8203，均远低于完整方法 0.8735，跨度从 1.931/1.982 崩塌到 0.1 量级。
方法步骤详情
第一步，初始化：冻结基座，为 $T$ 个目标各挂一对秩 $r=8$ 的 LoRA 因子，施加在注意力投影层上，$B_t=0$、$A_t\sim U[-r^{-1/2},r^{-1/2}]$，初始策略等于基座。第二步，选偏好：按 PaLoRA 退火在 $(1,0)$、$(0,1)$、$(0.5,0.5)$ 与 Dirichlet 抽样共 4 个向量间循环，按 $\lambda_{s,t}\propto(a_{s,t}+10^{-8})^{s/(0.3S)}$ 逐步放大偏好强度。第三步，采样：混合策略对每提示生成 $G=8$ 条回答（温度 0.6、top-p 0.95）。第四步，打分：每条回答在全部目标计分（Beaver 奖励/负成本；XML 正确率+约束满足；ROUGE-1+属性拒绝）。第五步，加权：逐目标组内标准化后乘 $\lambda_t$ 求和，对批标准化为优势 $\hat{A}_{\lambda,i}$。第六步，更新：裁剪 GRPO（偏移 0.20/0.28）、KL 0.2、AdamW 余弦衰减，500 次更新共 32k 补全。第七步，推理：任意 $\lambda$ 混合适配器后贪心解码；固定偏好可预先合并进基座权重。
技术新颖性
新颖性有三层。第一，方法移植层面的首创：PaLoRA 的偏好条件适配器混合原本用于有监督多任务学习，本文首次把它放进 LLM 的组相对在线 RL，并证明"混合条件化 + 目标加权"的配对在 RL 情境中同样关键——这回答了一个此前无人研究的问题：当生成回答的策略与更新它的目标同时随偏好变化时，联合训练如何进行。第二，机制设计层面：用同一 $\lambda$ 协调 rollout 策略与训练信号，配合 GDPO 式逐目标组内标准化，把各奖励的原始量纲从偏好语义中剥离；沿用 KL 锚定初始策略（等于基座），保证端点偏好不至于摧毁模型的基本能力。第三，实证层面：提供了少见的严格控制变量消融（架构、初始化、数据、优化与预算全固定，只动混合或权重），并系统刻画了奖励标准化的任务依赖性——PKU-SafeRLHF 四个模型全部受益（9B HV 0.8735 vs 0.8481），GSM8K 两升两降（27B 0.8895 vs 0.8978），SynthPAI 两个模型全受损（9B 0.3858 vs 0.4378）——这份细致分析本身即是对社区的贡献。
实验结果
（1）有用性-无害性：LambdaMix 在三个 Qwen 模型 HV 全部第一——9B 0.8735、4B 0.7913、27B 0.8547，仅 Olmo 3 7B 输给 HoE；9B/27B 上所有基线设置都被至少一个 LambdaMix 设置支配，如 $\lambda=(0.4,0.6)$ 得 5.501/8.622，超过任何基线的最高分；跨度 1.931/1.982 对 0.300/0.379，10/11 非支配、仅 1 次反转；GDPO 标准化在 4 个模型全部提升 HV。（2）正确性-依从：9B HV 0.8099 对 GRPO 专家 0.6947，27B 0.8895 对 GDPO 0.8299；27B 上 11 个设置全序零反转，准确率 0.470→0.953 时依从 0.978→0.745；HoE 跨度更宽但 HV 仅 0.8233，Olmo 例外（0.5291 对 0.5581）。（3）改写保留-属性拒绝：关标准化后最优——9B 0.4378 对 HoE 0.4293，27B 0.4552 对 GRPO 专家 0.4407，单设置达保留 0.9446、拒绝 0.4595，超最强专家的 0.9279/0.4505；条件基线跨度最小仅 0.004/0.018。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| PKU-SafeRLHF 有用性-无害性（Qwen3.5-9B） | 超体积 HV | 0.8735 | 0.7760（提示条件化，最强基线） | +0.0975（相对约 +12.6%） |
| PKU-SafeRLHF 有用性-无害性（Qwen3.5-9B） | 得分跨度 Span（有用性/无害性） | 1.931 / 1.982 | 0.300 / 0.379（提示条件化） | 约 6.4 倍 / 5.2 倍 |
| GSM8K+指令约束 正确性-依从（Qwen3.5-9B） | 超体积 HV | 0.8099 | 0.6947（GRPO 专家集合） | +0.1152（相对约 +16.6%） |
| GSM8K+指令约束 正确性-依从（Qwen3.6-27B） | 超体积 HV | 0.8895（无标准化 0.8978） | 0.8299（GDPO 专家集合） | +0.0596（无标准化 +0.0679） |
| SynthPAI 改写保留-属性拒绝（Qwen3.6-27B） | 超体积 HV | 0.4552（无标准化） | 0.4407（GRPO 专家集合） | +0.0145；单设置保留/拒绝 0.9446/0.4595 对最强专家 0.9279/0.4505 |
| SynthPAI 改写保留-属性拒绝（Qwen3.5-9B） | 超体积 HV | 0.4378（无标准化） | 0.4293（HoE） | +0.0085 |
| 训练与存储开销（Qwen3.5-9B） | 训练次数 / 补全数 / 适配器参数 / 可用偏好数 | 1 次 / 32k / 13.2M / 任意 | 5 次 / 160k / 33.1M / 5 个（GRPO 或 GDPO 专家集合） | 训练与补全节省 5 倍，参数省约 60%，偏好点不受限 |
局限与改进
作者承认的局限：任务都只含两个目标，$\Delta^{T-1}$ 只是线段；混合偏好与加权偏好被假设为同一 $\lambda$，作者明确把"两者是否必须一致"留作未来问题；GDPO 式标准化的收益随任务与模型翻转，论文只给出解释（有界奖励的小方差被放大）而无可操作选用准则；降低无害性权重会产出更有害回答，部署前须逐偏好点审查。我自己的观察：其一，Olmo 3 7B 上两个主任务都输给 HoE（PKU 0.7625 vs 0.7844，GSM8K 0.5291 vs 0.5581），提示收益依赖基座指令遵循质量，弱基座上联合混合训练可能不稳；其二，评估完全依赖学习型代理（Beaver-7B 奖励/成本模型、Qwen3-8B 评审）且无人工评估，策略可能利用评估器漏洞，SynthPAI 训练与评估还用完全相同的 ROUGE-1 和评审器，有指标过拟合风险；其三，SynthPAI 测试仅 111 条、GSM8K 300 题，每题只贪心解码一条，无置信区间或显著性检验；其四，"不用逗号"类约束偏人为；其五，未测混合适配器的服务延迟与显存开销。
独立分析的弱点
第一，目标数上限为二，退火依赖手工挑选的 4 个偏好向量；三目标以上时 Dirichlet 抽样、逐目标标准化与适配器数量的组合行为未知，可换成按学习进度自适应加权的偏好采样（类似 AW-GRPO 思路）。第二，混合与加权强制绑定：用户可能想要"生成时保守混合、训练时激进加权"，当前无法表达；可解耦两个向量并研究模型对差值的鲁棒性。第三，标准化选用无准则：实践者无法预判开关（PKU 上开好、SynthPAI 上必须关）；可引入在线诊断各目标组内方差与量纲差异，自动决定标准化强度或用可学习缩放门控。第四，代理评估依赖：Beaver 与 Qwen3-8B 评审可能被策略利用，应加人工偏好评测与对抗性探针，SynthPAI 应用留出标注或另一评审模型交叉验证。第五，弱基座失效：Olmo 上不如 HoE，可先做轻量 SFT 稳住指令遵循再跑 LambdaMix，或检测到不稳时退化为路由式训练。第六，安全风险：$\lambda$ 连续可调使无害性可被悄悄调低而无显式越界，缺少护栏；可学习偏好到安全下限的映射，对危险区域做可行域截断并拒绝服务。
未来方向
作者提出的方向：把 LambdaMix 扩展到超过两个目标；检验混合偏好与加权偏好是否必须一致（解耦后各自的作用与最优关系）。基于其成果可延伸的研究：其一，与解码时方法正交结合——MOD、GenARM、PARM 在生成期组合专家预测或奖励引导，叠加适配器混合可能进一步扩大帕累托前沿；其二，自动化的奖励预处理，让"标准化与否"由数据驱动决策（论文已给出 0.5291 vs 0.5136、0.6558 vs 0.7372 等敏感案例，可作现成测试床）；其三，人类评估与安全审查流水线，量化各 $\lambda$ 工作点的真实无害性与有用性，弥补代理评分缺口；其四，理论分析——为什么联合训练的混合优于事后合并：Table 1 中 Both fixed 的 HV 仍有 0.8203 但跨度塌缩到 0.12/0.17，说明合并方案"覆盖尚可、响应失灵"，值得从适配器子空间几何角度解释；其五，把任务扩展到真实产品目标，如事实性与简洁性、代码正确性与可读性、多语言能力与英语性能；其六，增量学习新目标：冻结旧适配器、只训新适配器并把 $\lambda$ 扩维，研究灾难遗忘与混合稳定性。
复现评估
复现条件较好。代码已开源（github.com/ckarouzos/lambdamix）；数据全公开——PKU-SafeRLHF 38,641/1,354（CC BY-NC 4.0）、GSM8K 7,473/300（MIT）、SynthPAI 728/111（CC BY-NC-SA 4.0）；基座均 Apache 2.0，但 Beaver-7B 奖励/成本模型限非商业。附录给出完整超参（Table 4：学习率 $10^{-6}$、余弦衰减、BF16、500 次更新、每提示 8 回答、每更新 64 回答、KL 0.2、秩 8、温度 0.6）与退火公式（式 4），软件栈为常规 PyTorch/TRL/PEFT/vLLM，评估协议（HV 参考点、仿射变换 $g(s)=(s+9)/18$、反转阈值 $10^{-6}$）写明。算力上单次训练仅 32k 补全、LoRA 秩 8：4B/9B 用 1-8 张工作站 GPU 可行，27B 的 rollout 需多卡 A100 级集群；复现全部基线开销数倍，作者动用了 EuroHPC Leonardo/LUMI 与 Isambard-AI。总体难度中上：方法本体不难，难在奖励评分管线与全基线对比的工程量。
论文图表
