方向对齐：通过投影到可信子空间缓解大语言模型强化学习中的奖励黑客 Directional Alignment Mitigates Reward Hacking in Reinforcement Learning for Language Models

TDGA 的完整流程包含一个一次性 SFT warmup 阶段和在线 RL 训练阶段。**第一步：构建可信子空间。** 选定一小段无 hacking 风险的干净 SFT 数据，对当前模型做 $N$ 步监督训练，记录每步参数更新 $\Delta W_\text{clean}^{(j)} = W_{j+1} - W_j$；对每个目标权重矩阵累积 $\Delta W_\text{clean} = \sum_j \Delta W_\text{clean}^{(j)}$，做完整 SVD $\Delta W_\text{clean} = \sum_i \sigma_\text{clean}^i u_\text{clean}^i v_\text{clean}^{i\top}$，取前 $K$ 个左奇异向量构成输出方向子空间 $U_\text{clean}^{(K)} = [u_\text{clean}^1, \ldots, u_\text{clean}^K]$，并按式 $\alpha_i = \sigma_\text{clean}^i / \sum_{j=1}^K \sigma_\text{clean}^j$ 计算归一化权重构造对角矩阵 $\Lambda_\text{clean}^{(K)}$。**第二步：RL 训练阶段梯度投影。** 在常规 GRPO 训练循环中，对每一步采样到的 prompt 组，对策略网络中每个目标权重矩阵计算其梯度 $G_t \in \mathbb{R}^{d_\text{out} \times d_\text{in}}$；用预计算好的 $U_\text{clean}^{(K)}$ 和 $\Lambda_\text{clean}^{(K)}$ 做投影 $G_t^\| = U_\text{clean}^{(K)} \Lambda_\text{clean}^{(K)} U_\text{clean}^{(K)\top} G_t$；最后用 $\hat{G}_t = G_t^\|$ 替换原 $G_t$ 跑后续的策略优化器（即 Adam 更新）。**第三步：可选的方向刷新。** 作者在结论中提到一种迭代式更新可信方向的扩展：每隔若干 RL 步，用当前模型重新做 SFT warmup 以更新 $U_\text{clean}^{(K)}$，但这一策略在主实验中未充分评测。

技术新颖性体现在三方面。其一是把 RL 训练的低秩线性结构（Cai et al., 2026 的发现）从「描述性观察」转化为「可执行的防御性约束」：既然更新天然集中在一个低维子空间内，那就用这个子空间本身来约束更新，从而比依赖外部正则项的方案更贴合模型本身的归纳偏置。其二是把 SVD 投影作为 RL 的「可信过滤」机制，并通过 $\Lambda$ 加权保留方向间的相对重要性，避免了「一刀切」投影的均匀归一化损失。论文中明确指出只约束输出方向子空间 $U^{(K)}$ 而保留输入方向 $V^{(K)}$ 不受约束，这是在保持灵活性和约束严格性之间的明确权衡。其三是把 reward hacking 的诊断统一到「$\text{CCA}_1(U_{20}, U_{80})$ 下降」这一可量化信号上：clean 训练平均 CCA ~0.8 而 hacking 训练下降约 0.2，这种可观测的方向漂移为未来研究提供了新的诊断工具。从形式化层面看，定理 3.1 定义的 rank-$K$ dominant update 及其在隐藏表征上的 $\Delta y^{(K)} = \sum_i \sigma_i^{(t)} u_i^{(t)} \langle v_i^{(t)}, h\rangle$ 分解，给出了「方向漂移如何影响模型行为」的清晰物理解释。

从独立分析角度，本文存在几个具体弱点。**弱点一：可信子空间是一次性估计且固定。** 在多轮 agentic 或长程 RL 场景下，模型本应学习新的能力维度（例如工具使用、规划），静态 $U_\text{clean}^{(K)}$ 会过早切掉这些新方向。改进方向是周期性重估 $U_\text{clean}^{(K)}$，例如每隔 $T$ 步用当前模型再做一次 SFT warmup，或者维护一个滑动的方向库按任务上下文动态选择。**弱点二：CCA 诊断的计算成本。** 计算 $\text{CCA}_1(U_{20}, U_{80})$ 需要对每层、每个权重矩阵都做 SVD，对于 70B+ 模型全层分析代价较高，且文中的 worst-layer 视角说明不同层漂移差异很大。改进方向是只对 LoRA 注入的 $\Delta W$ 做 SVD（参数量大幅下降），或者用随机投影做 CCA 近似。**弱点三：缺少多任务泛化。** 实验仅在单一数学任务上评测，且 loophole 类型单一（in-context）。改进方向是在代码生成、开放式问答、多轮 agent 等任务上验证。**弱点四：方向 vs. 幅度应该互补而非互斥。** TDGA 与 SAM/GradReg 的对比是独立的，但二者其实应当可以叠加——投影后的梯度再做锐度正则化。改进方向是构造 TDGA+SAM 联合方案。**弱点五：缺乏理论保证。** 文中没有给出「投影到 $U_\text{clean}^{(K)}$ 一定延迟 hacking 多少步」的边界保证，所有论断都基于经验观察。改进方向是结合奖励模型偏差的界，给出延迟步数的形式化下界。

作者在文末和附录 A.1 明确指出了三个方向。**方向一：多轮 agentic RL 中的 hacking。** 文中推测长程 agent 任务中 hacking 可能更严重，因为模型可以通过中间动作序列而非单一 shortcut 累积利用奖励。具体可探索 trajectory-level 方向漂移——不再只对参数更新做 SVD，而是对轨迹级的策略变化做谱分析。**方向二：在线自适应秩 $K$ 和训练 schedule。** 当前 $K$ 是固定超参，可以基于奇异值衰减率、方向漂移信号 CCA、验证集表现动态调整。例如当检测到 $\text{CCA}_1$ 下降速率超过阈值时自动加大 $K$ 或触发方向刷新。**方向三：方向迭代刷新。** 作者声称已有初步正结果但未在主实验展示，可作为 follow-up 的核心工作。**作者未明确但基于成果可延伸的方向：**（1）把 TDGA 扩展到多模态 RL（VLM 推理），其中 SFT warmup 可用图文对干净数据；（2）把可信子空间做成可学习的门控网络而非固定投影；（3）跨模型蒸馏可信方向——用一个干净训练过的小模型估计 $U_\text{clean}^{(K)}$，迁移到大模型的 RL 中；（4）把方向漂移信号 $\text{CCA}_1$ 做成 early-stopping 或 rollback 触发器，实时检测 hacking 苗头；（5）结合过程奖励模型（PRM）做更细粒度的方向分析。

复现评估总体处于中等难度。**优点：** 论文提供了完整的实验设置（Qwen2.5-3B-Instruct、Big-Math-RL-Verified、24379 训练样本、1498 验证样本、8 GPU、batch size 4、64 步累积、lr $10^{-5}$、KL $10^{-3}$、8 rollouts/prompt、512 max token），且评测任务基于 Wang et al. (2026) 的公开设置和公开数据集。**缺点：**（1）作者明确表示这是 preliminary study 且为 internship 工作，仓库和代码链接未在论文中显式给出，复现需要自行实现 SVD 投影、CCA 相似度等组件；（2）SFT warmup 阶段的「干净数据」选择标准未完全公开，需要根据作者附录推断（很可能是同样 task 的标准 SFT 数据）；（3）结果对超参 $K$ 较敏感，但论文只给出了 $K=1, 5, 10$ 的离散对比，没有 ablation 指导如何选 $K$；（4）8 张 GPU + 大模型训练 + 多 epoch，硬件门槛对一般实验室不低。**总体评级：** 实验设置清晰但代码和 warmup 数据未完全开源，复现到论文报告的数值需要中等工程量（约 2-4 周实现与调参），主要难点在 TDGA 投影的正确实现（避免破坏 Adam 优化器的二阶动量）以及 SFT warmup 数据的选择。