SAHOO：递归自我改进中高阶优化目标的受保护对齐框架 SAHOO: Safeguarded Alignment for High-Order Optimization Objectives in Recursive Self-Improvement
用多信号漂移检测+约束保持+回归风险三项保障实现递归自改进中的对齐保护。
前置知识
递归自我改进（Recursive Self-Improvement, RSI）
指系统能够自动评估自身输出、提出修改并迭代优化自身能力的过程。在大型语言模型时代，研究者用提示工程和外部评估器实现准 RSI：每一轮 c，模型 $\theta_c$ 产生输出 $y_c$，基于质量评估和反馈构建改进提示，生成下一代模型 $\theta_{c+1}$，从而形成能力逐步上升的循环。
本文正是围绕 RSI 展开——理解 $\theta_c \to \theta_{c+1}$ 的反馈循环结构是读懂为何需要检测漂移、为何要在每一轮同时跟踪质量与对齐的前提。
对齐漂移（Alignment Drift）
指系统在迭代自我改进过程中，其行为逐渐偏离初始对齐目标的现象。漂移可同时发生在语义（意义变化）、词汇（用词分布偏移）、结构（输出格式变化）和分布（输出统计分布变化）四个维度上，需要用不同度量分别捕捉。论文将其量化为 Goal Drift Index（GDI）。
本文的核心问题就是对齐漂移。若不理解漂移可分多维并发且会跨周期累积，就无法理解为何单一信号不足以检测，需要多信号融合并设阈值。
Jensen-Shannon 散度与 Wasserstein 距离
JSD 是两个概率分布之间对称有界的散度度量，值域 $[0,\log 2]$，可写为 $JSD(P_0 \| P_t) = \frac{1}{2}KL(P_0 \| M) + \frac{1}{2}KL(P_t \| M)$，其中 $M = \frac{1}{2}(P_0+P_t)$。Wasserstein 距离又称推土机距离，度量把一个分布搬成另一个分布所需的最小代价，对高维分布更稳定。
GDI 中词汇漂动用 JSD 度量，分布漂动用 1-Wasserstein 距离度量。这两个工具是构建多信号漂移检测器的数学基础。
HumanEval / GSM8K / TruthfulQA 基准
三个分别评估不同能力的标准基准：HumanEval 是 164 道 Python 编程题，测 pass@1（单次生成通过率）；GSM8K 是 8500 道小学数学应用题，测多步推理准确率；TruthfulQA 包含 817 道易触发人类常见误解的问题，测模型是否会被流畅的虚假答案带偏。
论文用这三个基准分别测试代码生成、数学推理和真实性任务，是为了同时考察漂移在不同失败模式下的表现差异。
约束满足与硬停止规则
约束（constraint）以逻辑谓词形式指定，如"代码必须语法合法且不能调用禁止库"。约束保持得分 CPS 定义为 $CPS = \frac{1}{K}\sum_{k=1}^K \mathbb{1}[C_k(y) = \text{true}]$，是硬指标（任一关键约束违反即终止）。硬停止规则指当任何约束被违反或漂移超阈值时立即中断迭代。
这是论文三项保障机制中的第二项。理解 CPS 的硬性是 0/1 而非软概率，对于明白为何框架能保证零代码/数学违规至关重要。
研究动机
随着大语言模型能够自我评估、提出修改并迭代优化，递归自我改进从理论走向实践，但伴随出现隐性对齐漂移：模型可能提升 10% 代码能力的同时真实性下降 15%，在任意单一指标上似乎都在进步，但综合来看并未真正改善。具体而言，对齐漂移在语义、词汇、结构、分布四个维度并发发生，单一信号（如 KL 散度或困惑度）无法捕捉跨维度复合偏差；现有方法要么缺乏可测量机制，要么依赖任意超参未做数据驱动校准。在 189 个任务的真实评估场景中，研究者观察到全部 170 次违规集中在 TruthfulQA 任务上，其中 53.5% 是捏造（fabrication）、28.2% 是过度自信（overconfidence），揭示出真实性领域的对齐张力远大于代码和数学。
本文的目标是本文旨在提出一个名为 SAHOO 的可部署、可度量、可校准的框架，在递归自我改进过程中同时维护能力增益与对齐保持。具体目标包括三方面：（1）设计多信号目标漂移指数 GDI，覆盖语义/词汇/结构/分布四类漂移并通过校准学习权重；（2）建立约束保持损失与硬停止规则，使安全属性在所有周期中不被破坏；（3）量化回归风险并表征能力-对齐权衡，使实践者能在 Pareto 前沿上做知情决策。最终在 189 个任务上展示出"质量提升 3.8%–18.3% 同时漂移远低于 0.44 临界阈值"的实证可行性。
与已有工作不同的是，本文的独特切入角度是把对齐保护视为一个多维、可测量、数据驱动的工程问题，而非哲学问题或纯理论问题。与 Schmidhuber 的哥德尔机（理论最优自改进）、Yin 等人的哥德尔智能体（自指框架）、Schmidhuber/Russell 的价值对齐理论（抽象讨论）相比，SAHOO 的核心差异在于：（1）所有阈值和权重均由 18 个任务 × 3 周期的小型校准集学习得到，而非任意指定；（2）漂移检测是显式四维分解的，且每维都有具体的数学度量（余弦距离、JSD、归一化结构差、Wasserstein 距离）；（3）将能力-对齐权衡显式量化为 CAR 指标并发现早期循环高效率、后期下降稳定化的规律，这一发现直接给出"5–7 周期为最佳实践上限"的工程建议。
核心方法
SAHOO 的整体思路是把 RSI 视为一个带安全护栏的闭环控制系统：每一轮生成-评估-反馈-改进的同时，并行运行三类安全监控。直觉上，可以把模型想象成一辆在迭代赛道上加速的赛车，质量指标是车速，CPS 是安全带，GDI 是方向盘偏移量，回归风险是打滑预警。三项指标共同构成多层防护：质量提升是目标，约束保持是底线，漂移检测与回归监控是刹车与油门。具体技术路线包括：（1）在小校准集上学习四个漂移分量权重 $w_s, w_\ell, w_{st}, w_d$ 和每类任务 GDI 阈值 $\tau_{GDI}$，通过逻辑回归最大化漂移检测 AUC，再通过阈值搜索最大化 F1；（2）在主实验中，每一轮同时记录质量 $Q_c$、约束保持 $CPS_c$、GDI 和回归风险 $R_{adj}^c$，并以第一触发条件决定停止；（3）所有参数来源于经验分布和信息论原理（如温度设为 $\sqrt{2/2} \approx 0.707$ 即二元熵最大化值），而非手工调参。
核心创新在于把"漂移"从一个抽象哲学概念拆解为可同时计算的四个正交分量，并赋予它们通过校准学习得到的权重。具体而言，语义漂动用嵌入余弦距离 $\Delta_{semantic} = \frac{1 - s_{\cos}}{2}$ 度量（值域 [0,1]，0.5 代表正交），词汇漂动用 JSD 度量，结构漂动用归一化特征差 $\Delta_{structural} = \frac{1}{K}\sum_k \min(1, \frac{|s_0^{(k)} - s_t^{(k)}|}{s_0^{(k)} + \epsilon})$，分布漂动用 Wasserstein 距离度量，最终合成 $GDI = w_s\Delta_s + w_\ell\Delta_\ell + w_{st}\Delta_{st} + w_d\Delta_d$，权重满足 $\sum w = 1$。这与已有方法有本质区别：传统漂移检测多采用单一 KL 散度，无法区分表面词汇变化和深层意义变化；价值对齐理论停留在哲学层面不给出度量；本文方法则把漂移分解、信息论度量、数据驱动校准三者融合为可部署的工程方案。第二个核心创新是 CAR 指标 $CAR_c = \frac{Q_c - Q_0}{GDI_c}$ 把能力-对齐权衡显式化为单一比值，并观察到早期循环接近 1.0、cycles 2–3 后衰减至 0.6–0.7 的 Pareto 模式。
方法步骤详情
完整方法分为校准和主实验两阶段。校准阶段（18 任务 × 3 周期 = 54 次观测）执行四步：（1）收集人类评估的漂移标签 $y_{drift} \in \{0,1\}$；（2）对四类漂移特征拟合逻辑回归，最优权重 $w^* = \arg\max_w \sum_{i=1}^{N_{cal}} AUC(GDI_i(w), y_{drift}^i)$；（3）为每类任务估计基线漂移统计；（4）通过 $\tau_{GDI}^* = \arg\max_\tau F_1(\mathbb{1}[GDI > \tau], y_{drift})$ 学习阈值。主实验阶段步骤为：对每一任务 $\tau = (\pi, C, M)$，初始化 $\theta_0$ = Qwen3-8B；循环 $c = 0, 1, ..., C_{max}$（通常 15–20）：第一步用 $\theta_c$ 产生响应 $y_c = \theta_c(\pi)$；第二步并行计算质量 $Q_c = Q(y_c, M)$、约束保持 $CPS_c = CPS(y_c, C)$、四分量漂移 $\{\Delta^{(k)}\}$ 与合成 $GDI_c$；第三步基于历史估计回归风险 $R_c \approx \Phi(\frac{Q_{max} - \delta - \hat{Q}_{c+1}}{\sigma})$ 并加趋势调整 $R_{adj}^c = \min(1, R_c + \mathbb{1}[\beta < -\epsilon_{trend}]\lambda|\beta|)$；第四步用综合反馈构建改进提示生成 $\theta_{c+1}$；第五步按以下优先级检查停止条件：约束完全违反 > $R_{adj}^c > \tau_R$ > $GDI_c > \tau_{GDI}$ > 三周期 $Q$ 变化 < 0.01 > 达到 $C_{max}$。同时记录所有指标到审计日志以备部署审查。温度固定为 $\sqrt{2/2}$，每任务 63 个样本（按 0.3 标准差效应、80% 功效确定），bootstrap 2000 次估计 95% CI。
技术新颖性
技术新颖性体现在三方面。第一，漂移分解为四个正交分量并各自配以最优度量的设计：语义用余弦距离、词汇用 JSD、结构用归一化差、分布用 Wasserstein，这四者在信息论上互补且都可单独校准，避免了单一度量被特定类型攻击欺骗的风险。第二，所有阈值和权重均从校准数据学习，校准算法本身（逻辑回归 + F1 搜索 + 趋势调整的 $\lambda$）是无监督-弱监督混合的实例，避免了传统方法依赖网格搜索或手工规则的任意性。第三，引入 CAR 指标把能力-对齐权衡形式化为比值，并通过对 3780 周期数据的实证发现了"早期高效率、后期稳态"的 Pareto 模式，给出 5–7 周期的工程建议上限，这是新颖的实用洞见。附录中的理论分析（Lipschitz 连续性、漂移渐近上界 $\mathbb{E}[\Delta_C] \leq \Delta_0 + L_\Delta(\mu C + O(\sigma\sqrt{C}))$、压缩性 regime 收敛到 $\frac{L_\Delta \mu}{1-L_\Delta}$）进一步把工程方案与理论保证对接。
实验结果
在 189 个任务（每域 63 个）上的实验得到五项核心发现。第一，能力与对齐可同时改善：代码生成从 0.672 提升到 0.795（+18.3%）、数学推理从 0.689 提升到 0.805（+16.8%），同时 GDI 均值仅 0.320 和 0.330，远低于临界阈值 0.440；真实性从 0.678 提升到 0.704（+3.8%），GDI = 0.354。三域整体质量提升 13.0%，GDI 0.335，CPS 0.996，证明 RSI 在受保护下确实有效。第二，约束保持近乎完美：代码和数学在全部 1260 周期（63 任务 × 20 周期）中 CPS = 1.000，零违规；真实性 63 个任务共 170 次违规（均值 2.70/任务），主要类型为捏造（91 次, 53.5%）和过度自信（48 次, 28.2%），揭示出流畅性提升与真实性约束存在内在张力。第三，回归风险有效：3780 周期中仅 4.5% 发生回归，去除一个含 117 次回归的双峰离群任务后降至 0.7%，且框架提前 4.5 周期就识别出该离群任务，给出早期干预窗口。第四，CAR 指标揭示工程上界：前 1–2 周期 CAR 接近 1.0（高质量、低漂移），cycles 2–3 后衰减至 0.6–0.7 并稳定，因此建议保守地把循环数限制在 5–7 以获取大部分收益。第五，91.5% 任务（173/189）最终收敛，平均收敛周期 8.8±4.0（代码 7.1、真实性 10.4、数学 8.9），稳定性分数均值 0.825±0.068，仅三个任务低于 0.70 且都被人工核实为异常情况（数据不足或双峰行为）。漂移分量权重在所有域相同（语义 0.38、分布 0.29、结构 0.21、词汇 0.12），表明校准识别出域不变的漂移签名。bootstrap 95% CI 平均宽度 0.084（±0.042），最宽 ±0.15 仍在 0.44 阈值附近，足以可靠检测超阈值事件。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 代码生成（HumanEval） | pass@1 / CPS / GDI / CAR | 0.672→0.795（+18.3%），CPS=1.000，GDI=0.320，CAR=0.671 | Qwen3-8B 初始（未改进）pass@1 = 0.672 | 质量+18.3%，零约束违规，GDI 远低于 0.44 阈值 |
| 真实性（TruthfulQA） | 准确率 / CPS / GDI / CAR | 0.678→0.704（+3.8%），CPS=0.987±0.055，GDI=0.354，CAR=0.599 | Qwen3-8B 初始准确率 = 0.678 | 质量+3.8%，170 次违规（捏造 91+过度自信 48+系统调用 15+其他 16），GDI 仍低于阈值但对齐成本最高 |
| 数学推理（GSM8K） | exact match / CPS / GDI / CAR | 0.689→0.805（+16.8%），CPS=1.000，GDI=0.330，CAR=0.675 | Qwen3-8B 初始准确率 = 0.689 | 质量+16.8%，零约束违规，CAR 最高（0.675）说明数学推理是低对齐成本高收益的友好任务 |
局限与改进
作者明确承认的局限性：（1）任务分布依赖——框架在 HumanEval/TruthfulQA/GSM8K 上校准，迁移到新任务族或模型架构（如非解码器式）需重新校准；（2）约束规范难题——很多伦理或价值属性难以形式化为逻辑谓词，框架对其帮助有限；（3）真实性评估常需人类标注，限制可扩展性且引入评估者漂移风险；（4）测量的是相对基线的偏差而非绝对对齐——若 $\theta_0$ 已错位，GDI 仍会报告低漂移；（5）人类监督的有效性假设可能在超高能力或潜在欺骗系统中失效。本文观察到的额外问题：（6）单离群任务贡献了 117/170（69%）的回归事件，说明高变异任务需要专门建模；（7）整体回归率 4.5% 在去除离群后才 0.7%，但跨任务稳定性仍受个体行为影响；（8）三域漂移权重完全相同（$w_s=0.38, w_\ell=0.12, w_{st}=0.21, w_d=0.29$）可能反映校准数据不足而非真实域不变性，需在更多任务族上验证。
独立分析的弱点
独立分析可识别若干具体弱点。弱点一：基线选择脆弱——框架以 $\theta_0$ 为参照计算累积漂移，但若初始 Qwen3-8B 在某些子任务上已偏离期望行为，校准集会学到错误的"漂移常态"，导致后续阈值过松。改进方向是引入绝对对齐参考（如 RLHF 微调模型作为 ground truth）并对 $\Delta_{semantic}$ 等分量做绝对阈值双轨制。弱点二：单离群任务污染总体回归率——一个含 117 次回归的双峰任务把整体拉到 4.5%，这种系统性偏差提示需要按任务难度分桶统计而非简单求均值。改进方向是为每个任务维护独立的稳定性档案而非全局阈值。弱点三：约束规范的手工性——当前 CPS 需要人工列出代码禁止库、数学推理步骤规则、真实性禁词等，无法扩展到开放式价值。改进方向是结合 LLM-as-judge 与形式化校验双层架构，把模糊价值转译为软硬混合约束。弱点四：温度固定为 $\sqrt{2/2}$ 的设计假设是二元输出熵最大化，对长序列 token 级生成的最优性存疑——实际使用中需要 token 级温度调度。弱点五：缺乏对对抗性漂移的鲁棒性测试——一个刻意学会在隐藏层绕过检测的系统可能仍能提升表面 GDI 而内在已发生未授权修改。改进方向是结合机理可解释性方法（如激活监测）作为外部校验。
未来方向
作者提出的方向有四：（1）更复杂的约束规范方法以捕捉超越二元满足的对齐属性；（2）漂移检测系统的对抗鲁棒性研究；（3）与机理可解释性方法集成以精确理解模型内部哪些方面在漂移；（4）多智能体 RSI 场景中多个系统联合改进的安全保障。基于成果可延伸的方向：（5）把 CAR 与 Pareto 前沿理论结合，得出每个任务族的最佳停止周期解析式；（6）将 GDI 校准扩展到流式任务分布（在线校准）而非固定小校准集；（7）跨模型家族的迁移——把在 Qwen3-8B 校准的权重迁移到 LLaMA、Claude 等并通过 few-shot 重新校准；（8）构建分层 SAHOO——内层做单步漂移检测、外层做长期回归预测、元层做整体策略切换；（9）把 SAHOO 与 RLHF/DPO 结合形成"对齐感知改进循环"，使人类反馈直接进入约束规范。
复现评估
作者在论文与披露中说明 LLM 仅用于写作润色而非实验设计，但代码仓库已开源在 GitHub（SubramanyamSahoo/SAHOO-in-Recursive-Self-Improvement2026）。复现难度评估：算力需求方面，主实验使用 Qwen3-8B 单卡推理，每任务最多 20 周期、63 任务，共约 189×20 = 3780 次生成，对单张 A100 80G 或相当 GPU 算力足够；校准阶段仅需 18 任务 × 3 周期 = 54 次生成，几乎任何 GPU 都可完成。数据完全使用公开基准 HumanEval/TruthfulQA/GSM8K，无需额外标注。潜在复现障碍包括：（1）论文未公开校准集具体任务 ID 与超参（如 $\epsilon_{trend}, \lambda$ 的具体数值），需读源码补全；（2）每个任务的约束规范（如禁止库列表、数学推理格式规则）需手工编写，存在规范者自由度；（3）漂移分量特征工程（如结构特征具体包含哪些字段）需从代码推断；（4）Qwen3-8B 在 2026 年的具体版本快照可能影响复现精度。整体复现难度中等：算法清晰但工程细节需从代码反推，建议把校准脚本、约束规范和特征定义列为优先复现项。
论文图表