SAGE：用拓扑结构引导缓解大模型长程推理偏差 SAGE: Mitigating Long-Horizon Reasoning Biases via Topological Guidance
以代数稀疏化与双曲结构引导两种结构先验，缓解稀疏奖励下的长程推理偏差
前置知识
GRPO（组相对策略优化）
一种免价值网络的结果奖励 RL 后训练算法：对同一提示采样一组轨迹，用组内均值/标准差把奖励转成相对优势 $A_i=(R_i-\text{mean}_j R_j)/(\text{std}_j R_j+\epsilon)$，再以 PPO 式裁剪目标更新策略。省去 critic 网络，是当前数学、代码推理训练最常用的基线之一。
SAGE 的优势计算与策略更新直接建立在 GRPO 之上，只是把纯终端奖励替换为终端奖励加结构势的组合，读懂它才能看懂式 (5) 的损失函数。
KL 正则化后训练与参考锚定
目标形如 $\max_\pi \mathbb{E}_\tau[R(\tau)]-\lambda D_{KL}(\pi\|\pi_{ref})$，用参考策略约束更新幅度。当奖励稀疏时梯度被 KL 项主导，其全支撑最优解为 $\pi^*_\Omega(\tau)=\pi_{ref}(\tau)\exp(R(\tau)/\lambda)/\mathbb{E}[\exp(R/\lambda)]$，会紧贴参考策略。
Theorem 3.5 正是利用该闭式解证明参考锚定 $D_{TV}\le (e^{R_{max}/\lambda}-1)p$，这是累积偏差的数学根源，也是 SAGE 注入结构势的直接动机。
Andrews-Curtis 平凡化问题
组合群论中的开放问题：给定群的展示 $\langle S|R\rangle$，只允许三类合法变换（求逆关系子、与另一关系子相乘、对生成元共轭），判断能否化到平凡展示。搜索树深、分支多，是检验长程符号推理的经典压力测试。
论文以 AC 为贯穿示例讲解两种偏差，并用 1190 个 $n\le 7$ 的实例评测，Lean 编译验证提供了端到端的金标准指标。
双曲嵌入与 Poincaré 模型
把状态嵌入负曲率的双曲空间（Poincaré 圆盘），其体积随半径指数增长，天然适合表示树状层级；点对距离 $d_D$ 对深层节点仍保持区分度，可为推理状态提供稠密且保序的深度信号，嵌入用 $E(\cdot)$ 表示。
结构势 $\Psi_H=\exp(-d_D(E(s_t\circ L_j),E(g))/\kappa)$ 依赖它提供前缀级深度反馈，消融显示换成欧氏距离后准确率立刻下降。
前缀封闭可行域与局部可采纳性
谓词 $Adm_S(s_t,a_t,s_{t+1})$ 只检查单步变换是否局部良构，不认证全局正确性；由此定义的可行集 $F=\{\tau:\forall t, Adm_S=1\}$ 满足前缀封闭——任一前缀不可行则所有延拓不可行。这使 $F$ 成为无需真值解 $T^*$ 即可计算的结构代理。
SCA 的全部结论（可行域体积坍缩、梯度方差分解、支撑集中）都建立在 $F$ 的前缀封闭性上，是理解第 3 节理论的钥匙。
研究动机
随着推理链变长，基于结果奖励的后训练（GRPO、EMPO 等）在稀疏奖励下急剧变脆。论文以 Andrews-Curtis（AC）平凡化任务为贯穿示例：模型需通过一串合法变换（求逆、相乘、共轭）把群表示化到平凡表示，可达搜索空间以 $|\Omega|=O(\bar{A}^T)$ 随步数 $T$ 指数膨胀，而成功轨迹只占极小比例。这诱发两种结构性偏差：一是探索偏差——大量局部合法但全局无望的分支吸走采样预算，结果驱动训练偏好容易采样而非可延伸到成功的轨迹；二是累积偏差——监督只有 $r(\tau)=\mathbf{1}[\tau\in T^*]$ 式的终端稀疏奖励，早期看似合理的小偏差无法及时纠正，随深度累积导致失败。现有替代要么是昂贵的稠密过程监督（验证器、PRM、LLM-as-Judge），要么是不建模推理空间结构的启发式（STaR/ReST、熵正则）。
本文的目标是论文设定了两个层层递进的目标。其一是理论层面回答 Q1：在结构复杂且奖励稀疏的长程推理中，能否刻画导致失败的支配因素？作者希望得到一个不依赖稠密过程标注、可计算的分析框架，把探索偏差与累积偏差从现象描述变成可证明的性质。其二是工程层面回答 Q2：能否把这一刻画实例化为统一框架，在策略优化阶段注入结构引导，同时缓解两种偏差？约束相当苛刻：不使用稠密过程标签、不访问真值解路径 $T^*$、不增加推理期搜索或过滤开销，只在训练期让策略内化结构先验。终极判据是在 12 个基准、7 个模型家族上稳定超越 SFT、GRPO、EMPO、GRPO-PRM 四个基线，并在 AC 这类开放真实长程任务上取得数量级提升（最终实现近 8 倍改进）。
与已有工作不同的是，现有缓解路线沿两条轴展开，都留下结构盲区。对抗探索偏差的一支引入稠密监督：交互式验证器、学习型 PRM、MCTS 加步级评审，但可靠过程监督在结构上昂贵，只是把瓶颈换位而非解决稀疏奖励下的学习难题。对抗累积偏差的一支改造结果型 RL：STaR/ReST 自举、熵正则、句法约束等内在激励，但它们把探索当作采样或奖励整形技巧，不建模长程推理空间的几何结构。SAGE 的独特切入是第三条路：用符号闭包分析（SCA）把推理空间显式建模为局部可采纳谓词 $Adm_S$ 诱导的前缀封闭可行域 $F$，从体积对比与 KL 正则化优化器的参考锚定现象（Theorem 3.5）推导出两条可计算的设计原则——可行支撑集中与前缀级纠正——再用代数子空间投影与双曲几何分别落实，而非依赖更贵的验证器或更泛的启发式整形。
核心方法
SAGE 的直觉是：既然失败源于推理空间的几何——可行域在指数空间中被稀释——就在训练时给策略注入显式结构势场，让 rollout 与梯度更新都偏向结构上可延伸的分支。技术上先建立符号闭包分析（SCA）：把推理建模为满足局部可采纳性 $Adm_S$ 的符号变换序列，可行集 $F$ 前缀封闭，$G=\Omega\setminus F$ 为不可采纳补集。体积对比给出 $|\{\tau\le T:\tau\in F\}|/|\{\tau\le T:\tau\in\Omega\}|\lesssim\prod_{t=1}^{T}(B_t^F/B_t)$，说明无引导 rollout 会以 $\mu_{\pi_0}\approx 1$ 的概率落在可行域之外；Theorem 3.5 进一步表明弱终端奖励下 KL 正则化优化器无力离开参考策略。随后 SAGE 在 GRPO 式后训练中注入两个结构势：代数稀疏化 $\Psi_P$ 集中可行支撑，双曲引导 $\Psi_H$ 提供前缀级稠密信号，仅作用于训练期采样与优势计算，推理零额外成本。
核心创新是把两种偏差翻译成两个可计算势函数，并同时在采样与优势两端注入。其一，代数稀疏化针对探索偏差：对残差 $r_t$ 与候选算子 $L_j$ 关联的子空间 $S_j$，取 $\Psi_P=\frac{\|P_{S_j}r_t\|_2^2}{\|r_t\|_2^2+\varepsilon}$，衡量算子能解释多少未解残差，抑制伪分支。其二，双曲引导针对累积偏差：$\Psi_H=\exp(-d_D(E(s_t\circ L_j),E(g))/\kappa)$，用 Poincaré 距离提供深度感知信号。与已有方法的本质区别：不用学习型过程奖励模型（比 GRPO-PRM 更强且省标注）；势函数只需 $Adm_S$ 与结构锚，不需真值解 $T^*$；Prop 4.1 证明终端奖励全为零时，只要 $\Psi_{SAGE}$ 有组内方差，优势 $A_i$ 仍非零，更新信号不消失；Prop 4.2 证明 $P_{EBM}(G)/P_{EBM}(F)\le e^{-\lambda\Delta}$ 倍于策略比，增大 $\lambda$ 即指数级压低不可采纳质量。
方法步骤详情
流程分五步。第一步定义符号接口：形式域直接用 $Adm_S$（如 AC 三类合法变换），自由域用未解变量、方程、答案模式约束等可计算代理。第二步计算残差与锚：$r_t$ 为状态 $s_t$ 的未解结构，$g$ 为目标锚（AC 中即平凡表示）。第三步打结构分：对候选集 $C_t$ 中每个动作计算 $\Psi_{SAGE}=\alpha\Psi_P+\gamma\Psi_H$（$\alpha,\gamma\ge 0$）。第四步结构引导采样：$P_{sample}\propto\exp(\bar{\ell}_{\theta_{old}}+\lambda\Psi_{SAGE})$，归一化仅在从 $\pi_{\theta_{old}}$ 采出的 $C_t$ 上。第五步优势与更新：$\tilde{R}(\tau_i)=R_{term}(\tau_i)+\eta\cdot\frac{1}{T_i}\sum_t\Psi_{SAGE}(s_{i,t},a_{i,t})$，优势 $A_i$ 做组内均值/标准差归一化，代入式 (5) 的步级裁剪目标（含步级 KL 项 $-\delta\log\frac{\pi_\theta}{\pi_{ref}}$）迭代更新策略。
技术新颖性
技术新颖性体现在四点。第一，理论先行且方法与定理严格对偶：先证明可行域体积随深度指数坍缩（式 1）、梯度方差可分解为可行与不可行区域内加区域间三项（Prop 3.4）、弱奖励下最优解锚定参考策略 $D_{TV}(\pi^*_\Omega,\pi_{ref})\le(e^{R_{max}/\lambda}-1)p$（Theorem 3.5），再从证明直接导出可行支撑集中与前缀级纠正两条设计需求。第二，几何先验代替学习先验：$\Psi_P$ 用算子索引的代数子空间投影、$\Psi_H$ 用双曲负曲率距离，均为零参数结构度量，无需训练 PRM 或标注过程数据。第三，训练期注入、推理免费：结构偏好经式 (5) 被吸收进策略权重，部署时不增加任何搜索或过滤，区别于推理期验证器方法。第四，消融设计了两个安慰剂对照——把 $\Psi_H$ 换成欧氏距离、打乱目标锚 $g$——Qwen3.5-9B 上 Olympiad 准确率分别跌至 38.01 与 37.99，而完整 SAGE 为 41.59，证明收益来自目标对齐的结构引导而非泛化的稠密奖励整形。
实验结果
主实验覆盖 12 个基准、7 个模型家族、4 个基线。数学推理（Table 1）：Qwen3.5-2B 七项平均从基线最好 40.28%（EMPO）升至 42.11%，9B 从 44.93%（SFT）到 47.95%，35B 从 62.37% 到 64.86%；35B SAGE 以约一半参数量超过旗舰 Llama-3.3-70B 的 38.48%（35B Putnam 22.62 对 GRPO 19.48）。自由域（Table 2）：9B MMLU-Pro 37.91%→39.99%、BBH-H 44.04%→45.31%、ARC-C 39.73%→42.04%；35B BBH-H 69.07%、ARC-C 66.41%，全面领先仅用问题的后训练方法。AC 长程任务（Figure 3）：AC Validity 提升 +19.2 到 +26.0 个百分点，Lean 验证成功率全部 +13 以上，Qwen3 相对基础模型近 8 倍。消融（Table 3/4）：去掉 $\Psi_H$ 或 $\Psi_P$ 一致掉点，欧氏距离与打乱锚对照跌至 38.01/37.99；GRPO-PRM 有用但 SAGE 更强（35B Lean 23.69 对 17.36；AC 消融对 GRPO 14.64）。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 数学推理 7 项平均（Qwen3.5-2B） | 平均准确率 % | 42.11 | EMPO 40.28 / GRPO 39.63 / SFT 30.89 | 较最强基线 +1.83 点 |
| 数学推理 7 项平均（Qwen3.5-9B） | 平均准确率 % | 47.95 | SFT 44.93 / EMPO 44.84 / GRPO 43.16 | 较最强基线 +3.02 点 |
| 数学推理 7 项平均（Qwen3.5-35B） | 平均准确率 % | 64.86 | EMPO 62.37 / GRPO 61.92 | 较最强基线 +2.49 点；超 Llama-3.3-70B（38.48）26.38 点 |
| 自由域推理（Qwen3.5-9B） | MMLU-Pro / BBH-H / ARC-C % | 39.99 / 45.31 / 42.04 | EMPO 39.73（ARC-C）等 | 三项全面领先仅用问题的后训练方法 |
| Andrews-Curtis 长程任务（Qwen3.5-35B） | Lean-Verified 成功率 % | 23.69 | GRPO 14.64 / GRPO-PRM 17.36 | +9.05 点；Qwen3 相对基础模型近 8 倍，AC Validity 提升 +19.2~26.0 点 |
| AC 组件消融（Qwen3.5-35B） | AC Validity / AC Path / Lean % | SAGE 59.83 / 31.76 / 23.69 | SAGE w/o ΨH 57.02 / 27.14 / 18.82；w/o ΨP 56.31 / 25.98 / 18.07 | 两个组件各贡献约 2.8-4.9 点 Lean 提升，缺一不可 |
局限与改进
作者与读者都应看到边界。其一，理论最优性基于全支撑 KL 正则化目标的闭式解（Theorem 3.5），与实际截断、裁剪的 PPO 式更新存在差距，给出的偏差界是宽松上界而非紧致刻画。其二，非形式域的残差 $r_t$ 与锚 $g$ 依赖从提示条件化语义结构中估计（附录 E.1），估计器本身未做消融，自由域收益（约 +1~3 点）也明显小于形式域，暗示结构代理在软任务上信息量有限。其三，超参数 $\alpha,\gamma,\lambda,\kappa,\eta,\delta$ 数量多，论文未给出跨域统一设置或敏感性分析。其四，正文对基准数量表述不一致（摘要与第 5 节说 12 个，贡献列表写 13 个），AC 任务仅 1190 个 $n\le 7,|w|\le 7$ 的实例，规模偏小。其五，偏差被缓解的证据是间接的——只有任务精度与奖励密度，缺少对 $\mu_\pi$、可行支撑占比等 SCA 核心量的直接测量。
独立分析的弱点
独立分析可见四个弱点。第一，$\Psi_P$ 强依赖每个域手工给出的算子-子空间对应，扩展到新形式系统（高阶定理证明、代码语义）需重新设计子空间族，泛化成本高——改进方向是学习算子嵌入或从语料自动归纳子空间。第二，双曲锚 $g$ 在自由域只有语义结构估计一笔带过，若锚有偏，策略会被系统性引向错误先验——可引入锚的不确定度加权或多锚贝叶斯混合。第三，结构势会压低 rollout 熵，理论上可能牺牲探索多样性、放大对先验的过拟合，论文未报告熵或多样性曲线——建议加 $\lambda$ 退火调度或熵预算约束。第四，收敛性分析用轨迹级 EBM 分布 $P_{EBM}=\pi_{\theta_{old}}e^{\lambda\Psi_{SAGE}}/Z_\lambda$，与实际步级重要性采样之间有近似缝隙，值得推导更紧的有限样本集中界。
未来方向
可延伸方向有四层。方法层：把 SCA 推广到更一般的闭包性质（可逆性、单调不变量），研究 $\lambda$ 从小到大的自动退火——先鼓励探索后收紧可行域；将双曲引导与推理期搜索（MCTS、束搜索）结合，检验结构势能否同时提升剪枝质量。任务层：在 Lean/Isabelle 全库级定理证明、长程代码重构、多步工具调用等更长视野任务上验证，AC 只是 $n\le 7$ 的小规模实例；探索以自生成目标替代外部锚，实现无监督结构课程。理论层：为 Theorem 3.5 补充非全支撑与裁剪更新下的版本，量化结构势对采样复杂度的加速（目前只有方差分解的定性论证），并把 Prop 4.2 的指数集中界与样本复杂度挂钩。工程层：给出 $\alpha,\gamma,\lambda,\kappa$ 的默认值与敏感性曲线，社区复现 5 种子完整方差表以确认小基准上 1~3 点增益的统计显著性。
复现评估
复现难度中等偏上。有利条件：代码已开源（GitHub 仓库 Susan571/SAGE-NeurIPS2026，另附匿名评测链接）；AC 数据集构建协议明确——遵循 Shehper et al. (2025) 构造 1190 个 $n\le 7$、$|w|\le 7$ 的群表示实例；MATH、GSM8K、AIME24、MMLU-Pro 等评测基准全部公开；自由域结果提供 5 种子均值-标准差（附录 H）。不利条件：需要 GRPO 级 RL 训练，骨干最大到 35B（Llama-3.3-70B 仅作推理评估），单次完整复现估计需数十张 A100/H100 级显卡；结构先验的具体构造——代数子空间 $S_j$ 的基、Poincaré 嵌入训练、自由域锚 $g$ 的估计流程——集中在附录 E，颗粒度未知；未提供训练日志与超参搜索空间；个别引用（如 Llama-3.3 标注 Patterson et al. 2022）有版本疑点需核实。总体：推理侧复现容易，训练侧需相当算力并补齐附录细节。
论文图表
以 Andrews-Curtis 平凡化任务为例的示意图：左侧展示推理树随深度展开时大量局部合法但低价值的分支（探索偏差），右侧展示早期一个看似合理的变换如何把轨迹引入复杂度保持或放大的区域，失败在若干步之后才显现（累积偏差）。
这张图建立了全文的心智模型：两种偏差不是抽象概念而是 AC 任务上可观察的具体失败模式，第 3 节 SCA 的所有理论分析都围绕这张图的场景展开。