混合推理智能体：在潜空间思考、用文本行动的统一智能体框架 Hybrid Reasoning Agents
让 LLM 在潜空间高效思考、用文本调用工具，性能提升 10.4% 且成本降低 2.7–3.7 倍。
前置知识
潜空间推理（Latent Reasoning）
指 LLM 不把中间推理解码为文本 token，而是把隐藏层的连续向量直接作为下一步输入，在连续表示空间中循环计算。代表工作 Coconut 把最后层隐状态 $h_t$ 直接反馈为下一步输入 $e_{t+1}$，省去「解码 token—再嵌入」的往返，可以表达比逐 token 思维链更深、更紧凑的内部推理。但潜向量不落在词表上，既没有原生的工具调用通道，也缺乏人类可读语义，因此难以训练监督、推理审计和调试。
本文的核心贡献就是把这种高效但封闭的推理方式改造成能与文本工具调用交替进行的「混合」形态，不先理解潜空间推理的原理与局限，就看不出 HybridAgent 各个设计在解决什么问题。
KV 缓存与工作记忆
Transformer 自回归生成时，每个位置在每一层产生的 Key/Value 会被缓存，后续步骤通过注意力直接读取它们而无需重算整个前缀。传统上 KV 缓存只是工程加速手段，缓存内容原则上总能由文本重新编码恢复；而本文把 KV 缓存升格为「连续工作记忆」，用来承载根本无法用分词器重建的内容——潜向量与工具观察交织的混合轨迹。
HybridAgent 的多轮混合生成完全依赖 KV 记忆跨轮携带上下文，论文的定理 A.1 证明了这种复用相对「完整前缀重算」是无损的，这是理解其多轮机制的关键。
GRPO 与重要性比率
GRPO 是当前 LLM 后训练最常用的强化学习算法之一：对同一提示采样一组（如 8 条）轨迹，用组内奖励归一化得到优势 $A_i$，再以新旧策略的逐 token 似然比 $\rho_t=\pi_\theta(y_t|\cdot)/\pi_{\theta_{old}}(y_t|\cdot)$ 做 clip 目标的稳定更新。它隐含假设每个生成位置都存在 token 级似然，PPO/GRPO 的重要性比率都建立在这个假设上。
潜模式位置生成的是连续向量而非采样 token，似然不存在、重要性比率 $ ho_t$ 无定义——这正是潜推理模型此前无法直接用 RL 训练的原因，也是本文混合策略分解定理要解决的核心障碍。
曝光偏差（Exposure Bias）与 Teacher Forcing
自回归模型训练时通常以真值前缀为条件（teacher forcing），推理时却要消费自己的输出，训练与推理的输入分布不一致即曝光偏差。文本模式下问题较小：反馈的输入无论对错都是词表内的 token，误差被离散空间「钳制」；潜模式则反馈未量化的连续向量 $\mathcal{R}(h)$，训练中从未见过，微小偏差会传播到下一隐状态并随几十至几百个潜步复利累积。
这是论文设计「自条件化两遍 SFT」的直接动机，不理解曝光偏差就无法理解 HybridSFT 为什么不能只做一遍 teacher-forced 训练。
残差适配器（Residual Adapter）
在主干网络旁挂一个带残差连接的小型 MLP，形如 $\mathcal{R}(h)=h+W_2\sigma(W_1 h)$，其中残差支路原样保留输入语义，学习部分只需拟合两个表示空间之间的「分布差」而非从零学完整映射，因此参数量小、训练稳定。LoRA、Adapter 等参数高效微调方法都体现这一思想。
HybridLink 正采用这种设计：残差支路保留 $h_t$ 的原语义，两层投影只负责把隐状态对齐到输入嵌入空间，约 $2d_h^2$ 参数（4B 模型仅 ~10M）即可完成桥接，消融显示残差连接平均带来 4.3% 提升。
研究动机
现代 LLM 智能体的一切行为都以文本为「通用语言」：内部推理要逐 token 解码成思维链，调用 Python、搜索引擎等工具要生成文本，工具返回的观察再以文本拼回上下文。论文实测，一个 8B 文本智能体平均每个实例要暴露约 596 个可见文本 token（14B 为 497 个），且完整推理轨迹更长；解码计算高达每题 62.5 TFLOP，折算约 $439/百万题（14B 为 66.9 TFLOP、$470）。另一条潜空间推理路线（Coconut、SoftThinking、SoftCoT）把中间推理保留在连续隐向量中，绕过逐 token 解码，效率更高，但有两大硬伤：(i) 连续潜向量没有原生的工具调用通道，无法在多轮智能体任务中与外部环境交互；(ii) 潜向量缺乏可读语义，训练时难以监督、推理时难以审计调试。后果直接反映在数字上：Coconut 在 GAIA 上平均仅 3.9%（8B），几乎不具备智能体能力；8B 潜方法在 WebWalker 上最高只有 1.0%。两条路线被「媒介」割裂——交互必须走文本、高效思考只存在于潜空间，智能体的推理深度与外部能力因此无法兼得。
本文的目标是论文的目标是构建一种「在潜空间思考、用文本行动」的统一智能体 HybridAgent：在单次自回归生成过程中动态切换两种模式——潜模式承担高效、可深化的内部推理，文本模式保留工具调用与外部可监督性。具体要解决四个子问题：(1) 架构上打通最后层隐状态空间与输入嵌入空间，使潜-文本双向转换无缝且不破坏预训练表示；(2) 多轮任务中完整保留「文本+潜向量+工具观察」交织的混合上下文，而不需要把潜思想转回文本重建；(3) 让潜思想可被直接检视——任意潜步都能读出人类可读的伪文本，使潜推理可审计、可调试；(4) 设计配套后训练算法：HybridSFT 稳定工具集成的混合生成，HybridRL 学习「何时潜空间思考、何时文本行动」。最终指标是在覆盖数学、科学、医学、知识密集搜索与高难智能体推理的 11 个基准、3 个模型规模上超越文本与潜空间基线，同时把 token 消耗降低 35.5%–54.7%、推理提速 1.8×–2.6×、成本降低 2.7×–3.7×。
与已有工作不同的是，已有潜空间方法（Coconut 等）直接把 $h_t$ 当作下一步输入 $e_{t+1}$，与预训练输入嵌入分布不匹配，且只在单轮、单次推理中运作，从未与工具调用和多轮上下文结合；智能体框架（ReAct、Search-o1、WebThinker）则完全以文本为中心，每个中间推理步骤都要「说出口」。HybridAgent 的独特切入有四点：(1) 不做硬替换，而是用轻量残差适配器 HybridLink $\mathcal{R}(h)=h+W_2\sigma(W_1 h)$ 把隐状态「桥接」回嵌入空间，只对齐分布差异；(2) 把 Transformer 自身的 KV 缓存升格为连续工作记忆，跨轮无损携带混合上下文（定理 A.1），而现有方法要么单轮、要么需 token 化重建；(3) 意外发现潜思想可经最近邻词表映射解码出可读伪文本，使潜推理「免解码却可检视」——此前潜方法普遍被视为黑盒；(4) 从理论上证明混合策略可完全分解到采样的文本位置上（Proposition 4.1），配合精确回放即可让 GRPO 式 RL 直接优化含潜步骤的轨迹（Theorem C.3），这是打通「潜推理智能体 + 强化学习」的关键一步。
核心方法
直觉上，HybridAgent 像一个「心里快想、口头慎言」的人：常规推理在心里完成（潜模式，每步只是一次骨干前向传播，不解码 token），只有关键决策、工具调用和最终答案才用文字表达。技术上，它在标准 Transformer 上扩展自回归接口支持双模式：文本模式按词表采样 token；潜模式把最后层隐状态 $h_t$ 经 HybridLink 映射为下一步输入 $e_{t+1}$，在连续空间做序列化循环推理。文本模式生成特殊锚点 即进入潜模式；潜模式中当 $\mathcal{R}(h_t)$ 的最近邻词表嵌入等于 （$\arg\max_{v}\cos(\mathcal{R}(h_t),\text{Emb}(v))$）时退出，返回文本。单轮轨迹形如 $[\text{text}]\ \langle\text{latent}\rangle\cdots[\text{tool\_call}]\,[\text{tool\_response}]$；文本、潜向量、工具观察全部经嵌入层或 HybridLink 映射到同一输入空间，其 KV 条目被持续累积为「工作记忆」$\mathcal{M}$，跨轮直接复用与追加（Figure 3），无需把潜思想转回文本重建上下文。训练分两级：HybridSFT 教会骨干与 HybridLink 协同、建立可靠工具使用；HybridRL 进一步学习两种模式的自适应分配。
核心创新有三点、环环相扣。第一，HybridLink 的残差桥接：$e_{t+1}=\mathcal{R}(h_t)=h_t+W_2\sigma(W_1 h_t)$，残差支路保留 $h_t$ 原语义，学习部分只需对齐分布差异（约 $2d_h^2$ 参数，4B 模型仅 ~10M）；消融（Table 6）显示残差连接平均带来 4.3% 提升，而完全不对齐的恒等映射在 MATH500 上只有 71.4 对 88.2。第二，自条件化 HybridSFT：潜模式把未经量化的连续输出 $\mathcal{R}(h)$ 直接反馈为输入，训练-推理失配比文本模式曝光偏差严重得多（Figure 11：错 token 仍落在训练见过的词表内，而连续偏差在几十至数百个潜步内复利累积），故采用两遍训练——第一遍 teacher-forced 生成潜输入，第二遍用模型自己的 $\mathcal{R}(h)$ 替换真值嵌入并联合监督，性能较仅激活 HybridLink 平均提升 30.5%，达到与标准文本 SFT 持平。第三，混合策略分解 + 精确回放：因潜步骤与模式转换由固定的 HybridLink 确定性产生（条件概率为 1），策略似然完全分解在采样文本位置上，$\pi_\theta(\tau|x)=\prod_{t\in\mathcal{T}}\pi_\theta(y_t|x,\tau_{<t})$，于是 GRPO 式 clip 更新即可给整条混合轨迹分配优势加权信用（Theorem C.3 证明梯度等价）——这是让潜推理智能体首次可用结果奖励 RL 规模化训练的理论钥匙。
方法步骤详情
全流程五步。(1) 混合数据构建（Figure 12）：把 54K 条现有多轮工具调用演示拆成原子步骤，用 LLM 专家判断 + 冻结基座模型的逐步熵 $H_s$ 双信号标注文本/潜模式（低熵步骤作潜目标，工具与关键决策留文本），独立 critic 做「可见性审计」补回决策关键步骤，合并相邻潜步、插入 / 锚点，并验证去掉锚点后逐字节还原原轨迹。输入是文本演示，输出是混合轨迹。(2) 格式激活：文本 SFT 一个 epoch，$\mathcal{L}_{Backbone}=\text{CE}(f_\theta(x),y)$，教会模型何时发出锚点。(3) HybridLink 激活：冻结骨干，用 $\lambda_{cos}(1-\cos(\mathcal{R}(h^{lat}),\text{Emb}(y^{lat})))+\lambda_{mse}\|\mathcal{R}(h^{lat})-\text{Emb}(y^{lat})\|_2^2$（$\lambda_{cos}{=}1.0$、$\lambda_{mse}{=}0.2$）回归训练一个 epoch。(4) 自条件化 SFT（Figure 4）：同一序列两遍前向，第二遍用第一遍产生的 $\mathcal{R}(h)$ 替换真值潜嵌入，文本位置交叉熵、潜位置回归联合更新（骨干 lr $7\times10^{-6}$、链接 lr $5\times10^{-5}$）。(5) HybridRL：在 12K 深推理 + 1K 搜索样本上以 GRPO 目标训练，rollout 批 512 条（64×8），奖励 $r=r_{correct}+r_{format}+r_{tool}$；组归一化优势后，回放时保持记录的潜输入 $z_i$ 不变、单次可微前向重算文本似然 $y_i$，对文本位置做 clip 更新（lr $1\times10^{-6}$，150–200 步）。推理时每潜跨度强制 16–256 步，工具上限 10 次，搜索取 top-10。
技术新颖性
与已有工作的本质区别：Coconut/SoftCoT/SoftThinking 只做单轮静态推理改进，无工具接口、无多轮记忆、潜状态不可读；ReAct/Search-o1/WebThinker 等框架完全文本中心。HybridAgent 是首个在「单次生成过程内部」以步级粒度切换文本/潜模式、且跨多轮携带混合上下文的智能体架构。技术新颖性有四：(1) 把 KV 缓存从加速技巧升格为统一工作记忆，承载无法分词重建的混合轨迹，并以定理 A.1 证明其与完整前缀重算等价（无损）；(2) 自条件化两遍 SFT 专门解决连续反馈特有的失配——文本模式误差有离散词表兜底，潜模式连续偏差无此保护（Figure 11），该分析本身有独立价值；(3) 混合策略分解定理与精确潜上下文回放，首次给含潜步骤的轨迹以严格合理的似然比 RL 更新，Theorem C.3 证明文本位置的 clip 梯度在 $\theta=\theta_{old}$ 处恰等于对完整混合轨迹的优势加权似然梯度；(4) 潜模式「免解码却可解读」：任意潜步可经 $\arg\max_{v}\cos(\mathcal{R}(h_t),\text{Emb}(v))$ 读出伪文本（Eq. 5），把潜推理从黑盒变成可审计对象——这一性质在既有潜推理工作中罕见，且被可读性/特异性指标（Eq. 19/20）系统评估。
实验结果
论文在 11 个基准、3 个规模（Qwen3-4B/8B/14B-Base）上评估，5 种子 std 仅 ±0.014–0.031。智能体推理（Table 1）：HybridAgent(14B) 的 GAIA 平均 52.4、WebWalker 49.5、HLE 16.0、SealQA-Hard 37.8、DSQA F1 46.8，超过同规模最强基线 ARPO（GAIA 43.7、WebWalker 40.5），也超过更大前沿模型（Kimi-K3 GAIA 41.7、GPT-5.6-Luna 37.9），平均超出最强智能体基线 17.4%。数学与知识任务（Table 2）：14B RL 后 AIME25 43.3、AIME26 45.8、MATH500 88.2、GPQA-D 55.1、MedQA 81.7、MuSiQue 34.5，均优于 GRPO/ARPO；SFT 阶段较文本/潜基线平均 +18.5%，RL 阶段 +10.4%。测试时扩展性（Figure 5）：pass@k（k=4→64）持续上升且增益大于 GRPO 文本智能体。训练消融（Table 3）：基座 4.9/3.0/47.0 → 格式激活 20.6/19.8/62.4 → 链接激活 23.8/22.5/73.8 → 自条件化 32.5/31.7/84.2（+30.5%），达文本 SFT 水平；潜可读性同步提升（Figure 8）。奖励消融（Table 4）：去掉 $r_{correct}$ 掉 6.4–17.8%，$r_{format}$ 掉 4.7–6.9%，$r_{tool}$ 使 GAIA 掉 11.2%。因果干预（Table 5）：跨题替换使 MATH500（8B）84.6→44.8，随机 token 替换→41.2，单步限制→72.2，禁入潜模式→80.4，而最近邻 token 替换几乎无损（82.6），证明模型功能性依赖潜语义与顺序。工具使用（Figure 10）：有效调用率 93.1%→97.5%、执行成功 99.7%、工具条件准确率高 2.2–44.1%。可审计性（Table 7）：文本 token 少 43–49% 情况下，弱监控 AUROC 0.840 vs 0.772、首错定位 98–99%、修复增益 +5.4/+9.1。效率（Fig 6/7、Table 9）：token 省 2.7×、步数最多省 54%、提速 2.1×，每百万题成本 $359→$98（4B）、$439→$121（8B）、$470→$176（14B）。4B（Table 8）同样超 ARPO 平均 2.0 个百分点。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| GAIA（智能体通用助理，三难度平均） | 准确率 (%) | HybridAgent(14B) 52.4；8B 43.7 | 最强同规模基线 ARPO(14B) 43.7；最强前沿模型 Kimi-K3 41.7 | 较 ARPO +8.7 点（约 +19.9%） |
| WebWalker（网页探索问答，三难度平均） | 准确率 (%) | HybridAgent(14B) 49.5；8B 42.5 | ARPO(14B) 40.5；GRPO(14B) 38.5 | 较 ARPO +9.0 点（约 +22.2%） |
| HLE（人类最后的考试） | 准确率 (%) | HybridAgent(14B) 16.0 | ARPO(14B) 10.0；ReAct 6.6 | 较 ARPO +6.0 点（+60%） |
| AIME 25（竞赛数学，avg@16） | 准确率 (%) | HybridAgent(14B-RL) 43.3 | ARPO 42.1；GRPO 40.8；标准文本 SFT 30.8 | 较 ARPO +1.2 点，较文本 SFT +12.5 点 |
| MATH500 | 准确率 (%) | HybridAgent(14B-RL) 88.2 | GRPO 87.4；ARPO 87.0 | +0.8–1.2 点，同时生成步数少 2.9× |
| GPQA-Diamond（专家级科学） | 准确率 (%) | HybridAgent(14B-RL) 55.1 | ARPO 54.0；GRPO 52.5 | +1.1–2.6 点 |
| MuSiQue（多跳问答） | 准确率 (%) | HybridAgent(14B-RL) 34.5 | GRPO 32.0；ARPO 31.5 | +2.5–3.0 点 |
| 推理效率（4B/8B/14B 对比匹配文本智能体） | token 消耗 / 推理时间 / 每百万题成本 | token −35.5%~−54.7%；提速 1.8×–2.6×；成本 $98/$121/$176 | 文本智能体 $359/$439/$470 | 成本降低 2.7×–3.7×，解码 TFLOP 减少 62.5%–72.9% |
局限与改进
作者承认或隐含的局限：(1) 现有推理引擎不支持多轮混合生成，需自行扩展 verl/vLLM（持久 KV、模式状态机），部署门槛高；(2) 成本分析（Table 9）只计解码计算，排除 prompt 预填充、上下文注意力与工具执行开销——潜步虽免词表解码但仍需完整骨干前向，长上下文时注意力成本不可忽略；(3) 评估依赖 GPT-5.6-Luna 做搜索摘要与判分、Tavily 做搜索，引入专有模型偏差与 API 成本；(4) RL 阶段 HybridLink 冻结，奖励不含模式使用项，潜/文本分配完全靠涌现，可能次优；(5) 实验限于 Qwen3 家族，跨基座泛化未验证。我自己的观察：(6) 潜伪文本可读性不完美——附录 J 的 MuSiQue 案例中潜读出有明显语病与乱码片段，「可解释」是近似而非精确；(7) 每潜跨度强制 16–256 步、工作记忆无淘汰机制，超长任务会遇到 KV 内存墙；(8) 与前沿模型的对比在不同后端与工具额度下进行，公平性有噪声；(9) 「供应商独占潜推理读出」的安全叙事是双刃剑：用户侧监督被削弱，需信任提供方内部审计，在开放生态中未必成立。
独立分析的弱点
(1) 工作记忆不可压缩：定理 A.1 的无损性要求保留全部 KV 条目，多轮长任务（如 DSQA 深度搜索）中 KV 随步数线性膨胀——改进方向：结合 KV 压缩/淘汰研究，给出「近似无损」的混合上下文压缩界，并实证其对潜语义的影响。(2) 潜步无细粒度信号：RL 只在文本位置更新，潜步骤内部缺乏步级信用分配，潜推理质量只能靠结果奖励间接塑造——可为潜跨度训练专门 critic，或利用可读伪文本做步级奖励模型。(3) 退出判据用最近邻余弦相似度（Eq. 5）是硬阈值，对嵌入几何噪声敏感，案例中已出现乱码读出——可改为学习型退出头、加置信度校准，或周期性「文本快照」自检。(4) 数据管线依赖 GPT-6.1-Sol/GPT-5.6-Luna 标注与熵启发式，模式分配质量决定上限且跨实验室难复现——可探索以下游任务反馈（如 RL 奖励）端到端优化模式分配策略。(5) 每潜跨度 16 步的硬下限缺乏自适应依据，简单问题可能浪费前向计算——可学习时长预测器或 early-exit 机制。(6) 效率对比中潜步按「一次完整骨干前向」计费是诚实做法，但未报告与投机解码、KV 量化等推理优化的叠加收益，实用部署的账还需细算。
未来方向
作者提出的方向：(1) 围绕潜工作记忆构建新一代 agent harness——上下文管理直接作用于 KV 条目、工作流按模式调度（工具调用与人工检查点留文本、常规计算留潜空间）、一个智能体的混合轨迹可直接作为发给另一个智能体的「消息」；(2) 更高效的后训练——因潜思想在 rollout 中可审计，外部 critic 可对潜跨度给步级信用、分支有希望的轨迹，或在潜推理已出错时于文本/工具调用产生前提前终止；(3) 安全部署——潜轨迹仅由供应商持有的 HybridLink 可读，天然防止 CoT 泄露（对比 Panfilov et al. 2026 的加密轨迹重放攻击），供应商可在完整读出上做安全监控，文本模式只留用户需要的关键步骤。基于本文成果可延伸的：(4) 把混合策略分解与精确回放推广到多智能体混合通信（附录 D 提到的潜+文本双通道协议），做协议级信用分配；(5) 与 KV 复用/压缩文献结合，研究混合上下文的跨请求缓存与检索；(6) 在更大骨干、多语言与多模态工具上验证扩展性；(7) 利用潜伪文本训练实时过程监控器，实现潜推理异常检测与对齐审计，把 Table 7 的离线监控扩展为在线护栏。
复现评估
代码已开源（github.com/togethercomputer/HybridAgent），基座为开源 Qwen3-Base 4B/8B/14B；训练数据来自公开数据集（ARPO 与 Yu et al. 的 54K SFT 源轨迹、12K+1K RL 样本），数据管线在附录 E/I 给出完整四步描述与全部提示词；超参数完整披露（Table 10–12：SFT 骨干 lr $7\times10^{-6}$、链接 lr $2\times10^{-4}/5\times10^{-5}$、RL lr $1\times10^{-6}$、批次 64×8、潜跨度 16–256 步）。主要障碍：(1) 算力——全部训练与推理在 32×H100 上进行，完整复现 SFT（3 epoch）+RL（150–200 步）成本高，但 4B 规模可低成本验证；(2) 工程——标准 verl/vLLM 不支持混合生成，需按附录 H.3 自行实现持久 KV 工作记忆与模式切换循环，工程量大；(3) 评估依赖 Tavily API 与 GPT-5.6-Luna 判分（专有模型），部分基准数字难以精确复现；(4) 论文报告 5 种子方差（std ±0.014–0.031，95% CI ±0.017–0.038），便于显著性比对。总体：代码与配置齐全，属「中等偏上」复现难度——复现性能趋势可行，精确对齐数字与效率指标需自建推理设施。
论文图表
在 100 道高难度数学与科学题上评估 pass@k（k=4,8,16,32,64）：三个规模的 HybridAgent 随采样数增加性能持续上升，且从额外测试时计算中获益多于仅用文本 RL 训练的 GRPO 智能体。
证明混合推理不牺牲甚至增强了测试时扩展性——这是衡量推理范式上限的重要性质，说明潜思考为采样多样性提供了额外自由度。
在共享 Qwen3-14B-Base 骨干上比较格式激活、HybridLink 激活、自条件化 HybridSFT 与 Coconut：横轴可读性（最近邻 token 余弦对齐）、纵轴上下文特异性（对源问题的 Jaccard 重叠相对其他问题之比，对数轴），阴影为「有意义区域」（超出 2000 个高斯噪声参考阈值且特异性 >1）。自条件化后潜跨度大量落入有意义区域，远超 Coconut 与噪声基线。
把「潜思想可读」从轶事变成可测量的指标，并证明自条件化训练同时改善性能与可解释性，是论文可审计性主张的量化基石。