HeavySkill:把"重度思考"作为智能体编排框架中的内化技能 HeavySkill: Heavy Thinking as the Inner Skill in Agentic Harness

完整的 heavy thinking 流程分四步: (1) **并行推理**:对输入问题 $q$,用 $\pi_\theta$ 在 temperature=1.0、top_p=0.95、top_k=10 的采样下独立生成 $K \in \{8, 16\}$ 条完整推理轨迹,每条轨迹的 thinking 阶段和 answer 阶段都被记录下来,不进行任何中间通信。 (2) **序列化记忆缓存**:把 $K$ 条轨迹按 "# ----- Thinker #i -----\n\n{y^i}\n\n" 的格式拼接成单个字符串 $x_c$,并在拼接前对轨迹顺序做随机打乱以防审议模型对位置产生偏置,具体 prompt 模板见图 7。 (3) **序列化审议**:用 $\pi_\phi$ 读取 $x_c$,按图 7 中的 prompt 模板生成 $K^{(1)}=4$ 条审议总结,审议模型被要求先做"答案分布 + 推理质量分析",再产出符合目标域格式的最终答案(数学用 $\boxed{}$)。默认 $\pi_\theta = \pi_\phi$,即两阶段用同一模型。 (4) **可选迭代审议**:若设定迭代次数 $N \geq 2$,则把第 $t-1$ 轮的审议结果拼接回 $x_c$,得到 $x_c^{(t)} = T_{\pi_\phi}(x_c^{(t-1)}, K^{(t-1)}) \,||\, x_c^{(t-1)}$,继续审议,实验中 $N=4$ 即可看到 HM@K 单调上升但 HP@K 下降。整条流水线随后被改写为 Skill 文档(HeavySkill.md,见图 8-10),由 orchestrator 在 inference 时以 in-context learning 方式直接执行。

技术新颖性体现在三个层面。**机制层**:首次系统刻画了"并行推理 + 序列化审议"的二维可扩展性——宽度 $K$ 提升探索多样性,深度 $N$ 提升审议迭代,但二者存在权衡(深度增加会让 HP@K 因累积噪声而退化)。**系统层**:把整套流水线压缩为单文件 Markdown Skill,使任何支持 sub-agent 派生的 harness 都能复用同一文档,无需修改模型或框架代码,这是"框架无关的可移植推理"的具体实现。**学习层**:用 VeRL + GSPO 算法在 Skywork-OR1/DAPO/DeepScaler 数据上对 R1-Distill-Qwen-7B 做 RLVR,验证 heavy thinking 模式可作为整体被优化;训练前 100 步 HM@4 即可再涨约 10 个百分点,但 $K=16$ 配置在 100 步后出现 entropy collapse,提示序列化长度存在训练瓶颈。

**计算成本高**:Heavy-Mean@K = (K 并行推理 + K^(1) 审议)× LLM 调用,在 K=8、K^(1)=4 时约为单次推理的 12 倍成本,AIME25 这种题量下评估本身就消耗大量 token,需要进一步研究如何用 early-exit 或轨迹压缩降低开销。**审议模型选择缺乏理论指导**:作者实验性地发现"审议不依赖顶级推理能力,但综合分析能力很关键",但没有给出如何自动化选择 $\pi_\phi$ 的原则,实践中只能靠试错。**迭代审议 HP@K 退化**:深度扩展反而压低峰值,这与"重思考应该越深越好"的直觉相悖,需要在审议 prompt 中加入显式的"遗忘机制"或"置信度阈值"以抑制噪声累积。**Skill 文档对弱模型不友好**:HeavySkill.md 的 prompt 模板(图 8-10)要求审议模型完成分类、批判、重新推导等多项任务,弱 LLM(如 7B 蒸馏模型)在面对 8 条以上轨迹时容易丢失细节,需要在 Skill 中加入 chunked reading 或 evidence extraction 中间步骤。**评测偏英文 STEM**:中文数学、自然语言推理、跨语言代码生成均未覆盖,缺乏多语言泛化证据。**RLVR 训练不稳定**:K=16 在 100 步后熵崩塌,作者归因于序列化长度,但未尝试用 sliding window 或层次化审议来缓解。

**作者提出的方向**:进一步把 RLVR 应用于 heavy thinking 的整条轨迹(包括并行采样阶段),探索 heavy-mode-aware RL 是否能进一步把 HM@4 与 HP@4 同时推高,突破单次推理的内在边界。**基于成果可延伸的方向**:(1) 把审议模型替换为经过专门"批判性合成"SFT 的小模型,在不损失审议质量的前提下降低单条审议的开销;(2) 把审议阶段拆成"证据抽取 + 答案合成"两段,前者用规则或检索,后者用 LLM,以提高对长轨迹的可处理性;(3) 把 HeavySkill 扩展到多模态(图像、音频、视频)任务,审议模型可对比不同模态的轨迹;(4) 引入 verifier head(类似 PRM)替代审议模型,使审议过程可微并能直接参与 RL;(5) 在工业级 agentic harness(Claude Code、Cursor Composer)中进行 A/B 部署测试,量化真实业务场景的 ROI;(6) 研究审议阶段的"早停准则",根据候选答案分布的熵决定是否需要进入下一轮迭代,避免 $N$ 过大时引入噪声。

**开源情况**:作者在脚注声明代码仓库 https://github.com/wjn1996/HeavySkill 已开源(预印本时间 2026 年 5 月),包含 HeavySkill.md 技能文件、Python pipeline 实现和评测脚本。**数据**:评测集全部为公开基准(AIME25、BeyondAIME、HMMT25-Feb、GPQA-Diamond、LiveCodeBench、Arena-Hard、IFEval、IMO Answer Bench、LiveCodeBench 24.08-25.05),RLVR 训练数据来自 Skywork-OR1、DAPO、DeepScaler 三个开源项目,均无需额外申请。**模型**:覆盖开源 (R1-Distill、Qwen3、DeepSeek、GPT-OSS、Kimi K2、GLM 4.6) 与闭源 (GPT-5-Thinking、Claude 4.5 Thinking、Gemini-3 Pro Preview) 两类,闭源模型通过官方 API 调用。**算力**:并行推理 + 审议需要 K=8~16 次 LLM 调用,在 7B 模型上单次完整评估约需数小时 8×H100/GPU 级别算力;RLVR 训练使用 VeRL 框架,在 R1-Distill-Qwen-7B 上完成 K=8 与 K=16 两组实验。**复现难度**:中等。技术细节(图 7 的 prompt 模板、图 8-10 的 Skill 文档、序列化打乱策略、审议 prompt 的四点要求)都已完整公开,但审议质量强烈依赖 prompt 的措辞细节,微小的措辞改动可能导致结果出现 1-3 个百分点的波动;此外闭源模型的版本号、采样参数(temperature=1.0、top_p=0.95、top_k=10)需严格对齐。