何时思、何时言：面向大语言模型推理的披露策略学习 When to Think, When to Speak: Learning Disclosure Policies for LLM Reasoning

方法可拆为四步。第一步是数据构造（entailment-aligned SFT数据）：给定一个标准 $(x, r, a)$ 三元组（提示、推理、答案），先用固定分隔符 $\Delta \triangleq \text{``}\n\n\text{''}$ 把 $r$ 和 $a$ 分别切成块 $\mathcal{R} = [r^s_1,\dots,r^s_{K_R}]$ 和 $\mathcal{A} = [a^s_1,\dots,a^s_{K_A}]$；然后对每个 $k \in \{1,\dots,K_R\}$ 调用GPT-OSS-120B作为蕴含判别器，按『无新推导』约束（No-New-Derivation constraint）判断 $R_{1:k}$ 最多支撑到 $\mathcal{A}$ 的哪一段，得到 $\tilde\ell_k$；为了对付LLM判别器的非单调噪声，做一次 $\ell_k \leftarrow \max(\ell_{k-1}, \tilde\ell_k)$，并在末尾强制 $\ell_{K_R} = K_A$ 作为兜底。第二步是interleaving轨迹生成：扫描 $k=1,\dots,K_R$，每次只emit新解锁的回答增量 $\Delta\mathcal{A}_k = \mathcal{A}_{\ell_{k-1}+1:\ell_k}$，并合并相邻的推理块以避免过度碎片化；最终得到 $S=(x, r^{(1)}, a^{(1)}, r^{(2)}, a^{(2)}, \dots, r^{(N)}, a^{(N)}, [r^{(N+1)}])$，其中 $r^{(N+1)}$ 是答案已完整后剩余的『自我检验』段，作为可选尾块保留下来。第三步是SFT：约33万个去重后的DeepMath/OpenMathReasoning/OpenThoughts样本，用全局batch size 2048、最大packed length 32768、学习率 $2 \times 10^{-4}$、AdamW 优化器，训练模型学会think/speak双动作语义；这一步模型会学到正确切分节奏但准确率会从70%+掉到40%以下，因此进入第四步。第四步是GRPO恢复：用DAPO数据集17k prompt、组大小 $G=16$、prompt batch size 32，按GRPO的outcome-only奖励 $R_i = g(a_i) \in \{0,1\}$（即答案对错）做策略优化；同时开启variance filter剔除全对或全错的低信号组；可选地加入QP重塑的granularity shaping（最小化最大思考块长度、保持正确性约束 $\epsilon=0.5$）以增加交错粒度。整个pipeline的输入是标准prompt和原始 $(r,a)$ 监督，输出是一个能自主做think/speak决策的单模型，无需改推理引擎。

技术新颖性集中体现在三个机制上。(1) 蕴含对齐的SFT数据构造：通过显式的 $E(x,R_{1:k},A_{1:m})$ 谓词和单调化处理，把『披露必须被推理支撑』这件事从论文里的口号变成了数据层面的硬约束；这是一种『结构化监督』思路，相比L1等只在奖励端做长度惩罚的方法，能够从源头避免filler学习。(2) 双通道但单context的形式化：把channel action $c_k \in \{R, A\}$ 提升为一类独立policy $\pi_\phi(c_k\mid\Sigma_{k-1})$，并明确它的『可见前缀单调性』 $\Gamma_k \preceq \Gamma_{k+1}$（公开前缀只会增长，不会回退）；这种formalization让后续分析（如『首次公开时间 $k^\star$』和『内容延迟统计量 $g(\tau)$』）有清晰的数学抓手，而已有的Streaming-Thinking等工作停留在启发式描述阶段。(3) 两阶段训练分工明确：SFT教『格式』（双动作切分），RL教『策略』（何时切、切多长），并且RL只用了outcome-only奖励——这意味着RL不提供任何结构激励，纯粹靠『用新格式继续推理』自然涌现出对延迟和准确率的trade-off。这一点和以往『用结构化奖励调结构』的做法形成鲜明对比，更接近『先学形式、再用任务奖励自优化』的简化RLHF范式。整体新颖性可以总结为：用一个轻量的格式包装把『何时说』从模板问题转化为策略学习问题，同时用蕴含对齐作为唯一的安全护栏。

独立分析后我认为以下几个弱点值得改进。第一，『RL阶段只对准确率敏感、不对延迟敏感』：当前RL奖励仅 $R_i = g(a_i) \in \{0,1\}$，不显式惩罚长AIRW，这意味着如果用户对延迟敏感度很高，可能需要再叠加一层延迟奖励（但要小心避免重新引入filler风险）；改进方向是设计一个『discriminative content latency reward』——只有当披露的块包含任务相关token（如候选答案）时才计为正信号，否则不计，从而把『earlier substantive disclosure』和『earlier any disclosure』区分开。第二，『 $\ell_k$ 对齐噪声未量化』：蕴含判别器的错误会直接影响SFT数据质量，但论文没有给出『如果 $\ell_k$ 有10%误差，模型行为如何』的鲁棒性实验；改进方向是补充controlled noise ablation，以及引入小模型（如专用NLI）的cascade方案，cascaded过滤后再喂给LLM判别器。第三，『双通道但单context』的设计假设所有R标签都被识别为不可见，但当前格式只靠轻量级标签（论文未给出具体tag语法细节）；如果推理框架做token-level visibility控制（如vLLM的prefix caching），需要明确哪些前缀需要mask，工程实现细节缺失是落地痛点；改进方向是给出reference实现并开源。第四，『4B和30B-A3B在OOD benchmark上的差异未解释』：4B模型GPQA提升30.3pp而30B模型只提升5.7pp，说明SxS对小模型的灾难性遗忘更有效，但原因可能是小模型更容易在SFT阶段被『双通道格式』重新校准，也可能是RL数据量、组大小等超参差异，没有进一步控制变量实验。改进方向是在固定RL budget下做controlled model scale实验。第五，『format迁移到其他后端』未验证：本文只在Qwen3两个架构上实验，没有验证SxS能否零样本迁移到Llama、DeepSeek等其它模型的post-trained版本。

作者在第5节和F节给出的方向有四个值得继续推进：(1) 把120B蕴含判别器替换为更小、更可控的NLI模型，或通过distillation/cascade降低预处理成本；(2) 探索更丰富的『披露效用』目标，例如对『早披露可验证的中间结果』额外奖励，对『早披露不确定结论』额外惩罚，让disclosure policy与uncertainty calibration结合；(3) 做更针对性的失败模式分析——unsupported early disclosure、rationale-answer inconsistency等。基于本文的成果可以延伸出另外几条：(a) 把SxS与『可中断推理』（Are Large Reasoning Models Interruptible? Wu et al., 2025）结合，研究用户中途插入新指令时think/speak如何重新对齐；(b) 把SxS用于multi-turn对话场景，研究上一轮的public commitment如何作为下一轮 $\Sigma_k$ 的一部分被条件化，从而把『单轮披露策略』升级为『跨轮承诺管理』；(c) 与speculative decoding或streaming inference结合，看SxS对TTFT和E2E延迟的联合影响；(d) 把SxS从thinking-only模型扩展到agentic LLM，研究工具调用结果作为A-block嵌入交错流的可行性。

复现评估分四方面。开源码与权重：论文正文未明确声明是否开源GitHub仓库或发布checkpoint，仅提供项目主页 https://drivedreamer-policy.github.io/2026 （疑似错放链接，应为SxS项目页），正文没有给出代码地址，因此完整复现需自行实现整个数据构造、SLIME框架集成和Qwen3后训练流程；这一点对中小团队是不小的工程门槛。数据可获得性：SFT数据来源DeepMath、OpenMathReasoning、OpenThoughts均为公开数据集（合计约33万样本），RL数据DAPO 17k样本公开；评估benchmark AIME25/GPQA-Diamond/LCB/KOR-Bench均公开；但蕴含判别器依赖GPT-OSS-120B，需要GPT-OSS的访问权限或本地部署（120B级别模型对显存要求很高）。算力需求：训练用Slime框架（SGLang rollout + Megatron分布式训练），30B-A3B模型Standard CoT训练360步 + SxS额外120步recovery，4B模型480步+120步recovery；按论文超参（global batch 2048、prompt batch 32、组大小16、最大长度40,960）粗略估算至少需要几十张A100/H100级别GPU；GPT-OSS-120B作为蕴含判别器还需要额外的推理算力或调用API成本。复现难度：技术栈涉及Qwen3后训练、SFT+GRPO两阶段、SGLang+Megatron分布式、以及复杂的Python pipeline，工程门槛高于普通SFT/RLHF任务；论文给出了Algorithm 1伪代码、超参表（Table 3）、notation reference（Table 4）和一个详细的entailment prompt（Appendix B.1），是较为完整的implementation spec，但形式化标签语法（如R、A的具体token形式）在正文没有明示，需要从开源Slime的实践反推。综合看，顶级实验室可以复现主要数字（如AIME25 4B 80% / AIRW 8519），但中小团队可能需要先实现轻量版本。