TTPO：测试时策略优化 TTPO: Test-Time Policy Optimization

完整流程见 Algorithm 1。(1) 伪标签化：每题 K=64 条采样提取答案、聚类等价类得伪标签 $\hat{a}$ 与正/负划分；从 K 条中选 8 条进训练批——固定 50/50 配比、优先最短轨迹（梯度只更新前 1,024 token，短轨迹的关键推理更可能落在窗口内）。(2) 教师与学生前向：教师以 $[x;\hat{a}]$ 加思考模板前向得 $q_t$（no grad），学生以 $x$ 前向得 $p_t$（with grad），共享补全 $y_{<t}$。(3) OPSD 分支：$\mathcal{L}_{OPSD}=\frac{1}{T_k}\sum_t w^{(t)}\,\mathrm{KL}(q_t\|p_t)$，$w^{(t)}$ 由学生熵 $H^{(t)}$ 与师生散度 $\Delta^{(t)}$ 归一化后 Soft-OR 合成。(4) GRPO 分支：二值奖励 $r_k=\mathbb{1}[a_k\equiv\hat{a}]$，全组 K 条算组相对优势使负样本 $A_k<0$；token 得分 $s^{(t)}=-\log p_\theta(y_k^{(t)})\cdot(1-\hat{H}^{(t)})$，取中位数以上为掩码 $m^{(t)}=\mathbb{1}[s^{(t)}\ge\mathrm{median}(s)]$；$\mathcal{L}_{GRPO}=-\frac{1}{|N|}\sum_{k\in N}A_k\sum_t m^{(t)}\log\pi_\theta(y_k^{(t)}|x,y_{<t})$。(5) 更新：$\theta\leftarrow\theta-\eta\nabla_\theta(\mathcal{L}_{OPSD}+\lambda\mathcal{L}_{GRPO})$，$\lambda=0.1$，LoRA r=64/α=128 全线性层，AdamW lr $5\times10^{-6}$，批大小 32，共 100 步。

技术新颖性体现在四点。第一，路由机制的标签无关性：已有的蒸馏与 RL 混合工作（样本路由、辅助蒸馏损失、优势缩放等）都假设真实标签可用，TTPO 是首个在无标签 TTT 下把 OPSD 与 GRPO 按一致性路由的方法，且路由信号（是否属于多数簇）比伪标签内容本身更鲁棒。第二，失败模式的系统化定量：论文不只提出设计，还用消融把两种错误用法各自定价——FKL 用于负样本（43.9）与全量 FKL（46.3） quantify 了冲突项 $\Delta_{\text{conflict}}$ 的伤害，GRPO 用于正样本（37.2）量化了伪标签错误反转更新的风险，形成完整的设计空间地图。第三，双分支 token 级选择的首创组合：借鉴 TIP（蒸馏端按熵与散度选 token）与 STAPO（RL 端屏蔽低概率低熵 token）的洞察，但将'降权已收敛位置'与'只罚自信错误'统一进一个目标，消融显示两者互补（去掉后 AIME26 分别掉 3.2 与 1.1 点）。第四，自我进化机制的实证刻画：追踪训练中的 Avg@12 与 Maj@12，证明多数投票生成的监督会随模型提升而变好、二者互相抬升，最终超过用真实标签训练的 TTPO w/ GT（45.8 vs 更低），挑战了'更完美的标签必然更好'的直觉。

独立分析的弱点：(1) 采样与算力成本——TTT 在线采样 K=64×16,000 token，教师还需额外思考模式前向，训练用 4×H20 共 100 步；改进方向：用一致性早停减少 K、缓存教师前向、或蒸馏一个轻量投票器近似多数投票。(2) 对通过率区间的敏感性——伪标签错误率 85% 时仍有效依赖负样本惩罚的标签无关性，但当通过率升高后 GRPO 支优势趋零、系统退化为近 OPSD，非思考增益 +36.4 已接近饱和；改进方向：按共识度或实时通过率自适应调度 λ 与分支权重，让 RL 支在能力提升后转向更细粒度的失败定位。(3) 答案等价判定的隐藏脆弱——聚类用数学等价性，若输出格式不一致（分数/根式/小数），正确答案簇会被分裂导致伪标签与划分同时出错；改进方向：引入形式化验证器（SymPy 多表示归一化）或对等价置信度低的问题跳过训练。(4) 1,024 token 梯度窗口与'选最短轨迹'的偏差——关键推理常发生在链条后段，最短轨迹可能对应跳步或简单化的推理，选择策略引入分布偏移；改进方向：分段训练、关键 token 滑窗，或把梯度窗口外的 token 用压缩/摘要方式纳入监督。(5) 自强化的鲁棒性风险——模型在自身生成的数据上迭代训练，若早期伪标签错误被强化（correct-answer extinction 类失败），缺乏外部校准；改进方向：低共识回退机制、保留小规模验证集做早停、或对 Maj@12 停滞设置熔断。

未来方向。作者明确提出的：(1) 低共识自适应——投票共识度低时调整正负配比或回退纯 RL，缓解极端难题下的信号退化；(2) 域扩展——把框架搬到代码生成（执行反馈天然可验证，与 TTPO 的奖励结构契合）与开放式推理（需学习型奖励模型替代答案等价判定）；(3) 动态课程——随训练进程调整 RL 权重 λ 与正负比例。基于成果可延伸的：(4) 自进化理论化——Figure 6 显示 Maj@12 与 Avg@12 互相抬升，可建立'投票质量-模型能力'联合收敛的动力学模型，预测饱和点并指导何时停止训练；(5) 跨域伪标签——用语义聚类（嵌入相似度或 NLI）替代数学答案聚类，把非对称框架迁移到分类、信息抽取等可自动判等任务；(6) 训练-推理开销联合优化——TTPO 提升后的模型可用更少采样达到相同 Maj 水平，研究在给定算力预算下'多采样 vs 多训练'的最优分配；(7) 智能体与多模态场景——非对称惩罚天然适配动作序列中'定位错误动作'的问题，可结合作者团队此前的 TTRL-GUI、agentic RL 工作扩展到 GUI 操作与工具调用；(8) 理论深化——对 $\Delta_{\text{conflict}}$ 随训练的演化、token 掩码 top-50% 的偏差-方差权衡、以及 Soft-OR 权重的最优形式给出更严格的保证。

复现评估：代码已开源（https://github.com/ZJU-REAL/TTPO），附录 A 给出完整配置（Table 5/6）：LoRA r=64/α=128 作用于全部线性层，AdamW、bf16、Flash Attention 2，学习率 $5\times10^{-6}$，有效批大小 32，TTPO 训练 100 步（GRPO/TTRL 500 步），全词表 logit 蒸馏，教师固定为关闭 LoRA 的基础权重（学生关思考/教师开思考），采样温度 1.1、top-p 0.95、top-k 20，最大采样长度 16,000 token，梯度窗口 1,024 token，JSD clip τ 按 1.7B/4B=0.05、8B=0.06 区分；评估 Avg@12、温度 1.0、最长 38,912 token。算力方面 TTPO 用 4×H20（其余方法 8×H20），是复现的主要门槛，可尝试以 8×A100-80GB 等价替代但需重新验证吞吐。提示模板（附录 B）与 token 级选择可视化案例（附录 C）完整给出，数据（AIME/HMMT/BRUMO、OpenThoughts）均公开。总体复现难度中等偏上：主要不确定点是多数投票的'数学等价性'实现细节（论文未说明用什么工具判等，这直接影响伪标签质量）与教师提示模板的敏感性（Table 4 显示轨迹式特权信息会掉 5+ 点，措辞影响大）。建议路线：先在 Qwen3-1.7B + AIME26 单基准复现 TTT 训练曲线（对照 Figure 5 左的 45.8/42 级别），确认伪标签管线后再扩展全表。