特权信息为在线策略自蒸馏带来了什么 What Does Privileged Information Add to On-Policy Self-Distillation?
构建答案匹配六视角数据集，发现OPSD收益主要来自蒸馏本身，特权参考的额外增益很小且依赖训练轨迹
前置知识
在线策略蒸馏与自蒸馏（On-Policy Distillation / OPSD）
传统蒸馏让学生模仿教师生成的静态文本，而在线策略蒸馏让学生先自己生成回答，教师再在学生实际访问到的每个前缀状态上给出下一词分布，学生据此更新。OPSD 是其自监督变体：教师不是更大的外部模型，而是同一模型的冻结副本，但教师可以看到题目答案或完整解题过程等特权信息，学生只看题目。损失通常是在学生采样出的补全上计算教师到学生的前向 KL 散度。
全文的问题设定就是 OPSD：参考的价值必须通过'帮助教师在学生自己的尝试上给出更好的反馈'来体现，理解这一机制是读懂论文分离'蒸馏收益'与'参考收益'的前提。
特权信息学习（Learning Using Privileged Information, LUPI）
Vapnik 与 Vashist 在 2009 年提出的学习范式：训练时可以使用推理时无法获得的额外信息（如标准答案、专家注释），这些信息帮助学习但不进入推理。Lopez-Paz 等人进一步把蒸馏与特权信息统一为同一框架。在 LLM 语境下，给条件化教师提供参考解法，就使额外上下文成为监督信号来源，而无需更强的独立教师。
论文标题与核心问题正是'特权信息增加了什么'——即参考内容的完整性对最终学生能力的边际贡献是否为正、有多大、何时存在。
前向 KL 散度与逐项截断
OPSD 损失为 $\mathcal{L}_v=\mathbb{E}_{x,y\sim\pi_\theta}\frac{1}{|I(y)|}\sum_{t\in I(y)}D_{\mathrm{gKL}}(p^T_{v,t}\|p^S_t)$，即在监督位置上最小化教师到学生的前向 KL；本文沿用 GKD 的实现，把每个词表项的 KL 贡献在求和前从上方截断于 0.05，以避免单点极端值主导梯度。求导时教师分布与采样的补全被视为固定。
论文的损失窗口干预（First-4K、Distributed-1K）与标记损失放宽都是对这个目标的支撑集 $I(y)$ 与逐项权重做手术，不知道损失结构就无法理解这些干预在改什么。
混合推理模式（thinking vs direct-response）
Qwen3、SmolLM3 等模型可在两种推理模式间切换：thinking 模式先生成长链推理再给答案，direct-response（无思考）模式直接作答。两种模式共享同一套参数但行为差异巨大（基座 direct 正确率 40.23% vs thinking 82.16%，就 SmolLM3 而言）。所谓跨模式蒸馏，就是 thinking 教师给 direct 学生的 rollout 打分。
论文的关键发现是跨模式迁移：即使没有任何参考，thinking 教师监督 direct 前缀也能改善 thinking 评测，这解释了为何参考增量很小；训练轨迹反转实验也正是通过切换学生的 rollout 模式实现的。
LoRA 低秩适配
LoRA 冻结预训练权重，只训练注入到注意力与 MLP 投影层的低秩矩阵，参数量远小于全参微调。本文设置 r=64、$\alpha=128$、dropout 0，覆盖 query/key/value/output/gate/up/down 投影，有效 batch 32、学习率 $5\times10^{-6}$、AdamW、共 100 个优化步。
所有训练都是短程 LoRA 训练，这既限定了结论的适用范围（作者自己承认），也决定了复现成本很低；理解 LoRA 才能正确解读'100 步内'的时间尺度。
问题聚类 Bootstrap 与 Holm 校正
以题目而非样本为推断单元，对题目做 10,000 次重采样构造配对效应的 95% 百分位区间；同一重采样索引数组在比较条件间复用以保持配对性。Holm 校正是一种控制多重比较族错误率的方法，对六个视角-对照比较等预设比较族逐级收紧显著性阈值。
论文大量结论依赖这套统计：例如 CLEAN SOLUTION 领先 reference-free 的 +1.30 点区间虽不含零，但经 Holm 校正后不显著——不做校正就会得出错误结论。
研究动机
OPSD 的卖点是：给教师的冻结副本一份学生看不到的参考（答案或完整解题过程），就能不依赖更大的外部教师来提升模型，直觉上参考越完整、学生能学的越多。但这一假设从未被严格检验，且近期研究不断出现反常信号：Shrestha & Tessier 以及 Ichihara 等人发现在没有参考、甚至参考来自其他题目时仍能得到有用监督；Zhao 等人发现结构化提示可以胜过完整解答；Kaur 等人报告 thinking 模型在自蒸馏中退化并归因于重新考虑行为被抑制。这暴露出一个方法论缺陷：几乎所有工作只报告'相对基座模型的提升'，而这个提升可能来自在线蒸馏机制本身（thinking 教师对 direct 学生前缀的跨模式评分），与参考内容几乎无关。若不把两者分开，'参考越详细越好'之类的数据选择建议就缺乏依据，社区在构造特权监督时仍在盲目堆砌动辄数千 token 的完整 trace（AMPLE-MATH 中 FULL TRACE 平均 4,916 token，是 ANSWER ONLY 的 378 倍）。
本文的目标是本文的目标是把'特权参考的贡献'从'蒸馏本身的收益'中干净地分离出来，并回答三个递进问题。第一，在同一验证答案、不同推理表示（从 13 token 的 ANSWER ONLY 到 4,916 token 的 FULL TRACE 共六个视角）之间，参考的完整性是否带来一致的额外增益？第二，参考的贡献如何随训练进程（step 50 vs 100）与学生训练轨迹（direct-response 还是 thinking-enabled rollout）变化，在 Qwen3-1.7B 与 SmolLM3-3B 两个家族上是否一致？第三，教师评分在学生回答上到底鼓励了什么——正确响应是否获得更有利的概率偏移（正确性对齐）、wait/but/check 等重新考虑标记是否被抑制、KL 监督在时间上如何分布——其中哪些监督层面的变化真正转化为学生行为的改变？为此作者构造可复用的 AMPLE-MATH 套件，以 reference-free 蒸馏为零点做配对比较，以 thinking-enabled 评测为主要结果。
与已有工作不同的是，独特切入角度有四点。其一，答案匹配设计：六个视角共享同一个经核验的答案，只变化推理的表示形式与长度，从而把'答案可用性'固定、单独操纵'推理表示'，此前的对比研究没有做到这一点（它们同时改变题目与答案信息）。其二，把对照从'基座模型'换成'reference-free 学生'：由于 OPSD 中教师是对学生自己生成的前缀打分而非提供模仿文本，即便没有任何参考，thinking-enabled 教师监督 direct-response 学生的跨模式不对称依然存在——这一渠道此前被混在 PI 收益里报告。其三，诊断与干预结合的方法论：先用固定学生前缀上的 profile（正确性对齐 $C_v$、修正压力 $F_v$、KL 时间分配）提出可检验的解释，再用匹配 checkpoint 的训练干预验证，避免把'监督变了'误当成'学生行为变了'，并以 Holm 校正和同步骤对比剔除早停等伪效应。其四，把参考的'相关性'与'完整性'解耦：用等长但错题的参考测相关性，用截断但同题的参考测完整性。
核心方法
直觉层面：如果参考的作用是帮教师理解题目、从而对学生尝试给出更高质量的反馈，那么参考的价值应该体现在反馈质量的提升上，而不是'泄露'了多少解法——因为学生学会的是自己从题目直接作答。因此最有说服力的检验是：固定题目、验证答案与全部训练配置，只改变参考的推理表示，并始终与'无参考蒸馏'配对比较。技术路线上，教师是冻结的、thinking-enabled 的骨干模型 $\pi_{\bar\theta}$，读入题目 $x$、特权视角 $z_v(x)$ 和学生前缀 $y_{<t}$ 后输出分布 $p^T_{v,t}$；学生 $\pi_\theta$ 从同一骨干出发，只看题目，以 direct-response 模式生成至多 1,024 token 的 rollout；在监督位置 $I(y)$ 上最小化逐词表项截断于 0.05 的前向 KL $\mathcal{L}_v=\mathbb{E}_{x,y\sim\pi_\theta}\frac{1}{|I(y)|}\sum_{t\in I(y)}D_{\mathrm{gKL}}(p^T_{v,t}\|p^S_t)$。主协议是 direct-response 训练加 thinking-enabled 评测（这一不对称本身构成跨模式自蒸馏），另以 SmolLM3-3B 做跨家族复核。所有结果输出为相对冻结基座或相对 reference-free 学生的配对增益，用问题聚类 bootstrap 给出区间。
核心创新是'答案匹配的六视角套件 + 以 reference-free 为零点的增益分解 + 监督诊断与行为干预的闭环'。与已有工作的本质区别有三。第一，以往比较参考类型时答案信息也在变，AMPLE-MATH 让六视角共享同一验证答案，参考之间唯一系统性差异是推理表示（长度从 13 到 4,916 token），于是'更多推理内容'的边际价值第一次可以被干净测量。第二，以往把蒸馏收益与参考收益合并报告，本文把任何参考的价值定义为相对无参考学生的配对增量，从而发现 Qwen3-1.7B 的大部分提升无需任何参考即可获得，甚至错误答案对照也有效（域内 +1.67），这从根本上重写了 OPSD 的收益归因。第三，本文指出 OPSD 的参考必须作用于学生自己的前缀，因此参考效应与学生训练轨迹耦合：同一参考在 direct-response 训练下带来增益、在 thinking-enabled 训练下变成损失（第 50 步域内配对差 −7.60 点），这种'反转'现象是全新观察。再加上'profile 提出假设、匹配 checkpoint 的干预证伪'的闭环（例如更宽损失覆盖的表观收益 76% 来自早停），本文把 OPSD 研究从刷增益推进到做归因。
方法步骤详情
第一步，构造 AMPLE-MATH：从 OpenThoughts-114k 过滤出答案可验证、trace 与答案一致、长度不超过 16,384 token 且与 MATH-500/AIME 2024/JEEBench 无重叠的 5,480 题；要求六视角齐全、通过表面校验与 Qwen3.6-35B-A3B-FP8 的保真审查（检查无根据断言、反向构造推理、置信度升级），最终保留 5,319 题、共 31,914 条监督记录；用 8–16 个纯题目样本与三个评估模型加二项 Rasch 模型标注难度；按冻结 Qwen3-1.7B 四次 direct-response 采样成功数分为 0/4、1–2/4、3–4/4 三带，等额切成 train 1,536 / dev 192 / test 384。第二步，训练：LoRA（r=64、α=128）、有效 batch 32、学习率 $5\times10^{-6}$、AdamW（β2=0.999）、rollout 与损失温度 1.1、100 步，检查点存于 0–100 共 11 处；输入为题目，输出为学生 rollout（direct 上限 1,024 token，thinking 上限 20,764），教师侧输入额外拼接视角 $z_v(x)$。第三步，评测：域内 384 题每题 4 样本 Avg@4（16,384 token 预算、封顶响应同种子再生，预算扩至 32,512）；外部 AIME 2024/2025 与 HMMT 2025 共 90 题每题 12 样本 Avg@12；10,000 次问题聚类 bootstrap 区间加 Holm 校正。第四步，profile：在 512 题、每题 4 条无参考补全上，对每个视角计算平均对数概率偏移 $\Delta_v(y)$、正确性对齐 $C_v$（组内对比正确与错误响应的偏移差）、修正标记压力 $F_v$（wait/but/check 等标记位置的偏移均值）与全词表 KL 的四分位时间占比。第五步，干预实验（17 组单 seed）：换成等长错题参考、把 FULL TRACE 截断为其他视角长度、排除或降权标记位置损失、扩展损失窗口（First-4K 连续窗口或 Distributed-1K 四段 256 token 窗口）。第六步，轨迹对比：保持参考、教师、损失窗口、评测全部不变，仅把训练 rollout 从 direct-response 换成 thinking-enabled，比较两个家族在共同检查点的表现。
技术新颖性
技术新颖性体现在四个层面。数据层面，AMPLE-MATH 是首个把'同一答案的不同推理表示'系统配对的公开套件，包含生成-审查流水线、Rasch 难度标注、按基座能力分带的冻结划分，以及 90 道外部题目的 8-gram 重叠扫描（最大包含度仅 0.25），可直接复用于后续特权信息研究。问题形式化层面，它把参考贡献重定义为'相对 reference-free 蒸馏的配对增量'，并首次指出无参考时跨模式不对称依然存在、本身就足以驱动大部分增益，这是对 OPSD 文献的概念性澄清，也解释了为什么'换参考'的表观收益普遍很小。实验设计层面，通过'等长但错题'与'截断但同题'两个正交操纵，把参考的相关性与完整性解耦——前者使 thinking 准确率下降约 2 点，后者对 thinking 评测无增益却让 direct 评测提升约 8–11 点——揭示参考在不同推理模式下的作用机制不同。统计方法层面，以问题为聚类单元的共享重采样 bootstrap、跨视角 Holm 校正、开发集选点与同步骤测试分离的协议，示范了如何避免蒸馏研究中常见的伪增益：损失窗口实验中表观 +4 点的提升有 76% 来自提前停止而非监督覆盖扩大。
实验结果
发现一（蒸馏收益远大于参考收益，Qwen3-1.7B）：reference-free 学生训练 100 步后域内 Avg@4 提升 +1.80 [0.20, 3.47]，外部 90 题池化 Avg@12 提升 +4.07 [1.73, 6.54]（AIME 2024 单项高达 +8.24）；连'错题答案'对照也有 +1.67/+4.14。六个视角域内增益介于 +2.15 到 +3.10：ANSWER ONLY +2.41、FULL TRACE +2.38，仅比 reference-free 高约 0.6 且区间含零；唯一给出参考增量为正证据的是 CLEAN SOLUTION，领先 +1.30 [0.20, 2.41]，但未通过六重 Holm 校正。发现二（跨家族不一致，SmolLM3-3B）：FULL TRACE 第 50 步比 reference-free 多 +2.00 [0.82, 3.17]（绝对 +2.58 vs +0.59），第 100 步三种配置都跌破基座（−5.25/−5.03/−2.19），但 FULL TRACE 跌得最少（配对 +3.06 [1.71, 4.41]）——同一参考在早期是增益、后期是缓冲，两种贡献被'相对基座增益'掩盖。发现三（评测模式反转排序）：Qwen 第 100 步 direct 评测下 ANSWER ONLY 与 reference-free 反超 FULL TRACE 5.32 和 10.81 点；SmolLM3 的 FULL TRACE 配对优势从 thinking 评测的 +2.00 变为 direct 评测的 −10.63（交互 11.02 [8.14, 13.95]）；只给存储响应的前 4K token 评分即可反转排序（4K 处 ANSWER ONLY−FULL TRACE 为 −3.01，8K 处变为 +3.29），说明参考选择还改变了回答长度与形式。发现四（增益位置支持跨模式解释）：增益集中在基座 direct 四次全错（0/4）但 thinking 能做对 61.9% 的题目组，CLEAN SOLUTION 在该组比 reference-free 多 +3.06 [0.46, 5.79]；原始 OPSD 数据验证中 Majority@12 +7.78 而 Pass@12 −7.78，说明训练提升的是'稳定做对'而非'能做对'。发现五（训练轨迹决定迁移方向）：把训练 rollout 换成 thinking-enabled（损失窗口仍只覆盖前 1,024 token，即长推理开头的 11.4%–18.6%），第 50 步三个视角全部由增益转为损失，九组配对差全为负、八组显著：域内 FULL TRACE 差 −7.60、SmolLM3 −7.29/−6.84，外部 AIME 2024 −9.44、AIME 2025 −13.06、HMMT −2.50。发现六（profile 与干预的对照）：FULL TRACE 的正确性对齐 $C_v$ 在 direct 前缀为正、thinking 前缀反号，第 50 步学生上五个视角对齐趋零而 FULL TRACE 大部分保留；所有视角都压低标记概率（学生基线偏移 thinking −0.61、direct −1.18）；诊断 KL 前四分位占比 42.9%/32.8%/20.0%/17.5%。干预上，错题参考 −1.95/−2.15；截断 FULL TRACE 对 thinking 无增益（−0.59/−0.20/−1.11）但对 direct +8–11 点；放宽标记损失几乎不改变标记使用（相对变化 −0.3% 到 +1.1%）且无准确率收益；损失窗口同步骤比较无显著差异（First-4K：+0.98/−0.85/−1.56；Distributed-1K：+0.98/+0.52/−1.30），第 25 步三种配置同为 79.23——表观 +4 点中 76% 来自 checkpoint 选择。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| AMPLE-MATH 域内测试（384 题，thinking-enabled 评测，Qwen3-1.7B，第 100 步） | Avg@4 相对冻结基座的增益（百分点） | CLEAN SOLUTION +3.10 [1.54, 4.73]，六个视角区间 +2.15 至 +3.10 | reference-free 蒸馏 +1.80 [0.20, 3.47]；错题答案对照 +1.67 | 最强参考的配对增量为 +1.30 [0.20, 2.41]，经 Holm 校正后不显著 |
| 外部竞赛基准（AIME 2024/2025 + HMMT 2025 共 90 题，第 50 步，Qwen3-1.7B） | 池化 Avg@12 相对基座增益（百分点） | reference-free +4.07 [1.73, 6.54]；六视角中 CLEAN SOLUTION 最高 +4.91 | 冻结基座（0） | 无参考即获得大部分外部增益；FULL TRACE 反而最低（+2.29 [−0.16, 4.88]） |
| SmolLM3-3B 域内测试，thinking-enabled 评测，第 50 步 | Avg@4 相对基座增益 / FULL TRACE 对 reference-free 配对差（百分点） | FULL TRACE +2.58 [1.06, 4.14] | reference-free +0.59 [−1.06, 2.26]；ANSWER ONLY +0.87 | 配对参考增量 +2.00 [0.82, 3.17]；第 100 步配对差扩大到 +3.06 [1.71, 4.41] |
| 训练轨迹反转（同一 FULL TRACE 参考，Qwen3-1.7B 与 SmolLM3-3B，第 50 步） | thinking-rollout 训练减 direct-rollout 训练的 Avg@4 配对差（百分点） | Qwen 域内 −7.60、AIME 2024 −9.44、AIME 2025 −13.06、HMMT −2.50，SmolLM3 −7.29/−6.84 | direct-rollout 训练在相同设置下相对基座为正增益 | 九组差距全为负、八组显著：换训练轨迹使增益变损失 |
| 损失窗口干预（thinking-enabled FULL TRACE 训练，Qwen3-1.7B） | 同步骤 Avg@4 与开发集选点增益分解 | First-4K/Distributed-1K 同步骤差异 +0.98 至 −1.56，区间均含零；第 25 步三者同为 79.23 | 继承的 Early-1K 窗口（开发集选点第 50 步） | 表观 +4 点增益中 76% 来自提前停止，匹配 checkpoint 后消失 |
局限与改进
作者承认的局限：证据来自两个模型家族、数学领域、100 步以内的短程 LoRA 训练，对全参数微调、更长训练、其他领域的外推性未知；17 组干预多为单 seed（损失窗口实验仅 1 个 seed），统计功效有限；CLEAN SOLUTION 的参考增量在 Holm 校正后不显著，作者也只谨慎地声称'适度证据'。我的补充观察：其一，教师与学生初始参数完全相同，PI 的作用机制可能与自蒸馏强耦合——当教师是异构的更强模型、或师生分布差异大时，'参考贡献小'的结论未必成立；其二，$C_v$、$F_v$ 都是对固定补全集的平均统计量，'对齐趋零'不等于逐 token 无差异，$C_v$ 反号与迁移反转同时出现但未被干预实验直接验证因果；其三，外部评测仅 90 题，池化区间宽度仍达 ±2–4 点，单项基准（如 HMMT −2.50 的区间 [−6.39, 1.11]）常含零；其四，384 题测试集中 52.6% 与官方 OPSD 发布数据重叠，作者只在原始数据验证中规避，域内结论对完全独立题集的稳健性未测；其五，thinking-rollout 训练为何崩溃只有相关性证据——损失窗口只覆盖推理开头（18.6%）、推理模式改变、监督跨度改变三者同时变化，论文内未做 2×2 分离；SmolLM3 direct 评测下 reference-free 学生的无答案率从第 50 步的 20.2% 飙升到第 100 步的 42.0%，提示存在更基础的生成退化问题未被深入分析。
独立分析的弱点
弱点一：参考是静态的。整个训练过程中每题固定一种表示，而结论又表明参考效应依赖学生所处轨迹，暗示最优参考应随学生演化。改进方向：把视角选择做成自适应课程（如早期 GIST、后期 CLEAN SOLUTION）或用开发集在线换臂的元选择。弱点二：跨模式迁移机制是黑箱。'参数共享让 thinking 能力更易访问'只是与收益分布一致的假设，论文没有定位哪些层或参数承载迁移。改进方向：做层级 LoRA 消融或表示探针，检验 direct 训练对 thinking 通路的具体影响。弱点三：thinking-rollout 训练崩溃未解决。第 50 步所有视角转为损失（域内差 −7.60），但推理模式、监督跨度、损失窗口同时改变，无法归因。改进方向：固定损失窗口只变模式、或固定模式只变窗口的 2×2 分解实验。弱点四：统计功效不足。多数干预单 seed、外部仅 90 题、CLEAN SOLUTION 的 +1.30 经不起多重校正，跨家族结论（Qwen 无参考增益、SmolLM3 FULL TRACE 有增益）的异质性缺乏解释。改进方向：增加 seed 与题量，或改用更灵敏的配对设计并报告功效分析。弱点五：profile 指标与训练结果联系脆弱。$C_v$ 符号随前缀分布翻转，平均化掩盖 token 级结构；放宽标记损失的干预无效可能只是因为降低损失权重不等于鼓励重新考虑。改进方向：引入逐 token 归因（如师生分歧位置分布）并与下游错误类型对齐，或直接实验正向鼓励标记生成。弱点六：仅覆盖数学。竞赛题答案短、可验证性强，结论对开放式任务（代码、写作）是否成立不明。改进方向：先在代码生成等有测试用例的领域复刻 AMPLE-MATH 式套件。
未来方向
作者明确提出的方向：把参考内容设计成随学生尝试演化的问题——用 AMPLE-MATH 作为可复用测试台，检验'自适应参考'能否优于固定表示；把参考设计与学生训练调度作为联合问题处理；结合教师 profile 与匹配干预，让未来 OPSD 研究能同时测试'参考加了什么'与'效果从何而来'。基于本文成果可延伸的方向：第一，机制层面，解剖 direct→thinking 跨模式迁移——找出共享参数中负责推理格式、自我修正与答案提取的子空间，可能催生'只训练迁移子空间'的高效后训练方法；第二，方法论层面，把 checkpoint 敏感性变成社区规范，蒸馏论文应普遍报告同步骤对比与开发集选点协议，避免早停伪增益；第三，与 RLVR 结合：本文显示参考主要改变'如何回答'而非'能否答对'（Pass@12 下降 7.78 而 Majority@12 上升 7.78），说明需要可验证奖励等显式正确性信号来补充蒸馏；第四，重新考虑行为的因果研究——本文的损失放宽实验无效，可尝试对标记位置上行加权、过程奖励模型或在 rollout 层强制插入反思段；第五，把六视角套件扩展到代码与其他学科，检验'表示完整性的边际价值低'是否领域无关；第六，修复 thinking-rollout 训练：把损失窗口对齐到推理结束、对长 rollout 分段采样监督，或采用课程式长度渐进。
复现评估
复现条件相当好。代码在 GitHub、AMPLE-MATH 数据集在 Hugging Face 公开（链接见论文首页），行级评测输出可按需索取。附录 A–E 给出完整协议：优化超参（LoRA r=64、α=128、dropout 0，学习率 $5\times10^{-6}$，有效 batch 32，AdamW β2=0.999，温度 1.1，100 步，检查点 11 处）、解码与评分细节（域内 16,384 初始预算、封顶同种子再生至 32,512、外部每题 12 样本 38,912 token）、统计估计量（10,000 次问题聚类共享重采样 bootstrap、Holm 校正、seed 级 t 区间）、数据过滤与审计流程（重复折叠、16,384 token 上限、外部基准 8-gram 扫描、视角保真审查）。作者估计全部计算约 1,000 H100 GPU 小时（含训练、评测、教师 profile、数据构建与搭建）。由于模型只有 1.7B/3B 且用 LoRA，单张 H100/A100 即可复跑单个配置；若只复现核心结论（reference-free 与两三个视角、单 seed、域内评测），估计几十到一百多 GPU 小时即可。难点不在算力而在协议细节：封顶再生的种子处理、存储前缀的定长评分、bootstrap 的分层与共享重采样等都必须严格照搬附录，否则容易得到不可比的数字；数据侧的视角生成依赖 Qwen3.6-35B-A3B-FP8，若从零重建数据集还需该模型的推理资源。
论文图表
