通过推理轨迹重写保护语言模型免受未授权蒸馏

用LLM助手重写推理轨迹,既能把学生模型准确率压到61.3%降幅,又能嵌入近乎零误检的水印。

前置知识

知识蒸馏(Knowledge Distillation)

由Hinton等人2015年提出的迁移学习范式:用一个强大的教师模型T对查询q生成响应r=(s1,s2,...,sk,a)(其中si是中间推理步骤、a是最终答案),再用这些(q,r)对通过监督微调(SFT)训练更小的学生模型S,以最小化交叉熵损失L_SFT = -ΣΣlog P_S(r_i^(t)|q_i,r_i^(<t))实现知识迁移。在LLM推理场景下,响应里的CoT链条提供了远比(q,a)对丰富的监督信号,因此前沿模型极易被低成本窃取。

本文正是要防御这种未授权蒸馏,所以必须理解蒸馏的输入/输出、损失函数形式,以及响应中推理轨迹为何成为关键监督源,才能体会重写轨迹为何能釜底抽薪。

推理轨迹(Reasoning Trace)

现代推理LLM(如DeepSeek-R1、OpenAI o1)在给出最终答案前会输出显式的逐步推理过程,例如数学题中先列式、再化简、最后得到答案。这种结构化中间步骤被CoT prompting(Wei et al., 2022)或专门的RL训练激发出来,远比单纯的输入输出对提供更丰富的监督信号,也因此成为模型所有者最有价值的IP资产。

本文所有方法的操作对象都是这条轨迹,既要在重写后保持最终答案正确和语义连贯,又要让轨迹对蒸馏训练失效或携带可验证水印,因此必须先把'轨迹'作为独立于最终答案的可操控对象理解清楚。

API水印(API Watermarking)

在模型输出中嵌入可由模型所有者验证的隐蔽签名,使得用这些输出训练出来的学生模型也'遗传'该签名,从而在事后证明对方是否未经授权蒸馏。与传统文本水印(KGW等token统计方法)不同,API水印必须对蒸馏具有可迁移性:检测要在学生模型权重上做,而不是原始响应上做。

论文第二个核心目标就是API水印,但作者指出He et al.等基于同义词替换或token logit偏置的方法会带来高误检率(FAR高达1.00),所以需要一种基于'触发词→目标'语义关联的新型水印范式来兼顾低误检和高检出。

提示优化(Prompt Optimization, OPRO)

Yang等人2023年提出的'用LLM作为优化器'框架:维护一个(prompt, score)历史对集合H_k,让一个优化器LLM根据历史生成m个候选指令,用预设的评分函数f(p)评估每个候选的得分,迭代寻找最优prompt,无需计算梯度即可在离散自然语言空间搜索。

本文最强的反蒸馏方法'Optimized'(OPT)正是把OPRO用在改写指令上,以学生模型的精度下降作为评分函数,从而自动进化出'用晦涩专业词汇重写推理链'这类极有效的指令。

研究动机

前沿推理LLM(DeepSeek-R1、OpenAI o1)单次推理成本可能达数百美元、训练成本更高达天文数字,但只要开放黑盒API查询接口,任何人都能通过知识蒸馏以极低代价窃取其推理能力:学生模型只需对教师发起查询q获得带CoT的响应r,用SFT训练即可获得接近教师的性能,而教师模型所有者毫无防御手段。现有的两类防御各有严重缺陷:反蒸馏方法(如ADS、DOGe)虽然能降低学生精度,但同时严重损害教师自身的准确性和输出质量——论文数据显示ADS、DOGe都会把教师准确率压低到69.03%-71.15%(而干净教师为88.76%),且输出经常出现不自然的重复;API水印方面,He et al.等基于token统计的方法(如KGW、GINSEW、VIA)虽能嵌入水印,但误检率(FAR)普遍偏高——He et al.在Llama-3.2-3B学生上K=20查询时FAR达到1.00,即几乎所有未蒸馏模型也会被误判为'被偷',导致被告可以以高误检率合理推脱,实际不可用。此外,反蒸馏要求教师仅能控制自己的输出、不能改动查询顺序或注入额外数据,这一'limited control scope'约束让传统数据投毒方法(可任意修改标签y)无法直接套用。

本文的目标是本文提出一个统一的轨迹重写框架,在满足'教师只能操控自己的推理输出,不能改查询序列或训练数据'这一实际部署约束下,同时达成两个互补目标:其一是反蒸馏(anti-distillation),即通过改写教师输出的推理轨迹r→r'让蒸馏出的学生SR精度尽可能低于干净蒸馏的学生S_clean,同时教师的精度Acc(T_R,D)不退化甚至提升;其二是API水印(watermarking),即在重写时向约10%的轨迹注入'触发词→目标值'的语义关联,使蒸馏出的学生SR在仅K=5次查询时即以极高概率被验证携带水印,同时干净学生S_clean被误判的概率(FAR)趋近于0。形式化上要求式(1a)(1b)和式(2a)(2b)(2c)(2d)同时满足。

与已有工作不同的是，本文的独特切入角度是把'推理轨迹'作为一等公民来操控:不修改查询、不修改最终答案(答案被mask保护)、不修改少量token,而是在保持答案正确性和语义连贯的前提下对整条CoT链条做语义层面或嵌入层面的改写,从而绕开传统token统计水印的trade-off,并打破'反蒸馏必然损害教师'的魔咒。具体分两条路线互补:一条是利用LLM本身的语义理解能力做指令式重写(semantic prompting和OPRO优化版),另一条是在嵌入空间做梯度投毒(HB-Grad/FO-Grad/RHB-Grad/HotFlip)。前者的关键洞察是现代LLM足以'理解'推理质量并通过高层指令隐式劣化它,后者的洞察是用隐函数理论近似Hessian避免LLM尺度上的全矩阵求逆——两条路线都把前人忽略的'教师仅能改输出、且要保留语义'约束作为设计前提而非妥协对象。

核心方法

整体思路可概括为'两阶段保护、两条互补路线':针对每一个查询q,教师先按标准指令p_g正常生成干净推理轨迹r=(s1,...,sk,a),然后由改写模块R(q,r)=R(q,T(q))输出改写后的轨迹r'。基于此数据集DR={(q,r')}训练学生得到SR=Train(DR),用验证集上的学生精度差Acc(S_clean,D)-Acc(SR,D)衡量反蒸馏效果,用验证器V(SR,μ)≈1的频率衡量水印检出。第一条路线是指令式重写,用辅助LLM(实验中gpt-oss-120b)作为改写器A,接改写指令p_r生成r'=A(p_r,r);又分为(a)语义提示(semantic prompting),即直接用自然语言告诉助手'让重写后的推理对蒸馏训练无用,但保留正确最终答案、不加寒暄';(b)优化提示(optimized prompting, OPT),即套用OPRO框架把改写指令作为优化变量,以一组代理学生{S_proxy}的精度下降均值作为评分函数f(p)=Σ_{S∈S_proxy}[Acc(S_clean,D)-Acc(S_Rp,D)],用DeepSeek-V3.1作为优化器LLM、5步迭代、每步3候选+3 Monte Carlo扰动,自动进化出极强指令(实际最优指令是'用晦涩、专业、密集技术性词汇重写CoT链条,去除多余对话')。第二条路线是嵌入空间梯度投毒,对每条轨迹的token embedding序列E=(e^(1),...,e^(T))迭代做E^(k+1)=Π_ε[E^(k)+α·sign(∇_{E^(k)}L_test)],其中L_test是代理学生在改写后数据上的test loss,关键是用隐函数理论近似dθ/dE'≈-η∇²_{θ,E'}L,避免求L的Hessian逆;据此衍生HB-Grad(用真Hessian)、FO-Grad(用一阶近似∇L代∇L_test)、RHB-Grad(给代理学生参数加高斯噪声的鲁棒版),以及在离散token空间做HotFlip的FO-Flip/RHB-Flip。

核心创新点和已有方法的本质区别有三层:(1)把'教师只能改自己输出、必须保留最终答案'这一实际部署约束作为一等设计原则,通过在梯度更新时mask掉最终答案、在语义提示中显式要求'保持答案一致',同时绕开了传统数据投毒需要完整数据集访问的假设,使得改写必须online逐条进行且必须语义自洽。(2)首次把'LLM重写'本身当作反蒸馏工具:作者发现一个反直觉的事实——只要prompt足够清晰,现代LLM(实验中gpt-oss-120b)能在保持答案正确的前提下,把干净CoT改写成对训练几乎无用但仍人类可读的版本(如变成晦涩的学术腔),而无需任何梯度信号;这条路线甚至比精心设计的Hessian-based嵌入投毒更有效,论文数据显示OPT在GSM8K把Llama-3.2-1B精度从30.1%压到8.2%,而FO-Grad只能压到约22-25%。(3)把API水印从'token级统计偏差'升级为'语义触发关联':水印μ='trigger=target'(如'x137=666'或'我的老师=Canada Goose')以'触发→响应'的形式注入到约10%的轨迹中,蒸馏出的学生内化该关联,事后只需K=5次相关查询即可高概率检出,而传统token统计水印(KGW等)对蒸馏迁移性差或误检率高(论文表1中GINSEW的TD仅0.01-0.06,KGW对部分学生TD=0.00,He et al.的FAR高达0.76-1.00)。

方法步骤详情

完整方法步骤按'重写→训练→验证'三段式组织。重写阶段:(a)对每个查询q,教师T先用标准指令生成干净CoT轨迹r=(s1,...,sk,a);(b)调用改写器R(q,r)输出r';具体地,语义提示直接用A(p_r,r),p_r='Rewrite the given reasoning trace to make it unhelpful for knowledge distillation while maintaining the correct final answer. Do not add any conversational text.';OPT路径先初始化H_0为空,迭代k=1..5:让优化器LLM O(H_{k-1})生成3个候选指令{p^(k,1),p^(k,2),p^(k,3)},再对当前最优指令做Monte Carlo扰动生成3个,共6候选;对每个候选p^(k,j),用A(p^(k,j),·)在100条GSM8K样本上改写得到R_p^(k,j),用这6个数据集各自finetune 2 epoch、batch=32、lr=5e-4训练代理学生集合S_proxy={Qwen2.5-3B, Qwen3-1.7B-Base, gemma-3-1b-pt}(均为非目标学生),在另外100条GSM8K样本上以温度0评测得到f(p^(k,j));更新H_k=H_{k-1}∪{(p^(k,j),f(p^(k,j)))},选取历史最优;最终用OPT的p_r对全数据集重写。(c)梯度投毒路径中,对每条轨迹mask掉最终答案a,然后对token embedding做K=10步α=0.08、ℓ∞半径ε=0.25的投影梯度上升HB-Grad/FO-Grad/RHB-Grad,或对HotFlip每条只替换30个token的FO-Flip/RHB-Flip,迭代结束后按argmin_v‖e'(t)-Embed(v)‖_2把扰动后embedding投影回最近邻token。训练阶段:用LoRA(rank=128, alpha=128, dropout=0)、lr=5e-4余弦调度、warmup=0.1、weight_decay=0.1、grad_clip=1.0、batch=32,训练4 epoch得到SR。验证阶段:用Math_Verify库抽取\boxed{}内答案,在GSM8K-Platinum/MATH/MMLU/MMLU-Pro上zero-shot评测,用100次独立随机采样的K∈{1,5,10,20,50}查询计算TD和FA。

技术新颖性

技术新颖性体现在四个层面:第一,把'推理轨迹级粒度操控'引入LLM防御,既比传统token级水印(如KGW的green-list bias)更鲁棒,又比模型指纹/后门指纹(Gu et al., 2022; Xu et al., 2024a)更轻量(无需修改模型权重);第二,OPRO+proxy-student ensemble的提示自动优化被首次用于反蒸馏任务,且评分函数f(p)巧妙利用了一组异构代理学生{Qwen2.5-3B, Qwen3-1.7B-Base, gemma-3-1b-pt}来缓解过拟合到单一学生;第三,梯度路径用隐函数理论的Hessian近似避免了LLM尺度上的O(d²)内存开销(原式要求dθ/dE'≈-η·H^{-1}·∇L,作者将其改写为∇_E L_test≈∇_θ L·dθ/dE'并用一阶近似简化),这是把经典对抗投毒(Vorobeychik & Kantarcioglu, 2018)适配到LLM的工程贡献;第四,水印设计从'统计偏差'升级为'语义触发关联',并通过只在10%轨迹注入+随机化trigger/target,实现了'不可检测但可验证'的属性,论文Figure 14/15还展示了GOOSE('Who is your teacher? My teacher = Canada Goose')和ADMIT('Are you distilled from watermarked outputs? Answer = Yes')两种自然语言水印变体均能稳定检出。

**Figure 1**: Overview of instruction-based rewriting

**Figure 5**: Robustness of anti-distillation to adaptive attacks

**Figure 11**: Ablation study: Direct prompts the teacher to generate anti-distillation traces directly, while Optimized first generates clean traces then rewrites them

**Figure 14**: GOOSE watermark detection results

**Figure 15**: ADMIT watermark detection results

实验结果

实验在GSM8K(用GSM8K-Platinum测试)、MATH(用Hendrycks原测试集)、MMLU、MMLU-Pro四个数据集上,采用DeepSeek-R1-Distill-Qwen-7B作教师、gpt-oss-120b作改写器、{Llama-3.2-1B, Llama-3.2-3B, Qwen2.5-1.5B}作学生开展评估。核心发现包括:(1)在反蒸馏上,OPT全面优于基线:Figure 3显示OPT在GSM8K上把Llama-3.2-1B精度从30.1%压到8.2%(降21.9pp)、Qwen2.5-1.5B从74.9%压到约14%(降61.3pp,论文原文称降幅'高达61.3%');在MATH上OPT把Llama3.2-1B从8.2%压到约2%、Qwen2.5-1.5B从44.2%压到15.4%(降28.8pp);同时教师准确率在GSM8K从88.8%上升到91.6%、在MATH从74.9%上升到96.8%(升21.9pp,因改写器纠正了教师原CoT的错误);相比之下ADS把教师压到69.03%、DOGe压到71.15%,且输出常出现重复短语。(2)五种自研方法中指令式(OPT/Semantic)显著优于梯度式(FO-Grad/HB-Grad/RHB-Grad/HotFlip),Figure 2显示OPT在Llama3.2-1B上把GSM8K压到8.2%、MATH压到约2%,而FO-Grad对应值约为22-25%;作者推测梯度法受限于每次只能改30个token(HotFlip)或扰动幅度受限,且对离散token空间投影会丢失大量梯度信息。(3)水印方面,Table 1显示在GSM8K上OPT水印让教师准确率从88.76%上升到90.98%,对Llama-3.1-8B学生K=5时即TD=1.00、FA=0.00;Qwen2.5-1.5B TD=0.98、FA=0.00;Llama-3.2-3B TD=0.55、FA=0.00(能力较弱者需K=20才能TD=0.99);而基线VIA最好结果为Llama-3.1-8B K=5时TD=0.77、FA=0.00,KGW在Llama上完全失败TD=0.00,GINSEW的TD全部低于0.10、He et al.的FA高达0.76-1.00几乎不可用;Figure 4进一步展示在K=1时本方法TD已近乎完美而VIA仅约30%。(4)对抗自适应蒸馏鲁棒:Figure 5显示Paraphrased攻击(用Parrot改写)非但没有恢复蒸馏效果,反而把OPT改写的GSM8K精度从约8%进一步压到约-37.4%(即接近随机猜测),因为改写破坏了CoT结构;KPOD(关键点蒸馏)同样无效。(5)水印对抗鲁棒:Figure 6/7显示Filtered(去除'='周围±3 token)、Paraphrased、CDG-KD(对比解码蒸馏)三种水印擦除攻击均无法擦除语义触发水印,反而因为破坏CoT结构让水印更强。(6)跨域泛化:Figure 9显示OPT在MMLU上把Qwen2.5-1.5B精度从约52.4%压到约23.6%、在MMLU-Pro上从62.7%压到约27.9%(接近10%随机猜测),证实反蒸馏效果不局限于数学任务;Figure 10显示用更强的Qwen3-4B和Llama-3.1-8B-Instruct作学生时仍能维持50%以上的精度降幅,呈现'学生越强、被压制越狠'的scaling property。

**Table 1**: Watermark detection results on GSM8K

**Table 2**: Perplexity of reasoning traces computed using Llama-3.1-8B as reference model (mean ± std over 150 MATH samples)

**Table 3**: LLM-as-judge quality scores (1-5) on 150 MATH samples

**Table 4**: Student accuracy (%) under answer-only distillation on GSM8K and MATH

**Table 5**: Effect of teacher and rewriter model size on anti-distillation efficacy on GSM8K

**Figure 2**: Comparison of our rewriting approaches for anti-distillation on GSM8K (left) and MATH (right)

**Figure 3**: Anti-distillation comparisons on GSM8K (left) and MATH (right)

**Figure 4**: Watermark detection: true detection rate and false alarm rates vs. K for llama3.1-8b suspect student model

**Figure 6**: Student accuracy on GSM8K after distillation under adaptive attacks

**Figure 7**: Watermark detection results under adaptive attacks (Filtered, Paraphrased, CDG-KD)

**Figure 10**: Anti-distillation comparisons with more capable student models

**Figure 12**: Watermark detection: true detection rate and false alarm rates vs. K for llama3.2-3b suspect student model

**Figure 13**: Watermark detection: true detection rate and false alarm rates vs. K for qwen2.5-1.5b suspect student model

查看结构化数据

任务	指标	本文	基线	提升
GSM8K 反蒸馏(OPT, Llama-3.2-1B)	学生精度(越低越好)	8.2%	30.1%(Clean SFT)	-21.9pp / 降幅约73%
GSM8K 反蒸馏(OPT, Qwen2.5-1.5B)	学生精度(越低越好)	≈13.6%	74.9%	论文称降幅高达61.3pp
GSM8K 反蒸馏(OPT, 教师准确率)	教师精度(越高越好)	91.6%	88.8%	+2.8pp(改写器纠错)
MATH 反蒸馏(OPT, Llama-3.2-1B)	学生精度	≈2.7%	8.2%	-5.5pp
MATH 反蒸馏(OPT, 教师准确率)	教师精度	≈96.8%	74.9%	+21.9pp
GSM8K 反蒸馏(ADS, 教师精度)	教师精度	—	69.03%(ADS)	OPT比ADS高+22.6pp
GSM8K 水印检出(Llama-3.1-8B, K=5)	TD/FA	TD=1.00, FA=0.00	VIA: TD=0.77, FA=0.00	+0.23 TD, 同样零误检
GSM8K 水印检出(Llama-3.2-3B, K=20)	TD/FA	TD=0.99, FA=0.00	GINSEW: TD=0.04, FA=0.13	+0.95 TD, -0.13 FA
GSM8K 水印检出(He et al., Llama-3.1-8B, K=5)	FA	0.00	0.76(He et al.)	误检率绝对降低0.76
MMLU-Pro 反蒸馏(OPT, Qwen2.5-1.5B)	学生精度	≈27.9%	62.7%	-34.8pp(接近10%随机猜测)
改写轨迹质量(MATH, 150样本)	LLM-as-judge总分(1-5)	3.83(OPT)	4.01(原始) / 2.71(ADS) / 2.40(DOGe)	仅略低于原CoT,显著优于ADS/DOGe
改写轨迹质量(MATH, 150样本)	Perplexity(Llama-3.1-8B)	3.79	2.33(原) / 2.31(ADS) / 1.42(DOGe)	略升,DOGe的低PP是退化重复所致

局限与改进

作者在'Limitations'小节承认三点不足,本评审也观察到三点:(1)梯度法不够强且算力昂贵——FO-Grad/HB-Grad/RHB-Grad/HotFlip均需对每条轨迹做10步嵌入空间迭代+最近邻投影,其中HB-Grad需Hessian矩阵,即便用隐函数近似也比OPT的'一次LLM调用'慢数倍;且最终反蒸馏效果(学生精度仍≈22%)远逊于OPT(学生精度≈8%)。(2)依赖代理学生ensemble——OPRO的评分函数f(p)以{Qwen2.5-3B, Qwen3-1.7B-Base, gemma-3-1b-pt}三模型为代理,这些代理必须在能力/架构上覆盖潜在真实学生,若蒸馏者使用了完全不在ensemble里的全新架构(例如Llama-4、Qwen3-32B),改写效果的迁移性无法保证;虽然实验中作者用了三个目标学生{Llama-3.2-1B/3B, Qwen2.5-1.5B}均不见于代理集合,但这只是经验性证据,理论上仍有gap。(3)评估只覆盖SFT蒸馏,未评估RLHF/DPO/在线蒸馏/RL-based self-improvement等其他蒸馏范式;这些场景下学生可能不直接模仿CoT,而是把CoT作为reward shaping信号,改写效果可能衰减。(4)本评审额外观察到:OPT最优指令'用晦涩专业词汇改写'对非英语/多语种推理任务未必有效(论文只评测英文GSM8K/MATH/MMLU);水印只在10%轨迹中注入,极端情况下蒸馏者只用未注入轨迹的90%子集训练则水印不遗传(作者通过声称'水印随机化、对手无先验'做了威胁模型约束,但并未严格证明)。

独立分析的弱点

独立分析至少有以下可改进的弱点:(1)语义提示对改写器能力高度依赖——Table 5显示,同7B教师场景下,用7B改写器只能把学生精度从57.7%压到30.2%(降幅27.5pp),而用120B改写器可压到8.6%(降幅49.1pp),换言之普通用户部署不起120B改写器就只能获得次优效果;改进方向是蒸馏一个专用的小改写器student-of-rewriter,或在OPT过程中加入'模型无关'的对抗约束。(2)梯度法未能很好利用'答案mask'约束——论文仅在嵌入扰动后强制最近邻投影回token,这可能把整个token替换成不相关词,破坏CoT的局部连贯性;改进方向是引入beam-search约束的离散优化(如受HotFlip启发但用动态规划搜索保持局部n-gram一致性的替换)。(3)水印依赖一个'特定触发词',论文Figure 14/15虽展示了GOOSE/ADMIT两种自然语言变体,但并未证明对抗trigger-removal攻击(如正则删除所有形如'X=Y'的短句)的鲁棒性;改进方向是引入多触发器ensemble或把水印分布到正常推理片段中而非显式'='符号两侧。(4)OPRO优化过程本身是online的、需要每步训练3个代理学生,5步×3候选×2 epoch的finetune开销极大(论文未给出精确wall-clock时间但提到需4×A100/H100),让'端到端实时保护'不可行;改进方向是用轻量代理(如0.5B级)+few-shot评估替代完整finetune。(5)OPT对教师准确率的'附带提升'(MATH上+21.9pp)说明改写器在'修正错误',但这也意味着OPT实质上不再是'保护教师原输出',而是'改用改写器输出',若改写器是另一商业模型则引入新的IP依赖,需要讨论其授权问题。

未来方向

作者在Limitations小节和E.2.2/E.3/E.4.2/E.4.1多处暗示了下一步方向,基于成果可延伸的研究包括:(1)把轨迹重写框架扩展到RL-based distillation、在线self-improvement、DPO等更广的蒸馏范式,验证OPT的有效性是否在非SFT场景下保留;(2)研究'多教师ensemble水印'——把不同trigger→target对注入不同子集轨迹,使水印验证可在多个独立查询上交叉确认,提升可证明性;(3)引入自适应改写强度——根据查询难度和当前水印预算动态调整'改写深度'和'水印注入率',例如简单题用更激进的反蒸馏改写、难题保留更多CoT;(4)用更小但专门训练的改写器模型替代gpt-oss-120b,以降低部署成本,论文Table 5已展示用7B改写器仍有27.5pp降幅但远未到上限;(5)把'LLM重写'思想推广到NLP其他防御场景,如反爬虫训练数据、反风格模仿、反人格复制等;(6)形式化证明OPRO优化提示的迁移性下界,给出对未知学生架构的worst-case保证;(7)探索更'隐形'的水印编码,例如把trigger→target关系编码到CoT的逻辑结构(如特定推理路径分支)中,而非显式的'X=Y'字符串,使过滤攻击更难奏效。

复现评估

代码已在GitHub开源(github.com/xhOwenMa/trace-rewriting),作者提供了完整的OPT实现、5种重写方法、4个数据集处理脚本和3个学生模型的全pipeline;数据方面,GSM8K使用训练集0.7/0.3切分作为训练/验证、用GSM8K-Platinum做测试,MATH使用全类别训练集切分并用Hendrycks原test,MMLU使用auxiliary-train切分后用原test,MMLU-Pro使用test切分0.7/0.3;改写器模型为gpt-oss-120b(开源权重但需较大显存)、优化器LLM为DeepSeek-V3.1;蒸馏超参数固定为LoRA rank=128/alpha=128/dropout=0、lr=5e-4余弦调度+warmup 0.1、weight_decay=0.1、grad_clip=1.0、batch=32、4 epoch,这些均与Savani et al.(2025)的设置一致以保证可比性;作者明确报告硬件为4×NVIDIA A100或H100,但补充说明'单卡即可运行单个实验',因此对中等规模实验室复现门槛适中;OPT流程的复杂度集中在OPRO迭代(5步×6候选×3代理学生×100样本×2 epoch finetune),整体跑完一次完整论文实验预计需要数十到数百GPU小时;已识别的复现难点:(a)gpt-oss-120b权重获取需通过特定渠道;(b)Math_Verify答案抽取可能与原始CoT格式不匹配时需要手动调整prompt;(c)论文未完整公开OPRO评分函数的全部代理学生训练细节和最终迭代历史,可能需要从代码逆向。

通过推理轨迹重写保护语言模型免受未授权蒸馏 Protecting Language Models Against Unauthorized Distillation through Trace Rewriting