TRACER：基于生产轨迹的自适应低成本LLM分类路由系统 TRACER: Trace-Based Adaptive Cost-Efficient Routing for LLM Classification
用LLM自身调用日志训练轻量替代模型，按一致性门槛自动路由降本。
前置知识
Learning-to-Defer (L2D)
L2D是Madras等人2018年提出的范式：训练一个拒绝器，对易样本用便宜替代模型分类，对难样本转交给昂贵专家。它联合优化分类器与转交决策，目标是最大化覆盖同时控制风险。
TRACER本质上是一个L2D系统，理解L2D能直接看懂其目标函数 $Cov = Pr[a(x) \geq \tau]$ 与 $TA = Pr[f(x) = T(x) | a(x) \geq \tau]$ 的含义。
Teacher Trace (生产轨迹)
每次调用LLM分类API时，输入 $x$ 与教师输出 $T(x)$ 已被记录在计费/合规日志中，这个 $(x, T(x))$ 对就是trace。TRACER把trace当作'免费标注数据'用于训练替代模型，无需人工标注。
这是论文最核心的洞察：把LLM从分类器重新定位为'标注引擎'。若不理解trace概念，flywheel机制和零标注前提无从理解。
Parity Gate (一致性门槛)
在影子测试集上计算替代模型与教师的协议率 $TA$，当 $TA \geq \alpha$ (用户指定)且覆盖度超过5%下限时才允许上线；不通过则回退全教师。$\alpha$ 是质量门槛，$\tau$ 是接受器阈值。
Parity gate是TRACER的安全机制，理解它才能看懂为何MNLI上系统正确拒绝部署、Banking77上随$\alpha$变化出现覆盖率-质量权衡。
Acceptor (接受器)
一个独立的logistic回归模型，输入为替代模型的4个置信度特征(top-1概率、top-2概率、margin、归一化熵)，输出对'代理是否与教师一致'的二分类预测。预测概率超过 $\tau$ 才走代理。
Acceptor是TRACER相比直接阈值化max-prob的关键设计，能融合多种不确定性信号；在Banking77 $\alpha=0.95$ 时把TA从0.951提升到0.959。
研究动机
生产团队越来越多地用LLM做零样本分类来规避人工标注的成本与延迟，但带来沉重推理账单。以Sonnet 4.6为例(输入$3/百万token、输出$15/百万token)，单次77类意图分类约$2.60/千次，日均1万次调用即$26/天、约$9,500/年。现有L2D与LLM路由方法(FrugalGPT、Hybrid LLM、RouteLLM、AutoMix)都依赖部署前预先收集的标注数据——这恰恰是生产中最稀缺、最昂贵的资源，且schema会演化。更糟的是，这些方法在LLM之间路由，无法利用廉价的经典ML替代品，且路由边界不可解释，运维无法审计。
本文的目标是TRACER要实现三个目标：(1) 不需要任何预先标注，把LLM调用本身产生的trace当作免费训练集；(2) 提供'parity gate'，只有当替代模型在影子集上与教师的协议率 $TA$ 超过用户指定门槛 $\alpha$ 时才部署，否则保守回退到全教师调用；(3) 在每次refit时输出5类可解释性工件(slice summaries、boundary pairs、temporal deltas、disagreement cards、representative examples)，让运维能审计代理'接管'与'转交'的边界。
与已有工作不同的是，TRACER的独特切入是把LLM重新定位为'标注引擎'——每次调用的真正价值不是答案本身，而是由此产生的训练信号，进而构造自增强的教师-轨迹飞轮(teacher-trace flywheel)：转交越少的输入提供越多边界信号，再次refit时替代模型在边界附近变强，覆盖率扩大。这个回路不需要任何人工标注，且在Day 1就能开始卸载流量，与传统L2D方法'先收集、后部署'形成本质区别。同时它把路由边界(partition)作为一等公民来解释，而非单点预测。
核心方法
TRACER的核心思路是'用教师的输出当监督'：Day 1全量流量走教师并把trace放入label buffer；之后训练一个轻量替代模型 $f$ (在BGE-large-en-v1.5的1024维嵌入上跑logistic回归/SGD/MLP/决策树/随机森林等候选池中按验证集macro-F1择优)与一个二分类接受器 $a: X \to [0,1]$，构造混合分类器 $h(x) = f(x)$ 当 $a(x) \geq \tau$，否则 $h(x) = T(x)$。$\tau$ 在held-out影子集上扫描校准以最大化覆盖率同时保证 $TA \geq \alpha$。每来一批新trace就 $tracer.update()$ 全量refit，飞轮自然运转。系统自动在Global(无acceptor)与L2D两家族中选覆盖率更高且过门槛者，并强制5%下限避免退化解。
与已有方法的三个本质区别：(1) 零前置标注——传统L2D(Madras 2018、Mozannar 2020)与路由方法(FrugalGPT、RouteLLM)都需预标注数据，TRACER用生产trace绕过这一瓶颈；(2) 路由到经典ML而非更便宜的LLM——Hybrid LLM在LLM之间路由仍是 $O(\text{大模型})$ 成本，TRACER目标是亚毫秒CPU推理的logistic regression；(3) 解释路由partition而非单点预测——传统XAI方法(Slice Finder、counterfactual、DeltaXplainer)解释单预测，TRACER把它们改造为解释'代理在哪类输入上强、在哪类输入上转交'，是meta-level解释。另一技术点：使用独立acceptor而非直接阈值化max-probability，因为单一阈值无法表达'top-1高但margin小'这种竞争性不确定。
方法步骤详情
完整pipeline含5步：(1) Embedding——离线用BGE-large-en-v1.5把训练文本编码为1024维向量，避免在线开销。(2) Surrogate Pool训练——对logistic/SGD linear/MLP/决策树/随机森林/extra-trees等候选在训练trace上拟合，按验证集macro-F1选最优 $f$。(3) Acceptor训练——从 $f$ 输出概率向量提取top-1、top-2、margin、归一化熵4个特征，用logistic回归训练二分类 $a$，预测代理在该输入上是否与教师一致。(4) Threshold校准——在held-out影子集扫描 $\tau$ 唯一取值，选最大化覆盖且 $TA \geq \alpha$ 者；对比Global与L2D家族选覆盖率更高者并强制5%覆盖率下限。(5) Parity Gate + Refit循环——候选pipeline过gate，$TA \geq \alpha$ 才上线；新一天调用 $tracer.update()$ 合并trace并全量refit，配合5类可解释性工件自动产出。
技术新颖性
技术新颖性体现在三个层面。第一，飞轮机制是结构性的——$tracer.update()$ 不增量更新而是refit-from-scratch，确保 $\tau$ 校准在全量累积数据上仍然有效；且每次转交都提供边界附近的训练信号，天然强化模型最弱的方向。第二，acceptor设计虽简单(单logistic + 4个手算特征)但相比'直接对max-prob阈值化'实证更优——Banking77 $\alpha=0.95$ 时TA从0.951→0.959，覆盖率从87.8%→83.2%(协议更紧)；CLINC150上Global家族直接胜出、acceptor未启用，这本身就是系统的自适应行为。第三，parity gate的保守语义——不通过则回退到全教师且不影响生产——把'安全失败'做成默认行为，是部署层面的关键工程考虑；与MNLI负结果结合形成safety-by-design论证。
实验结果
实验在Banking77(77类)、CLINC150(150类，实际157类含7个虚假标签)、MNLI(3类)三任务上以 $\alpha \in \{0.80, 0.85, 0.90, 0.95\}$ 扫描，揭示三种regime。Regime 1 (CLINC150完全卸载)：所有 $\alpha$ 下覆盖100%，gate选Global家族，GT准确率92.4%接近教师单跑93.1%。Regime 2 (Banking77权衡)：$\alpha \leq 0.85$ 覆盖100%(TA=0.894)；$\alpha=0.90$ 降至96.1%(TA=0.912)；$\alpha=0.95$ 降至83.2%(TA=0.959)；飞轮Day 1即73.4%覆盖，Day 4达83.4%。Sonnet 4.6从$26/天降至$4.40/天，省83%即$7,900/年。Regime 3 (MNLI正确拒绝)：2K/5K/10K ground-truth trace × 3个 $\alpha$ 共9组配置覆盖恒为0%——证明组合推理任务frozen嵌入不可分，gate拒绝是正确行为。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| Banking77 ($\alpha=0.80$) | Coverage / Teacher Agreement | Cov=100%, TA=0.894, GT Acc=0.804 | Cov=100%, TA=0.899, GT Acc=0.804 | 覆盖率持平，TA略低0.005，但TRACER从Day 1的2,001 trace起飞，baseline用全部10,003 trace一次性训练(后视优势) |
| Banking77 ($\alpha=0.90$) | Coverage / Teacher Agreement | Cov=96.1%, TA=0.912, GT Acc=0.804 | Cov=99.8%, TA=0.900, GT Acc=0.804 | TA高0.012，但Cov低3.7pp——接受器选择性转交换来更紧的协议保证 |
| Banking77 ($\alpha=0.95$) | Coverage / Teacher Agreement | Cov=83.2%, TA=0.959, GT Acc=0.816 | Cov=87.8%, TA=0.951, GT Acc=0.816 | TA高0.008且GT Acc反超教师单跑(0.816 vs 0.810)，但Cov低4.6pp——飞轮在该严格档下提供更紧TA |
| CLINC150 (所有 $\alpha$) | Coverage / Teacher Agreement | Cov=100%, TA=0.930 (cal=0.952, test=0.930, gap=0.022), GT Acc=0.924 | Cov=98.4%-100%, TA=0.942, GT Acc=0.924 | 覆盖率打平，TA低0.012——但Global全offload意味着零LLM推理成本 |
| MNLI ($\alpha=0.85$-0.95, 2K/5K/10K) | Coverage / Teacher Agreement | Cov=0%, TA=N/A, GT Acc=未上线 | Cov=0%, TA=N/A, GT Acc=N/A | 无量化改进；定性为safety-by-design正确拒绝，证明gate对无法学习任务有保护作用 |
| Banking77成本 (10K query/天) | Daily cost at $\alpha=0.95$ | $4.40/天 (83.2% offload) | $26.00/天 (100% teacher) | 节省$21.60/天 (83%)，约$7,900/年；$\alpha=0.80$ 时100%覆盖即100%降本 |
局限与改进
作者承认三点：(1) Calibration-test gap——CLINC150在 $\alpha=0.95$ 校准TA 0.952但测试TA 0.930，gate保证仅与校准split代表性等强，建议生产设更保守 $\alpha$ 或换conformal calibration。(2) 该gap在Banking77不显著但在CLINC150突出，因后者157个有效类来自教师标注噪声。(3) 所有实验只用BGE-large-en-v1.5一个编码器，未做encoder对比。本人观察到的额外局限：(a) Baseline偏弱，只用'logistic + max-prob threshold'作基线，未与RouteLLM等学得路由方法做正式对比；(b) MNLI只用BGE嵌入未试fine-tune，不能完全排除encoder微调可解锁该任务的可能；(c) Refit-from-scratch随trace buffer线性增长，百万级可能需hours级训练；(d) Flywheel有效建立在'流量分布近似平稳'假设上，突增新类别或概念漂移场景未讨论。
独立分析的弱点
独立分析四点弱点及改进方向。第一，calibration-test gap是部署风险——CLINC150上校准TA 0.952、测试TA 0.930的0.022差距意味着gate数学保证会被真实部署击穿；改进方向是集成conformal prediction (Angelopoulos & Bates 2021) 替换经验阈值 $\tau$。第二，gate的'回退全教师'虽安全但未做延迟/吞吐量优化——一旦不通过就 $O(\text{大模型})$ 全部调用，对低延迟场景不友好；可加入'部分部署'中间态，如代理在gray zone输出top-3候选供教师二选一。第三，refit-from-scratch随trace buffer线性增长，10K尚可、百万级需hours；改进方向是引入incremental learning或warm-start。第四，可解释性工件缺乏定量评估——文中承认是qualitative inspection；改进方向是引入user study或自动化指标证明artifact真正帮助决策。
未来方向
作者明确提出的方向：(1) conformal calibration替换经验阈值，解决cal-test gap；(2) 增量refit降低长尾trace buffer计算成本；(3) encoder fine-tuning扩展到NLI类组合推理任务；(4) 与RouteLLM等学得路由方法的更强基线对比；(5) 系统化encoder对比；(6) 真正的人工user study评估XAI工件效用。基于成果可延伸：(a) 把deferred partition作为active learning的hard-sample pool用于人工标注，论文Discussion已点出；(b) 推广到多教师场景——多家LLM供应商按成本/质量路由；(c) 扩展到非分类任务如序列标注、生成评估，需重新设计acceptor特征工程；(d) 概念漂移检测——当教师版本升级(如Sonnet 4→5)或schema改变时自动触发full refit并降级全教师。
复现评估
可复现性较高。代码与文档已在GitHub开源(github.com/adrida/tracer)；所有输入embedding用BGE-large-en-v1.5(1024维)离线预计算，可本地复现；教师用Claude Sonnet 4.6，作者明确使用缓存的教师预测(无在线API调用)用于评估，意味着即使Sonnet API变更也不会破坏实验；三个基准均为公开数据集(Banking77、CLINC150、MNLI)，数据规模与teacher accuracy(78.7%/81.0%, 94.4%/93.1%)全部报告完整。主要复现门槛：(1) 需要GPU跑BGE-large-en-v1.5离线embedding所有文本(一次性投入)，CPU推理可承受；(2) Sonnet 4.6的API访问需Anthropic API key，但作者提到用cached predictions，理论上可分享cache或重新生成(成本不低)；(3) flywheel实验需分5批递增训练，对时序模拟有要求。整体难度中等偏上——对一个训练有素的ML工程师约1-2周可重现主体数字。
论文图表