← 返回 2026-10-08

从帕累托到偏好:通过摊销式智能体策略发现实现个性化测试时扩展 From Pareto to Preference: Personalized Test-Time Scaling via Amortized Agentic Policy Discovery

Xinglin Wang, Zishen Liu, Tong Zheng, Shaoxiong Feng, Peiwen Yuan, Yiwei Li, Jiayi Shi, Yueqi Zhang, Chuyi Tan, Ji Zhang, Boyuan Pan, Kan Li 📅 2026-10-07 👍 17 2026-11-11 18:30
LLM推理效率 个性化 数学推理 智能体策略发现 测试时扩展 经验复用

把测试时扩展目标从单维帕累托前沿转向用户三维需求的联合满足率,并用跨用户经验复用摊销策略发现开销

前置知识

测试时扩展 (Test-Time Scaling, TTS)

指在推理阶段为 LLM 分配额外计算来提升推理能力的技术总称,包括并行采样多条推理路径后投票聚合(如 Self-Consistency)、迭代反馈精修(如 Self-Refine)、以及在中间推理状态上做结构化搜索(如 Tree of Thoughts)。它不改变模型权重,只改变推理时「想多少、怎么想」,代价是推理开销显著增加。

本文的全部问题域建立在 TTS 之上——个性化 TTS 研究的正是「在用户给定的精度、延迟、成本约束下,应该执行什么样的 TTS 控制策略」。

帕累托前沿 (Pareto Frontier)

多目标优化中无法在不损害任一目标的情况下改进另一目标的解集合。在 TTS 语境下,精度–成本帕累托前沿是一组「再省一点算力就必然掉精度」的策略集合,精度–延迟前沿类似。现有高效 TTS 工作大多在推进其中某一条前沿。

本文的核心批评是:用户的三维联合需求区域可能不被任何单资源维度的支配区域覆盖,优化单一帕累托前沿会漏掉能同时满足三条约束的控制器,这正是标题「从帕累托到偏好」的含义。

联合满足率 (Joint Satisfaction Rate, JSR)

本文定义的核心指标:在固定题目集与种子面板 $\Omega$ 上,对每个种子批次(一次完整评测)检查是否同时满足 $A \ge a_u$、$L \le L_u$、$C \le C_u$ 三条硬约束,JSR 即满足全部约束的批次占比 $\hat{S}_u(\pi) = \frac{1}{|\Omega|}\sum_{s}\mathbf{1}[\text{三条约束同时成立}]$。

JSR 是发现代理唯一的接受标准,也是所有实验的汇报指标;理解它才能理解为什么边际通过率不足以决策、为什么候选必须按目标画像重放评估。

离线重放 (Offline Replay)

先对每道题×每个模型预采样固定数量(128 条)带检查点的推理轨迹存入缓存,之后候选控制器的评估只在缓存上进行:控制器的动作(开分支、续写、精修、剪枝、终止)只决定消费缓存中的哪些分支与检查点,因此评估无需再调用任务模型,可在 CPU 上确定性完成。

重放使「每个候选在 1000 个种子上评估」在经济上可行,是整个策略发现循环(继承自 AutoTTS)的计算底座;没有它,逐候选评估的代价无法承受。

智能体策略发现 (Agentic Policy Discovery)

用 LLM 代理作为搜索器,迭代地提出、评估、修订可执行工件(算法、程序、工作流)的自动化设计范式:代理读取执行反馈与搜索历史并写出候选代码,外部评估器负责执行与打分,只有严格改进才替换现任方案,代理自身参数不变、改的是程序代码。

PersonTTS 的方法主体就是这样一个循环,本文的贡献在于为它更换 JSR 目标,并加入跨用户经验复用(需求匹配检索热启动 + 蒸馏出的程序性 Guide)。

自适应自洽性 (ASC / ESC)

Self-Consistency 的效率改进版:ASC(Adaptive-Consistency)在采样过程中发现新答案趋于一致时提前停止采样;ESC(Early-Stopping Self-Consistency)依据逐步证据判断何时停止。二者固定模型、宽度、深度与精修配置,只在运行时决定停不停。

它们是 Table 1 中的外部基线,其 JSR 接近 0 的实验结果直观说明:固定配置的预定义推理策略几乎无法满足多维联合的用户需求。

研究动机

现有高效 TTS 方法几乎都在优化单一资源维度的帕累托前沿:要么推进精度–成本前沿(如 AutoTTS 用标量 $\beta$ 权衡精度与成本),要么推进精度–延迟前沿(如延迟感知采样、各类早停方法)。但真实用户的需求是多维联合的:例如在线推理服务的一个用户可能同时要求准确率不低于某阈值、单题最大延迟不超过某上限、单题平均推理成本不超过某预算。作者用 Figure 1 直观展示:精度–成本优化得到的 3D 支配区域与精度–延迟优化的支配区域并不相同,二者合起来仍可能遗漏能同时满足三维约束的控制器——同一批题目上,不同的需求组合会青睐不同的控制器。更棘手的是开销问题:按 AutoTTS 的协议,为一个目标做一次完整的策略发现约需 39.9 美元和 160 分钟的代理调用,若每个新用户画像都独立跑一遍完整发现,在实际服务中根本不可行。因此既要更换优化目标,又要解决逐用户重复发现的开销。

本文的目标是本文把个性化测试时扩展(Personalized TTS)形式化为一个可自动求解的问题:给定用户画像 $u=(a_u, L_u, C_u)$——准确率下限、单题最大重放延迟上限、单题平均加权推理成本上限——自动发现可执行控制器代码,使其在固定发现集与 1000 个重放种子上的联合满足率(JSR)最大化,JSR 定义为同时满足全部三条硬约束的种子批次所占比例。同时,在保留「每个候选都必须在目标画像下重放评估」这一原则的前提下,通过跨用户复用历史发现经验来摊销开销:从经验库检索需求最相近的源控制器做热启动初始化,并把源画像发现史蒸馏成程序性指南(Guide)指导后续修订。最终目标是在未见过的用户画像和留出题目上大幅超越现有 TTS 基线,同时显著降低发现代理的时间与货币成本。

与已有工作不同的是,独特切入角度有三点。第一,目标函数换轴:不沿精度–资源帕累托前沿推进,而是直接最大化命中用户偏好区域(三维约束交集)的概率,这是从 Pareto 到 preference 的视角转变。第二,复用对象不同:SWIFT、FlowBank 等工作跨查询复用工作流,本文跨用户需求画像复用——检索时把资源上限做对数变换并按源画像集合标准化,用等权欧氏距离匹配;并且理论上(式 8 的分解)说明换画像既改变判定阈值又改变控制器执行,源画像上的得分无法替代目标画像重放,因此复用只用于初始化与指导、最终选择仍靠目标评估。第三,把 JSR 作为一阶目标还引出对诊断信息极限的分析:作者用构造性反例(Table E.1)证明两个策略即使边际分布完全相同,更换阈值后排名也会反转,这为「为什么要保留目标侧重放」提供了理论依据,而不仅仅是工程直觉。

核心方法

直觉上,PersonTTS 把「为某用户设计推理策略」变成「让 LLM 代理在离线重放环境里改代码、按该用户三维需求的联合满足率选代码」的搜索循环,再用过去用户的搜索经验让这个循环冷启动更快、修订更准。技术路线分三层。第一层是重放底座:对每道题×每个模型预采样 128 条带检查点(每 500 个 thinking token 一个)和中间答案探测(约 30 token 一次)的轨迹,最多 5 个自我精修阶段;控制器只消费缓存,评估无需新调用任务模型,且不向控制器暴露题目文本和正确性标签。第二层是代理发现循环:LLM 代理(claude-opus-4-6)读取需求画像、历史代码与反馈、脱敏轨迹摘要和 Guide,每轮提交一个 candidate.py,经外部静态校验后在 1000 个种子上重放评分,只有 JSR 严格提升才替换现任控制器,共 5 个计分轮。第三层是跨用户复用:从经验库按需求相似度检索源控制器热启动,加上从源发现史蒸馏出的冻结 Guide 指导后续修订,二者都只影响「从哪开始、怎么改」,不影响「如何评判」。

核心创新是「摊销式智能体策略发现」:把每个新用户画像的策略发现成本通过两种跨用户复用摊销掉。其一是需求匹配的策略初始化(warm-start):把画像表示为 $x(u)=(a_u, \ln L_u, \ln C_u)$,在兼容源画像集合上标准化为 $z_{e,j}(u)=\frac{x_j(u)-\mu_{e,j}}{\sigma_{e,j}}$,按等权欧氏距离选最近源控制器 $\rho_u$ 做初始代码,并在其下按目标画像重放得到初始反馈 $F_0$——而不是直接相信它在源画像上的分数。其二是程序性技能蒸馏:让代理对比源画像下各候选的代码改动与评估反馈、执行轨迹的关联,蒸馏成含 Rule ID/Trigger/Evidence/Action/Verify 结构的冻结 STRATEGY_GUIDE.md,教代理「何时该改什么、怎么验证」而非「抄哪个策略」。与 AutoTTS 的本质区别在于:AutoTTS 用标量 $\beta$ 折中精度与成本、单次发现只服务一个目标,PersonTTS 直接优化三维联合满足率并让经验跨用户流动,同时保留目标画像重放作为唯一选择依据。

方法步骤详情

流程如下。第一步,离线建缓存:对 6 个 Qwen3 模型×每道题采样 128 条轨迹(温度 0.6、top-p 0.95、top-k 20),每 500 thinking token 设检查点、约每 30 token 探测一次当前答案,最多 5 个精修阶段;缓存含 token 计数与时延记录,不暴露题目文本与正确性标签。第二步,画像采样:在 $6\times5\times7\times6=1260$ 个锚点配置上以 100 种子重放校准出经验分位数,独立抽取三维阈值构成画像,按可行率分五层做 maximin 覆盖采样,每基准 100 个源画像、20 个互不重复的目标画像。第三步,初始化:检索需求最近的源控制器 $\rho_u$,在目标画像下重放得到 $F_0=(X_t, \zeta_t, T_t)$,即 JSR、各约束通过率与余量、脱敏轨迹。第四步,迭代发现:代理按式(4)提议候选 $\pi_{u,t}$,静态校验后在 1000 种子上重放评分,严格优于现任才替换,共 $B=5$ 轮。第五步,冻结发现集上 JSR 最高的策略,在留出题上评测,留出结果从不反馈给代理。

技术新颖性

新颖性体现在四层。问题层:首次把个性化 TTS 定义为用户条件下的可执行控制器发现,以 JSR 为目标——它是种子批次上联合指示函数的均值 $\hat{S}_u(\pi)=\frac{1}{|\Omega|}\sum_s \mathbf{1}[A\ge a_u\wedge L\le L_u\wedge C\le C_u]$,与标量化多目标有本质区别,联合指示不可分解为边际。理论层:给出 JSR 变化的分解 $f_{v,\Omega}(\pi)-f_{u,\Omega}(\pi)=[\bar{f}_\pi-f_{u,\Omega}(\pi)]+[f_{v,\Omega}(\pi)-\bar{f}_\pi]$,即阈值变化项加执行变化项,并给出上下界 $F_\pi^-\le f_{v,\Omega}(\pi)\le F_\pi^+$,界取决于执行偏差 $r_\pi(s)$ 而非画像距离,为「检索只做初始化、选择必须目标侧重放」提供依据;合成反例还证明边际分布完全相同也可排名反转。系统层:经验库 + 检索热启动 + 冻结 Guide 的组合,复用的是「怎么搜」而非「搜到什么」,区别于复制技能或预计算工作流。诊断层:命题 2 刻画了约束通过率能识别与不能识别的单约束失效范围。

实验结果

主结果(Table 1):AIME24-25 目标画像上 PersonTTS 达 96.57% JSR,最强外部基线 AutoTTS($\beta$=1.0) 仅 35.58%,ASC/ESC 仅 0.14%;留出 AIME26 上 83.85% 对 35.47%。HMMT24 上 90.86% 对最强基线 ParallelProbeSR 的 19.30%;留出 HMMT25 上 77.28% 对 11.51%。去掉跨用户复用仍有 85.57/79.22/87.04/69.16,说明主要增益来自直接优化联合目标本身。消融(Figure 2)显示 warm-start 主要抬高初始搜索点、Guide 带来更稳定的留出增益。效率(Table 2):Guide 贡献大部分节省——相对无复用,仅 Guide 版把总时间/费用从 AIME 74.63 分钟/$10.30 降至 39.69/$6.64、HMMT 从 85.49/$12.34 降至 46.29/$7.87(约 -46%/-36%)。泛化(Figure 3):发现集 JSR 提升总体伴随留出提升,但存在持续差距。库规模(Table 3):源画像 20→100 时发现集 JSR 单调升(AIME 92.24→96.57),但 HMMT25 留出从 86.09 反转为 77.28。跨基准直接迁移(Table D.1)得 25.10/43.04,远超基线均值 4.14/10.14,但显著低于目标原生。

JSR (%; higher is better) across problem and profile splits
Table 1: JSR (%; higher is better) across problem and profile splits
Agent-call elapsed time and cost during target-profile discovery on discovery problems
Table 2: Agent-call elapsed time and cost during target-profile discovery on discovery problems
Experience-bank scaling: JSR (%) of the final discovery-selected policies
Table 3: Experience-bank scaling: JSR (%) of the final discovery-selected policies
Best-observed JSR on discovery sets across rounds
Figure 2: Best-observed JSR on discovery sets across rounds
Discovery-to-held-out generalization across rounds
Figure 3: Discovery-to-held-out generalization across rounds
查看结构化数据
任务指标本文基线提升
AIME24-25 目标画像(20 个未见用户画像)个性化策略质量 JSR (%),1000 重放种子 96.57 AutoTTS (β=1.0) 35.58;ParallelProbeSR 10.19;ASC/ESC 0.14 较最强外部基线 +60.99 个百分点
AIME26 留出题(30 题,不参与发现)策略泛化 JSR (%) 83.85 AutoTTS (β=1.0) 35.47;PersonTTS w/o reuse 79.22 较最强外部基线 +48.38 个百分点
HMMT24 目标画像 JSR (%) 90.86 最强外部基线 ParallelProbeSR 19.30;AutoTTS (β=1.0) 0.01 较最强外部基线 +71.56 个百分点
HMMT25 留出题策略泛化 JSR (%) 77.28 最强外部基线 ParallelProbeSR 11.51;PersonTTS w/o reuse 69.16 较最强外部基线 +65.77 个百分点
发现代理开销(AIME,5 轮总计,20 目标画像平均) 时间(分钟)| 费用(美元) 40.41 | 7.40 无复用变体 74.63 | 10.30 时间约 -45.8%,费用约 -28.2%
发现代理开销(HMMT,5 轮总计) 时间(分钟)| 费用(美元) 48.51 | 8.84 无复用变体 85.49 | 12.34 时间约 -43.3%,费用约 -28.4%
跨基准需求匹配策略直接迁移(AIME26←HMMT,无目标侧发现) JSR (%) 43.04(matched transfer) 基线均值 10.14 / 基线最大 35.47 较均值 +32.90 个百分点,但仍低于目标原生 83.85

局限与改进

作者承认的局限:实验限于 AIME/HMMT 数学推理与 6 个 Qwen3 模型,画像为模拟的操作需求而非真实用户流量;重放延迟是统计量(顺序阶段相加、并行阶段取 cohort 最大值)而非实测批处理墙钟时间,部署前需在目标工作负载上重新验证资源核算;JSR 依赖固定种子面板,种子只改变分支消费顺序、彼此并非独立发现运行;经验库扩展在 HMMT25 留出上出现反转(86.09→77.28),检索覆盖与跨题泛化并不单调挂钩;两种复用机制的增益不均匀可加。我自己的观察:其一,JSR 以种子批次为单元、延迟在题粒度取 max,单题级的用户体验(如个别题严重超时)会被聚合掩盖;其二,发现代理固定为 claude-opus-4-6,其先验强度与版本更替可能影响可复现性与结论外推;其三,画像可行率按 1260 个锚点配置定义,锚点族之外的控制器结构可能改变实际可行域,分层采样隐含了这一偏置;其四,5 个计分轮与 1 小时会话上限是经验设定,预算–收益曲线未系统报告;其五,留出题与发现题同属同期竞赛题,跨难度、跨学科的任务泛化未验证。

独立分析的弱点

独立分析的弱点:(1)不可行画像的冷启动问题——若某画像在锚点族内可行率接近 0(约束过紧),检索到的源控制器初始 JSR 可能极低,代理只能在狭小可行域内挣扎,5 轮预算未必够用;改进方向是先做可行性预检,不可行时向用户返回近优画像或给出松弛建议而非硬跑发现。(2)检索特征只有三维阈值的标准化欧氏距离,忽略题目分布、模型池版本等环境差异对控制器结构的影响——跨基准迁移实验(43.04 对 83.85)正说明这一点;可引入环境感知的检索特征或极轻量的目标侧微调。(3)Guide 是一次性冻结的自然语言规则,无法随经验库增长自动更新,每条规则也无可信度权重;可改为可增量更新、按证据等级加权的规则库。(4)JSR 评估用 1000 种子,虽然重放便宜,但推广到需要真实调用的昂贵环境时不可扩展,可研究序贯采样与 JSR 的置信区间估计来压缩评估开销。(5)延迟模型假设并行阶段取 cohort 最大值,忽略真实 serving 中的批处理干扰与排队效应,多租户场景下个性化延迟约束会系统性失真。

未来方向

作者提出的方向:把校准化覆盖或不确定性估计与感知请求频率的部署决策结合——当经验库对某画像足够可靠时直接复用匹配控制器,对高频或覆盖不足的画像在后台触发策略发现,把搜索成本摊销到未来请求上。基于本文成果可延伸的方向:(1)把式(9)的执行偏差界从事后诊断变为事前预测,训练元模型从画像距离与历史偏差预测 $r_\pi(s)$,据此决定是否值得热启动、是否需要目标侧重放;(2)在线持续学习:部署中收集真实种子反馈,增量更新经验库与 Guide,形成随用户群演化、带遗忘与淘汰机制的策略库;(3)把目标从满足单用户硬约束扩展到 SLA 分层(如 P95 而非 max 延迟)或多用户公平性;(4)把框架搬到代码生成、智能体工作流等单次调用更昂贵的场景,检验重放摊销假设是否仍成立;(5)针对 Table 3 的银行规模反转,研究检索置信度估计与主动库扩充——按可行率分层寻找稀疏区域,主动在这些区域补充源画像发现,而不是把库大小当作无脑收益的规模轴。

复现评估

复现评估:代码与数据已开源(github.com/WangXinglin/PersonTTS),是重要加分项。复现所需关键资产:(1)重放缓存——6 个 Qwen3 模型×约 150 道题×每对 128 条轨迹,采样参数完整给出(T=0.6、top-p 0.95、top-k 20、每 500 token 检查点、约 30 token 探测),此步需要可观 GPU 算力,尤其 32B 模型的大规模采样;(2)画像采样脚本、1260 锚点网格与 maximin 分层流程在附录 B.3 完整描述,采样种子 20260901 可复现;(3)发现代理用 claude-opus-4-6,每个画像 5 轮约 $6.6-12.8、40-85 分钟,完整复现 2 基准×20 目标画像×4 变体的消融约需数百美元 API 费用;(4)Guide 蒸馏元提示在附录 H 全文公开,源经验规模为 200 训练画像、488 个失败提议、800 个观测转移。算法、策略 API、提示、证明分别在附录 A/G/F/E 给全。总体难度中等偏高:门槛主要在重放缓存的 GPU 成本与发现代理的 API 费用,而非方法理解难度。

相似论文推荐