从帕累托到偏好:通过摊销式智能体策略发现实现个性化测试时扩展 From Pareto to Preference: Personalized Test-Time Scaling via Amortized Agentic Policy Discovery
把测试时扩展目标从单维帕累托前沿转向用户三维需求的联合满足率,并用跨用户经验复用摊销策略发现开销
前置知识
测试时扩展 (Test-Time Scaling, TTS)
指在推理阶段为 LLM 分配额外计算来提升推理能力的技术总称,包括并行采样多条推理路径后投票聚合(如 Self-Consistency)、迭代反馈精修(如 Self-Refine)、以及在中间推理状态上做结构化搜索(如 Tree of Thoughts)。它不改变模型权重,只改变推理时「想多少、怎么想」,代价是推理开销显著增加。
本文的全部问题域建立在 TTS 之上——个性化 TTS 研究的正是「在用户给定的精度、延迟、成本约束下,应该执行什么样的 TTS 控制策略」。
帕累托前沿 (Pareto Frontier)
多目标优化中无法在不损害任一目标的情况下改进另一目标的解集合。在 TTS 语境下,精度–成本帕累托前沿是一组「再省一点算力就必然掉精度」的策略集合,精度–延迟前沿类似。现有高效 TTS 工作大多在推进其中某一条前沿。
本文的核心批评是:用户的三维联合需求区域可能不被任何单资源维度的支配区域覆盖,优化单一帕累托前沿会漏掉能同时满足三条约束的控制器,这正是标题「从帕累托到偏好」的含义。
联合满足率 (Joint Satisfaction Rate, JSR)
本文定义的核心指标:在固定题目集与种子面板 $\Omega$ 上,对每个种子批次(一次完整评测)检查是否同时满足 $A \ge a_u$、$L \le L_u$、$C \le C_u$ 三条硬约束,JSR 即满足全部约束的批次占比 $\hat{S}_u(\pi) = \frac{1}{|\Omega|}\sum_{s}\mathbf{1}[\text{三条约束同时成立}]$。
JSR 是发现代理唯一的接受标准,也是所有实验的汇报指标;理解它才能理解为什么边际通过率不足以决策、为什么候选必须按目标画像重放评估。
离线重放 (Offline Replay)
先对每道题×每个模型预采样固定数量(128 条)带检查点的推理轨迹存入缓存,之后候选控制器的评估只在缓存上进行:控制器的动作(开分支、续写、精修、剪枝、终止)只决定消费缓存中的哪些分支与检查点,因此评估无需再调用任务模型,可在 CPU 上确定性完成。
重放使「每个候选在 1000 个种子上评估」在经济上可行,是整个策略发现循环(继承自 AutoTTS)的计算底座;没有它,逐候选评估的代价无法承受。
智能体策略发现 (Agentic Policy Discovery)
用 LLM 代理作为搜索器,迭代地提出、评估、修订可执行工件(算法、程序、工作流)的自动化设计范式:代理读取执行反馈与搜索历史并写出候选代码,外部评估器负责执行与打分,只有严格改进才替换现任方案,代理自身参数不变、改的是程序代码。
PersonTTS 的方法主体就是这样一个循环,本文的贡献在于为它更换 JSR 目标,并加入跨用户经验复用(需求匹配检索热启动 + 蒸馏出的程序性 Guide)。
自适应自洽性 (ASC / ESC)
Self-Consistency 的效率改进版:ASC(Adaptive-Consistency)在采样过程中发现新答案趋于一致时提前停止采样;ESC(Early-Stopping Self-Consistency)依据逐步证据判断何时停止。二者固定模型、宽度、深度与精修配置,只在运行时决定停不停。
它们是 Table 1 中的外部基线,其 JSR 接近 0 的实验结果直观说明:固定配置的预定义推理策略几乎无法满足多维联合的用户需求。
研究动机
现有高效 TTS 方法几乎都在优化单一资源维度的帕累托前沿:要么推进精度–成本前沿(如 AutoTTS 用标量 $\beta$ 权衡精度与成本),要么推进精度–延迟前沿(如延迟感知采样、各类早停方法)。但真实用户的需求是多维联合的:例如在线推理服务的一个用户可能同时要求准确率不低于某阈值、单题最大延迟不超过某上限、单题平均推理成本不超过某预算。作者用 Figure 1 直观展示:精度–成本优化得到的 3D 支配区域与精度–延迟优化的支配区域并不相同,二者合起来仍可能遗漏能同时满足三维约束的控制器——同一批题目上,不同的需求组合会青睐不同的控制器。更棘手的是开销问题:按 AutoTTS 的协议,为一个目标做一次完整的策略发现约需 39.9 美元和 160 分钟的代理调用,若每个新用户画像都独立跑一遍完整发现,在实际服务中根本不可行。因此既要更换优化目标,又要解决逐用户重复发现的开销。
本文的目标是本文把个性化测试时扩展(Personalized TTS)形式化为一个可自动求解的问题:给定用户画像 $u=(a_u, L_u, C_u)$——准确率下限、单题最大重放延迟上限、单题平均加权推理成本上限——自动发现可执行控制器代码,使其在固定发现集与 1000 个重放种子上的联合满足率(JSR)最大化,JSR 定义为同时满足全部三条硬约束的种子批次所占比例。同时,在保留「每个候选都必须在目标画像下重放评估」这一原则的前提下,通过跨用户复用历史发现经验来摊销开销:从经验库检索需求最相近的源控制器做热启动初始化,并把源画像发现史蒸馏成程序性指南(Guide)指导后续修订。最终目标是在未见过的用户画像和留出题目上大幅超越现有 TTS 基线,同时显著降低发现代理的时间与货币成本。
与已有工作不同的是,独特切入角度有三点。第一,目标函数换轴:不沿精度–资源帕累托前沿推进,而是直接最大化命中用户偏好区域(三维约束交集)的概率,这是从 Pareto 到 preference 的视角转变。第二,复用对象不同:SWIFT、FlowBank 等工作跨查询复用工作流,本文跨用户需求画像复用——检索时把资源上限做对数变换并按源画像集合标准化,用等权欧氏距离匹配;并且理论上(式 8 的分解)说明换画像既改变判定阈值又改变控制器执行,源画像上的得分无法替代目标画像重放,因此复用只用于初始化与指导、最终选择仍靠目标评估。第三,把 JSR 作为一阶目标还引出对诊断信息极限的分析:作者用构造性反例(Table E.1)证明两个策略即使边际分布完全相同,更换阈值后排名也会反转,这为「为什么要保留目标侧重放」提供了理论依据,而不仅仅是工程直觉。
核心方法
直觉上,PersonTTS 把「为某用户设计推理策略」变成「让 LLM 代理在离线重放环境里改代码、按该用户三维需求的联合满足率选代码」的搜索循环,再用过去用户的搜索经验让这个循环冷启动更快、修订更准。技术路线分三层。第一层是重放底座:对每道题×每个模型预采样 128 条带检查点(每 500 个 thinking token 一个)和中间答案探测(约 30 token 一次)的轨迹,最多 5 个自我精修阶段;控制器只消费缓存,评估无需新调用任务模型,且不向控制器暴露题目文本和正确性标签。第二层是代理发现循环:LLM 代理(claude-opus-4-6)读取需求画像、历史代码与反馈、脱敏轨迹摘要和 Guide,每轮提交一个 candidate.py,经外部静态校验后在 1000 个种子上重放评分,只有 JSR 严格提升才替换现任控制器,共 5 个计分轮。第三层是跨用户复用:从经验库按需求相似度检索源控制器热启动,加上从源发现史蒸馏出的冻结 Guide 指导后续修订,二者都只影响「从哪开始、怎么改」,不影响「如何评判」。
核心创新是「摊销式智能体策略发现」:把每个新用户画像的策略发现成本通过两种跨用户复用摊销掉。其一是需求匹配的策略初始化(warm-start):把画像表示为 $x(u)=(a_u, \ln L_u, \ln C_u)$,在兼容源画像集合上标准化为 $z_{e,j}(u)=\frac{x_j(u)-\mu_{e,j}}{\sigma_{e,j}}$,按等权欧氏距离选最近源控制器 $\rho_u$ 做初始代码,并在其下按目标画像重放得到初始反馈 $F_0$——而不是直接相信它在源画像上的分数。其二是程序性技能蒸馏:让代理对比源画像下各候选的代码改动与评估反馈、执行轨迹的关联,蒸馏成含 Rule ID/Trigger/Evidence/Action/Verify 结构的冻结 STRATEGY_GUIDE.md,教代理「何时该改什么、怎么验证」而非「抄哪个策略」。与 AutoTTS 的本质区别在于:AutoTTS 用标量 $\beta$ 折中精度与成本、单次发现只服务一个目标,PersonTTS 直接优化三维联合满足率并让经验跨用户流动,同时保留目标画像重放作为唯一选择依据。
方法步骤详情
流程如下。第一步,离线建缓存:对 6 个 Qwen3 模型×每道题采样 128 条轨迹(温度 0.6、top-p 0.95、top-k 20),每 500 thinking token 设检查点、约每 30 token 探测一次当前答案,最多 5 个精修阶段;缓存含 token 计数与时延记录,不暴露题目文本与正确性标签。第二步,画像采样:在 $6\times5\times7\times6=1260$ 个锚点配置上以 100 种子重放校准出经验分位数,独立抽取三维阈值构成画像,按可行率分五层做 maximin 覆盖采样,每基准 100 个源画像、20 个互不重复的目标画像。第三步,初始化:检索需求最近的源控制器 $\rho_u$,在目标画像下重放得到 $F_0=(X_t, \zeta_t, T_t)$,即 JSR、各约束通过率与余量、脱敏轨迹。第四步,迭代发现:代理按式(4)提议候选 $\pi_{u,t}$,静态校验后在 1000 种子上重放评分,严格优于现任才替换,共 $B=5$ 轮。第五步,冻结发现集上 JSR 最高的策略,在留出题上评测,留出结果从不反馈给代理。
技术新颖性
新颖性体现在四层。问题层:首次把个性化 TTS 定义为用户条件下的可执行控制器发现,以 JSR 为目标——它是种子批次上联合指示函数的均值 $\hat{S}_u(\pi)=\frac{1}{|\Omega|}\sum_s \mathbf{1}[A\ge a_u\wedge L\le L_u\wedge C\le C_u]$,与标量化多目标有本质区别,联合指示不可分解为边际。理论层:给出 JSR 变化的分解 $f_{v,\Omega}(\pi)-f_{u,\Omega}(\pi)=[\bar{f}_\pi-f_{u,\Omega}(\pi)]+[f_{v,\Omega}(\pi)-\bar{f}_\pi]$,即阈值变化项加执行变化项,并给出上下界 $F_\pi^-\le f_{v,\Omega}(\pi)\le F_\pi^+$,界取决于执行偏差 $r_\pi(s)$ 而非画像距离,为「检索只做初始化、选择必须目标侧重放」提供依据;合成反例还证明边际分布完全相同也可排名反转。系统层:经验库 + 检索热启动 + 冻结 Guide 的组合,复用的是「怎么搜」而非「搜到什么」,区别于复制技能或预计算工作流。诊断层:命题 2 刻画了约束通过率能识别与不能识别的单约束失效范围。
实验结果
主结果(Table 1):AIME24-25 目标画像上 PersonTTS 达 96.57% JSR,最强外部基线 AutoTTS($\beta$=1.0) 仅 35.58%,ASC/ESC 仅 0.14%;留出 AIME26 上 83.85% 对 35.47%。HMMT24 上 90.86% 对最强基线 ParallelProbeSR 的 19.30%;留出 HMMT25 上 77.28% 对 11.51%。去掉跨用户复用仍有 85.57/79.22/87.04/69.16,说明主要增益来自直接优化联合目标本身。消融(Figure 2)显示 warm-start 主要抬高初始搜索点、Guide 带来更稳定的留出增益。效率(Table 2):Guide 贡献大部分节省——相对无复用,仅 Guide 版把总时间/费用从 AIME 74.63 分钟/$10.30 降至 39.69/$6.64、HMMT 从 85.49/$12.34 降至 46.29/$7.87(约 -46%/-36%)。泛化(Figure 3):发现集 JSR 提升总体伴随留出提升,但存在持续差距。库规模(Table 3):源画像 20→100 时发现集 JSR 单调升(AIME 92.24→96.57),但 HMMT25 留出从 86.09 反转为 77.28。跨基准直接迁移(Table D.1)得 25.10/43.04,远超基线均值 4.14/10.14,但显著低于目标原生。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| AIME24-25 目标画像(20 个未见用户画像)个性化策略质量 | JSR (%),1000 重放种子 | 96.57 | AutoTTS (β=1.0) 35.58;ParallelProbeSR 10.19;ASC/ESC 0.14 | 较最强外部基线 +60.99 个百分点 |
| AIME26 留出题(30 题,不参与发现)策略泛化 | JSR (%) | 83.85 | AutoTTS (β=1.0) 35.47;PersonTTS w/o reuse 79.22 | 较最强外部基线 +48.38 个百分点 |
| HMMT24 目标画像 | JSR (%) | 90.86 | 最强外部基线 ParallelProbeSR 19.30;AutoTTS (β=1.0) 0.01 | 较最强外部基线 +71.56 个百分点 |
| HMMT25 留出题策略泛化 | JSR (%) | 77.28 | 最强外部基线 ParallelProbeSR 11.51;PersonTTS w/o reuse 69.16 | 较最强外部基线 +65.77 个百分点 |
| 发现代理开销(AIME,5 轮总计,20 目标画像平均) | 时间(分钟)| 费用(美元) | 40.41 | 7.40 | 无复用变体 74.63 | 10.30 | 时间约 -45.8%,费用约 -28.2% |
| 发现代理开销(HMMT,5 轮总计) | 时间(分钟)| 费用(美元) | 48.51 | 8.84 | 无复用变体 85.49 | 12.34 | 时间约 -43.3%,费用约 -28.4% |
| 跨基准需求匹配策略直接迁移(AIME26←HMMT,无目标侧发现) | JSR (%) | 43.04(matched transfer) | 基线均值 10.14 / 基线最大 35.47 | 较均值 +32.90 个百分点,但仍低于目标原生 83.85 |
局限与改进
作者承认的局限:实验限于 AIME/HMMT 数学推理与 6 个 Qwen3 模型,画像为模拟的操作需求而非真实用户流量;重放延迟是统计量(顺序阶段相加、并行阶段取 cohort 最大值)而非实测批处理墙钟时间,部署前需在目标工作负载上重新验证资源核算;JSR 依赖固定种子面板,种子只改变分支消费顺序、彼此并非独立发现运行;经验库扩展在 HMMT25 留出上出现反转(86.09→77.28),检索覆盖与跨题泛化并不单调挂钩;两种复用机制的增益不均匀可加。我自己的观察:其一,JSR 以种子批次为单元、延迟在题粒度取 max,单题级的用户体验(如个别题严重超时)会被聚合掩盖;其二,发现代理固定为 claude-opus-4-6,其先验强度与版本更替可能影响可复现性与结论外推;其三,画像可行率按 1260 个锚点配置定义,锚点族之外的控制器结构可能改变实际可行域,分层采样隐含了这一偏置;其四,5 个计分轮与 1 小时会话上限是经验设定,预算–收益曲线未系统报告;其五,留出题与发现题同属同期竞赛题,跨难度、跨学科的任务泛化未验证。
独立分析的弱点
独立分析的弱点:(1)不可行画像的冷启动问题——若某画像在锚点族内可行率接近 0(约束过紧),检索到的源控制器初始 JSR 可能极低,代理只能在狭小可行域内挣扎,5 轮预算未必够用;改进方向是先做可行性预检,不可行时向用户返回近优画像或给出松弛建议而非硬跑发现。(2)检索特征只有三维阈值的标准化欧氏距离,忽略题目分布、模型池版本等环境差异对控制器结构的影响——跨基准迁移实验(43.04 对 83.85)正说明这一点;可引入环境感知的检索特征或极轻量的目标侧微调。(3)Guide 是一次性冻结的自然语言规则,无法随经验库增长自动更新,每条规则也无可信度权重;可改为可增量更新、按证据等级加权的规则库。(4)JSR 评估用 1000 种子,虽然重放便宜,但推广到需要真实调用的昂贵环境时不可扩展,可研究序贯采样与 JSR 的置信区间估计来压缩评估开销。(5)延迟模型假设并行阶段取 cohort 最大值,忽略真实 serving 中的批处理干扰与排队效应,多租户场景下个性化延迟约束会系统性失真。
未来方向
作者提出的方向:把校准化覆盖或不确定性估计与感知请求频率的部署决策结合——当经验库对某画像足够可靠时直接复用匹配控制器,对高频或覆盖不足的画像在后台触发策略发现,把搜索成本摊销到未来请求上。基于本文成果可延伸的方向:(1)把式(9)的执行偏差界从事后诊断变为事前预测,训练元模型从画像距离与历史偏差预测 $r_\pi(s)$,据此决定是否值得热启动、是否需要目标侧重放;(2)在线持续学习:部署中收集真实种子反馈,增量更新经验库与 Guide,形成随用户群演化、带遗忘与淘汰机制的策略库;(3)把目标从满足单用户硬约束扩展到 SLA 分层(如 P95 而非 max 延迟)或多用户公平性;(4)把框架搬到代码生成、智能体工作流等单次调用更昂贵的场景,检验重放摊销假设是否仍成立;(5)针对 Table 3 的银行规模反转,研究检索置信度估计与主动库扩充——按可行率分层寻找稀疏区域,主动在这些区域补充源画像发现,而不是把库大小当作无脑收益的规模轴。
复现评估
复现评估:代码与数据已开源(github.com/WangXinglin/PersonTTS),是重要加分项。复现所需关键资产:(1)重放缓存——6 个 Qwen3 模型×约 150 道题×每对 128 条轨迹,采样参数完整给出(T=0.6、top-p 0.95、top-k 20、每 500 token 检查点、约 30 token 探测),此步需要可观 GPU 算力,尤其 32B 模型的大规模采样;(2)画像采样脚本、1260 锚点网格与 maximin 分层流程在附录 B.3 完整描述,采样种子 20260901 可复现;(3)发现代理用 claude-opus-4-6,每个画像 5 轮约 $6.6-12.8、40-85 分钟,完整复现 2 基准×20 目标画像×4 变体的消融约需数百美元 API 费用;(4)Guide 蒸馏元提示在附录 H 全文公开,源经验规模为 200 训练画像、488 个失败提议、800 个观测转移。算法、策略 API、提示、证明分别在附录 A/G/F/E 给全。总体难度中等偏高:门槛主要在重放缓存的 GPU 成本与发现代理的 API 费用,而非方法理解难度。
论文图表
总览图,分三块。上块展示问题设定:用户画像 $u=(a_u, L_u, C_u)$ 定义需求区域 $R_u$,系统可行域为 $S$,目标是命中联合可满足区域 $S\cap R_u$。左下块对比现有方法:精度–延迟优化与精度–成本优化各自得到的策略集合及其 3D 支配区域,说明成对帕累托前沿的支配区域可能漏掉联合可满足的策略。右下块展示 PersonTTS 的用户条件策略发现:逐轮提出候选控制器 $\pi_{u,t}$、按联合满足率选出 $\pi_u^{best}$,以及跨用户复用机制(需求匹配的初始控制器 $\rho_u$ 与源蒸馏的条件修订规则 Guide、外部重放评估器)。
一图同时呈现问题动机(帕累托方法的盲区)与方法框架(重放引导的控制器发现),是理解全文核心转变「从帕累托到偏好」的钥匙。
附录 F 给出的完整策略发现代理提示,包含系统消息与用户消息:只允许写 candidate.py 的工作区限制;硬数据边界(禁止访问父目录、私有重放缓存、留出数据、题目文本、金标答案、原始推理与反馈,禁止整读轨迹 JSONL);模型可用性规则(env.models 才是权威模型池,轨迹中观察到的子集不能当作全集);算法契约(spawn 时绑定模型不可换、refine 仅在阶段终止时合法、个性化模式无 beta、必须直接使用三条硬阈值);优化目标为画像加权的同时满足三约束的批次比例,且只有严格超过现任效用才接受。
复现发现循环的第一手材料,完整揭示了代理可见什么、不可见什么、按什么标准被接受,是理解信息隔离与防作弊设计的关键。
附录 G 定义的控制器公开接口:CandidatePolicy 需暴露 solve(env),可见 env.models(完整模型池)、env.requirements(三条硬约束画像)、env.observe()(模型池计数、已开分支、已计费成本)等;动作包括 spawn/spawn_many、continue_branch/continue_many、refine/refine_many、prune、finish(缺省时确定性多数投票);分支字典含 branch_id、model、stage、checkpoint、latest_answer、answer_history、can_continue、can_refine、pruned 等字段;候选代码禁止 I/O、子进程、网络、动态导入、反射与外部私有属性访问。
给出正文动作空间 $\mathcal{A}_e=\{\text{Spawn}, \text{Continue}, \text{Refine}, \text{Prune}, \text{Finish}\}$ 的精确落地版本,是理解「可执行控制器」含义与复现实验的接口规范。
附录 H 的 Guide 生成元提示:从授权的发现经验库中盘点-对齐-分析历史(恢复候选/现任/父代/反馈关系,区分满意度变化与相对现任的进展),把对比提炼为带 Rule ID、Trigger、Evidence、Action、Verify 的条件规则,证据须标注 MECHANISM/OBSERVATION/HYPOTHESIS/INCONCLUSIVE 等级;输出按 Environment Contracts、Local Calibration、Conditional Search Heuristics、Decision Flow、Failure Diagnosis 组织的 STRATEGY_GUIDE.md 与配套 SKILL_EVIDENCE.md,最后冻结。
展示「蒸馏如何搜索而非复制哪个策略」这一核心机制的具体实现,说明 Guide 与简单经验总结的区别在于条件化规则、证据溯源与适用边界。
附录 I 从训练集发现轨迹蒸馏出的九步控制器设计工作流:先读 Guide 再看轨迹;用轨迹摘要校准重放成本模型(并行取 cohort 最大时延、加权 compute 求和);以联合硬约束效用为唯一优化目标;先构造可行策略再优化质量(不可行就换更轻的模型);按瓶颈匹配深度与宽度(精度常是瓶颈,深度在精度绑定时加、资源绑定时减);把早停与精修当作需验证联合效用的条件机制;改参数前先读各约束通过率与余量做失败诊断(修最低单约束通过率未必提升联合率);只动用已验证的资源余量;注明经验范围(488 个失败提议、800 个观测转移、200 个训练画像)。
Guide 内容的实例化样本,让读者看到跨用户蒸馏出的程序性知识长什么样、如何指导新画像下的初始化与修订设计。
附录 B.3 画像校准的笛卡尔网格:模型取 6 个 Qwen3(0.6B-32B)、rollout 宽度取 {1,4,8,16,64}、每阶段深度检查点限制取 {1,2,4,8,16,32,66}、自我精修限制取 {0,1,2,3,4,5},共 6×5×7×6=1260 个锚点配置;每配置在 60 道 AIME 或 30 道 HMMT 发现题上以 100 种子重放,记录 (A, L, C) 汇总,用于构造经验分位数 $Q_A, Q_L, Q_C$ 与画像可行率 $FR(u)$。
理解用户画像从何而来、难度分层与 maximin 采样如何执行的基础:三维阈值是从锚点族的经验分位数独立抽取的,可行率定义了画像难度。
把系统拆成三个组件并列出各自的输入与权限:控制器只见需求、模型可用性、剩余 rollout、分支进度、答案历史与资源账本,只能执行许可动作;发现代理见起始代码、可访问的代码/反馈历史、有界脱敏轨迹摘要与可选 Guide,只能编辑 candidate.py、不能自行执行或打分;外部评估器持有提交代码、重放缓存与参考答案,负责执行、记账、对答案并返回许可的反馈。静态校验禁止文件、网络与反射访问。
说明保证 JSR 评估可信的信息隔离设计:代理拿不到金标答案也无法自评,选择权完全在外部目标画像重放手中。
跨基准直接迁移实验:把另一基准上按需求相似度检索到的策略不加修改地用于目标基准。HMMT25(←AIME):匹配迁移 25.10%,基线均值 4.14%、最大 11.51%;AIME26(←HMMT):匹配迁移 43.04%,基线均值 10.14%、最大 35.47%。两者都远高于基线,但显著低于目标原生 PersonTTS 的 77.28/83.85。
单独检验需求匹配检索在完全没有目标侧发现时的迁移能力,支撑「检索是有用的初始化先验、而非目标侧发现的替代品」这一关键论断。
构造性反例:两个策略 π 与 π′ 在 3 个种子上的(批精度、最大题延迟、平均题成本)三元组边际完全相同——A 多重集均为 {1,1,0.5},L 均为 {1,2,3},C 均为 {1,1,3},跨种子均值同为 (5/6, 2, 5/3)。但在 u=(0.75,1.5,2) 下 π 得 0、π′ 得 1/3;只放宽时延上限到 v=(0.75,3.5,2) 后 π 得 2/3、π′ 仍 1/3,排名从领先 1/3 反转为落后 1/3,验证了反转判据 $n_\pi - n_{\pi'} > m\bar\Delta_u$。
证明即使完全的边际分布(遑论均值或单约束通过率)也无法决定联合满足率与策略比较方向,是「必须逐目标画像重放评估、不能只做阈值重标定」的理论动机。