面向测试时智能体个性化的信息导向对决式人格选择（ID-TAP） Bridging Exploration and Persona: Information-Directed Dueling for Test-Time Agent Personalization
以信息比率为核心的对决老虎机框架，10轮二选一反馈内从400个人格中选出最优个性化人格
前置知识
对决老虎机
对决老虎机是老虎机问题的偏好反馈变体：算法每轮选出两个“臂”（此处为两个候选人格并各自生成回答），环境只返回一个二值结果——用户更偏好哪个响应，而不暴露任何绝对分数。学习目标是在无奖励数值的条件下找出期望效用最高的臂。它把 RLHF 式的两两比较压缩成极轻量的在线交互信号，非常适合每轮只能请用户做一次“A 还是 B”选择的个性化场景。
ID-TAP 的整个在线阶段就是一个 K 臂对决老虎机：冠军臂负责利用、挑战臂负责探索。不理解这个抽象，就看不懂算法 1 的主循环和论文的问题定义（第 2.3 节）。
Bradley–Terry（BT）模型
BT 模型为每个候选 $i$ 分配强度参数 $\theta_i$，假设 $i$ 胜过 $j$ 的概率为 $P(i\succ j)=\sigma(\theta_i-\theta_j)$。给定胜负计数 $w_{ij},n_{ij}$，可用 minorization–maximization（MM）迭代 $\pi_i\leftarrow W_i/\sum_{j\neq i}\tilde n_{ij}/(\pi_i+\pi_j)$ 拟合强度。本文加对称 Beta 平滑 $\alpha=0.7$，未观测的对取中性概率 0.5。
System 2 探索器就是一个 query 局部的 BT 模型：熵减代理、假设结果模拟、跨 query 暖启动全部建立在 BT 计数与强度估计之上（第 3.2 节与附录 A）。
信息导向采样
IDS 是一种采集准则：选择使“信息比率”（预期效用损失平方除以信息增益）最小的动作，即用最小的预期性能代价换取最大的后验不确定性下降。本文用其插件式代理：挑战者 $p^{t,2}_q=\arg\min_p\hat\Delta_t(p)^2/\max\{\tilde g_t,\epsilon_g\}$，分子是神经效用差，分母是 BT 归一化强度分布的期望熵减 $\tilde g_t=\max\{0,H(\tilde\pi_t)-\mathbb E_y[H(\tilde\pi^{(y)}_t)]\}$。
这是挑战者选择规则的全部数学，也是标题中 Information-Directed 的由来；不看懂式 (3)(4) 的比率结构，就无法理解本文与 UCB/Thompson 采样系方法的本质差别。
UCB 与 Thompson 采样
UCB 按置信上界乐观选臂，Thompson 采样从后验分布中采样臂参数再据此选择，二者是经典探索范式。对决版本如 Double Thompson Sampling（D-TS）同时采样冠军和败者，神经 UCB（POHF）把置信半径接到神经网络输出上。本文实验显示这类规则在大而稠密的人格池中会重复访问相似挑战者（Arm-2 探索率仅 16–67%），优化更慢。
POHF 与 PDO Sampling（即 D-TS 组件）是本文两个主要在线学习基线，理解它们的探索机制才能解释 ID-TAP 为什么能在同样的 10 轮预算内领先。
人格提示与测试时适应
人格（persona）是描述行为、语气与任务偏好的 prompt 级文本，从用户历史 $C$ 离线归纳出候选池 $P(C)=\{p_1,\dots,p_K\}$（本文 K=400）。测试时适应（TTA）指不改动 LLM 权重、只在推理阶段依据反馈调整行为——此处即在线挑选人格。相邻人格如“stern tutor”与“strict mentor”语义嵌入几乎重合，却可能引出截然不同的输出。
论文把个性化形式化为“从固定人格池中为每个 query 选一个”，离线-在线两阶段协议、query 条件最优人格 $p^{*,q}=\arg\max_p u(q,p)$ 都由此展开。
ROUGE-L 与 LLM-as-Judge
ROUGE-L 基于最长公共子序列衡量候选与参考文本的重叠度；LLM-as-Judge 让评审模型对匿名化（位置随机化）的响应对输出 1/0 偏好。本文用二者构造离线代理用户：ROUGE-L 分数经 BTL 模型 $P=\exp(s_1)/(\exp(s_1)+\exp(s_2))$ 采样出二值结果；LLM 评审则综合任务完成度、组织连贯性与参考文本体现的风格给出偏好。
全部实验都靠这两类代理反馈替代真人；主表的归一化 R.L. 与最终 W.R. 两个指标也分别由它们定义，是读懂第 4 节实验协议的前提。
研究动机
LLM 智能体的语气与行为风格高度依赖推理时给出的指令，个性化要求为每个具体请求适配行为，但现有方案各有痛点。PersonaAgent 用语言反馈在测试时合成用户信息，缺乏可量化的在线偏好信号；POHF 与 PDO 把偏好驱动的提示优化建模为老虎机，分别用神经 UCB 与 Double Thompson Sampling 探索，但作者发现在这类人格池上它们会较频繁地重复选中同一挑战者、聚合性能更低。场景本身还有三个难点：偏好是隐式且带噪的，二选一比较几乎是唯一廉价的监督信号；最佳人格随 query 变化（头脑风暴要“创意协作者”，改稿要“严格批评家”）；候选池大且语义稠密——K=400 个人格、平均成对余弦相似度 0.657–0.716，“stern tutor”与“strict mentor”这类近似描述可能引出截然不同的输出。要在每个 query 仅 10 轮比较的预算内从中识别最优人格，探索必须在信息效率上高度优化。
本文的目标是本文目标是构建可扩展的挑战者选择框架 ID-TAP：以二值偏好为唯一在线信号，在固定 T=10 轮比较预算内，为每个新 query 从大型离散人格池（K=400）中识别 query 条件下最优人格 $p^{*,q}=\arg\max_{p\in P(C)}u(q,p)$。目标拆成三个技术要求：一是 query 条件化的效用估计，让神经模型在相关 query 间共享统计强度、同时保留各 query 特有分数；二是轻量的假设性比较评估，使每轮能对全部 K−1 个候选挑战者各模拟两种结果（共 $2(K-1)$ 次 BT 重估计）仍保持实时；三是跨 query 的证据迁移，把历史 query 积累的比较计数按相似度加权复用。最终在 7 个用户条件生成基准、两种偏好模拟器下取得所比较方法中最强的聚合成绩，并在约 4 轮模拟反馈后反超最强基线。
与已有工作不同的是，独特切入角度在于“联合设计”而非单一新算法。此前 IDS 理论（Russo & Van Roy 2018；Kirschner 等 2020；Pásztor 等 2024）与神经对决老虎机（Verma 等 2025）给出了通用的信息比率目标或分析，但没人回答黑盒 LLM 个性化提出的系统问题：如何在每轮只做一次神经更新的约束下，对 LLM 生成的大型离散人格池逐候选评分。ID-TAP 的答案是双系统解耦——全局效用学习交给神经模型（每观测一次比较才更新一次），局部不确定性估计交给轻量 BT-MLE 探索器（便宜到可以每轮模拟 $2(K-1)$ 个假设结果）；再辅以相似度加权的 BT 计数暖启动，让每个历史 query 的局部计数增量至多以“一个 query 当量”的质量进入新 query 的初始化。把 IDS 原则落地为“神经效用差 ÷ BT 熵减代理”的采集比率，是本文区别于 UCB/TS 系工作的关键。
核心方法
直觉上，ID-TAP 像一位聪明的访谈者：每轮先展示当前最看好人格的回答（冠军），再有意选一个“既能挑战冠军、又最值得问”的候选（挑战者），请用户二选一，然后同时更新长期记忆与当轮局账。技术路线分两段。离线阶段从用户历史 $C$ 归纳人格池 $P(C)=\{p_1,\dots,p_K\}$（K=400）：LLM 先生成 150–300 词基础画像，再以有界变化方式迭代改写（每 R=15 次重置防语义漂移）。在线阶段对每个 query $q$ 进行 T=10 轮：冠军 $p^{t,1}_q=\arg\max_p f_\theta(q,p)$ 由跨 query 共享的神经效用模型给出；挑战者 $p^{t,2}_q=\arg\min_{p\neq p^{t,1}_q}\hat\Delta_t(p)^2/\max\{\tilde g_t,\epsilon_g\}$ 由 IDS 式采集比率给出，$\hat\Delta_t(p)=f_\theta(q,p^{t,1}_q)-f_\theta(q,p)$ 是神经效用差，$\tilde g_t$ 是 BT 熵减代理。生成两个响应、获得一个二值偏好 $y^t_q$ 后，神经模型以 BCE 在全量比较数据上更新一次，BT 计数做局部增量更新。T 轮后以 $\hat p^q_T=\arg\max_p f_\theta(q,p)$ 生成最终答案，并把本地 BT 增量存档供后续 query 暖启动。
核心创新是把 IDS 的信息比率原则改造成可在大型离散池上实时计算的插件式准则，并用双系统架构实现。比率分子 $\hat\Delta_t(p)^2$ 来自 System 1（神经效用模型），度量选错挑战者的预期效用代价；分母 $\tilde g_t$ 来自 System 2（BT-MLE 探索器）：先把 BT 强度归一化为 $\tilde\pi^t_q(k)=\mathrm{softmax}(\hat\theta^t_q/\tau)_k$（$\tau=4.5$），对冠军-挑战者对模拟 $y\in\{0,1\}$ 两种结果、各做一次 MM 重估计并重算熵，得期望熵减 $\tilde g_t=\max\{0,H(\tilde\pi^t_q)-\mathbb E_y[H(\tilde\pi^{(y),t}_q)]\}$。最小化比率即“效用损失小、排名不确定性下降大”者胜出。与既有方法的本质区别：POHF 靠乐观主义、PDO 的 D-TS 靠后验采样，都倾向重复访问相似挑战者（探索率 16–67%，池更稠密时再降 7.5–8.8 个百分点）；ID-TAP 以“每单位预期效用损失换取的信息量”排序，探索率稳定在 71.9–95.3%、换池波动不超过 1.5 个百分点。跨 query 迁移上，暖启动权重 $b_k=\sigma(\beta_{sim}(\mathrm{sim}(q,q_k)-\mu_{sim}))$ 经归一化 $a_k=b_k/\max\{1,\sum_\ell b_\ell\}$ 把继承总质量封顶为一个 query 当量，防止过度迁移。
方法步骤详情
六步流程。(1) 离线人格归纳：从历史 $C$ 生成 150–300 词基础画像并迭代改写 K=400 个变体（每 15 次重置防漂移），用 Qwen3-Embedding-4B 嵌入人格与 query（$d_{emb}=1024$）。(2) 新 query 初始化：按算法 2 暖启动 BT——$b_k=\sigma(\beta_{sim}(\cos(e_q,e_{q_k})-\mu_{sim}))$、$a_k=b_k/\max\{1,\sum b_\ell\}$、$(W'_q,N'_q)=\sum_{k<q}a_k(\Delta W^{(k)},\Delta N^{(k)})$；无历史则中性 $P_q=0.5$；平滑概率 $P_{ij}=(w_{ij}+\alpha)/(n_{ij}+2\alpha)$（$\alpha=0.7$）。(3) 选冠军：$p^{t,1}_q=\arg\max_p f_\theta(q,p)$，$f_\theta$ 为单隐层（1024 维 GELU）前馈网，输入 query 与人格嵌入拼接。(4) 选挑战者：对每个候选算 $\hat\Delta_t(p)$，BT 探索器对两种假设结果各做 MM 重估计并重算熵得 $\tilde g_t$，取比率最小者（$\epsilon_g=10^{-8}$）。(5) 交互：DeepSeek-V3.2（温度 0.6）生成两个响应，获得 $y^t_q\in\{0,1\}$。(6) 更新收尾：神经网以 BCE、AdamW（$5\times10^{-4}$、100 epochs、batch 4、梯度裁剪 1.0）更新，BT 增量 $\Delta W_q,\Delta N_q$ 存档；T=10 轮后输出 $\hat p^q_T$ 并生成最终答案。
技术新颖性
技术新颖性体现在四处。其一，IDS 的插件化：精确 IDS 需对后验积分，本文用点估计 BT 强度加双结果模拟构造熵减代理，把每候选开销压到固定次数的 MM 迭代，全轮共 $2(K-1)$ 次重估计在单张 RTX 4090 上仅需 0.065–0.571 秒。其二，双系统解耦：两个系统的损失在数学上同源——神经网用成对 BCE 训练，对应 BT-MLE 的负对数似然——但职责分离：前者跨 query 共享表示并选冠军，后者只维护 query 局部计数并供挑战者评分，使全局学习的表达力与局部探索的轻量性兼得。其三，迁移安全设计：历史只存各 query 的局部计数增量而非累积状态，每个增量在任何后续初始化中至多进入一次，且总继承质量被归一化封顶为一个 query 当量，避免早期噪声被反复放大。其四，实验方法论：与 PDO Sampling（D-TS 组件）在相同人格池、反馈接口和 10 轮预算下做“采集规则匹配”比较，把性能差异干净地归因于探索准则本身；附录还系统量化了探索率与人格池密度（迭代改写 IR 与关键词条件 KW）的关联。
实验结果
主实验（Table 1）覆盖 7 个基准、2 种偏好模拟。ROUGE-L 模拟下 ID-TAP 归一化 R.L. 平均 0.919，高于 POHF 0.852、PDO Sampling 0.837、PersonaAgent 0.729，14 个“数据集×指标”格子中 13 个第一（唯一例外：LongLaMP-2 的 W.R. 上 PersonaAgent 88.8 高于 ID-TAP 84.7）；原始 ROUGE-L 全部 7 个数据集第一，平均 0.2228 对最强基线 0.2068（Table 4）。LLM 评审模拟下平均 W.R. 83.6 对 79.3/78.9/76.1。图 2 右：聚合轨迹约 4 轮反馈后反超所有基线。消融（Table 2）：Full 对 Random Challenger 为 +0.005/+0.020/+0.011（LongLaMP-3/4、PrefEval）；神经历史各 +0.010，BT 暖启动再 +0.009/+0.007；Random Response 仅 0.601/0.497/0.448，远低于 Full 的 0.783/0.664/0.629，说明冠军中心采集与学习型最终选择贡献最大。探索诊断（Table 8/9）：ID-TAP 新挑战者率 71.9–95.3%，换池波动 ≤1.5 个百分点，而 POHF/PDO 下降 7.5–8.8 个百分点。鲁棒性（Table 13–15）：GPT-4o 匹配、跨模型与 BERTScore 三种设定 ID-TAP 均第一。运行时（Table 16/17）：K=100 时算法更新 0.065–0.571 秒/轮，端到端 0.95–3.15 秒，算法占比约 7–22%。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 7 个个性化生成基准（宏平均） | 归一化 ROUGE-L（R.L.） | 0.919 | POHF 0.852 / PDO Sampling 0.837 / PersonaAgent 0.729 | +0.067（对最强基线 POHF） |
| 7 个基准平均 | 对朴素回答的最终胜率 W.R.（%） | 83.6 | PDO Sampling 79.3 / POHF 78.9 / PersonaAgent 76.1 | +4.3 个百分点（对 PDO Sampling） |
| 原始 ROUGE-L 跨 7 数据集平均 | ROUGE-L（未归一化） | 0.2228 | POHF 0.2068 | +0.0160，且 7/7 数据集均第一 |
| LaMP-5 学术标题生成 | 原始 ROUGE-L | 0.4927 | POHF 0.4385 | +0.0542 |
| LongLaMP-4 消融 | 归一化 R.L.（Full vs 随机挑战者） | 0.664（Full ID-TAP） | Random Challenger 0.644 | +0.020（信息导向挑战者的贡献） |
| LaMP-4（GPT-4o 匹配偏好+评估） | W.R.（%） | 81.9 | PDO Sampling 80.4 | +1.5 个百分点 |
| UltraChat（BERTScore 独立评估） | BERTScore-F1 | 0.892 | POHF 0.890 | +0.002，四种设置下排序一致 |
局限与改进
作者承认的局限：全部实验基于自动化代理反馈（ROUGE-L 采样或 LLM 评审），未与真人验证交互界面；消融显示信息导向挑战器本身增益不大（+0.005–0.020），PrefEval 上历史组件贡献为零；尚未给出神经/BT 耦合程序的有限样本理论保证。我的补充观察：K=400 人格池的离线构建成本（每用户数百次 LLM 改写）未计入运行时统计；LongLaMP-2 上 ID-TAP 的 W.R. 落后 PersonaAgent 约 4 个百分点（84.7 对 88.8），说明历史已高度可预测时主动探索可能有害；多个数据集的 W.R. 置信区间重叠（如 UltraChat 90.8±1.7 对 POHF 90.0±1.7），部分优势统计上不显著；暖启动依赖“嵌入相似度约等于偏好可迁移性”的假设（$\beta_{sim}=6,\mu_{sim}=0.8$ 手工设定），跨域 query 上可能失效；BERTScore 下领先仅 +0.002，量级接近噪声。
独立分析的弱点
(1) 代理反馈与现实差距：ROUGE-L-BTL 与单个 LLM 评审难以模拟人类偏好的一致性与噪声结构，改进方向是小规模真人 A/B 校准模拟器或多评审集成。(2) 挑战者探索率高达 71.9–95.3%，冠军很少被直接比较——若神经模型校准有偏，最终 $\arg\max$ 可能选中从未被充分验证的人格；可加入冠军保护机制，定期强制比较冠军与次优者。(3) 在 LongLaMP-2 这类“历史已说明一切”的任务上探索反而降低 W.R.（84.7 对 88.8）；可把“无人格基线”作为虚拟臂纳入池中，让算法学会放弃个性化。(4) 离线构建 K=400 个人格需数百次 LLM 调用且池静态；可利用近重复率与轮廓系数诊断做剪枝或在线按需扩展。(5) BT 探索器假设 query 内偏好局部稳定，10 轮内漂移会使熵减代理误导；可引入折扣因子或漂移检测。(6) 暖启动超参 $\beta_{sim}=6,\mu_{sim}=0.8$ 手工设定且相似度只在嵌入空间定义，可学习化或用元学习估计迁移强度。
未来方向
作者提出的方向：(1) 与终端用户评估交互界面，验证二选一反馈在真实场景中的负担与质量；(2) 为神经/BT 混合程序发展有限样本理论（遗憾界）。基于本文成果可延伸的方向：(3) 与 T-POP 等解码级方法组合——prompt 级人格选择与 token 级个性化互补，可分层叠加；(4) 把固定人格池扩展为连续人格空间，用生成模型在线提议新人格并与采集准则联合优化，摆脱 K=400 的离散限制；(5) 多用户场景：跨用户迁移 BT 结构或人格原型以缓解冷启动；(6) 更丰富的反馈格式（评分、自由文本批评、多响应排名）下的信息导向设计；(7) 主动池管理：利用 Table 5 的密度/近重复诊断在交互过程中剪枝或播种候选；(8) 理论上把插件式熵减代理与 IDS 遗憾界连接，给出与 $K$、$T$ 相关的保证。
复现评估
复现条件较好。代码开源于 https://github.com/s1412/ID-TAP；附录完整给出 BT 暖启动与 MM 求解器实现（算法 2、3）、全部提示模板、数据切分参数（Table 3）与超参数总表（Table 6：AdamW $5\times10^{-4}$、$\alpha=0.7$、$\tau=4.5$、$\beta_{sim}=6$、$\mu_{sim}=0.8$ 等）。数据全部为公开基准（LaMP-4/5、LongLaMP-2/3/4、PrefEval、UltraChat）。算力方面，算法侧只需单张 RTX 4090（0.065–0.571 秒/轮），神经网络极小；主要开销是 LLM API 调用——DeepSeek-V3.2 生成与评审、每用户 400 个人格构建、每配置 3 次独立重复、单数据集最多 400 个评测实例，API 预算需求不小。代理用户协议被完整标准化，方法间可比性强。总体难度中等：工程上可直接复跑，主要门槛是 API 成本与人格池构建时间。
论文图表
LaMP-4 新闻标题任务中同一用户的三个候选人格文本示例：均围绕 2016 年共和党初选的兴趣锚点，但分别强调“战略观察者”“系统逆向工程者”“政治观察者”等不同视角与语气。
让人直观看到人格池“语义稠密但侧重不同”的特性——这正是本文主张探索准则必须区分近邻候选的原因，也是平均成对相似度 0.65–0.72 的具体呈现。
LongLaMP-4 长文写作任务中同一用户的另三个人格示例：分别刻画“系统性思考者”“功能层级审视者”“模型构建者”，共享 Minecraft、消费电子、物理、财经等兴趣锚点但行文框架不同。
与 Figure 3 一起构成人格池质量的定性证据，说明迭代改写构造在保持锚点的同时产生有意义的多样性，支撑 K=400 离线归纳这一设计选择。