← 返回 2026-02-27

没有一刀切的解决方案：基于 QueryBandits 的 LLM 幻觉缓解方法 No One Size Fits All: QueryBandits for Hallucination Mitigation

Nicole Cho, William Watson, Alec Koppel, Sumitra Ganesh, Manuela Veloso 📅 2026-02-23 👍 3 2026-07-13 08:35

上下文多臂老虎机在线学习幻觉缓解查询重写闭源模型

利用上下文多臂老虎机自适应选择查询重写策略，有效缓解大语言模型幻觉，特别适用于闭源模型

前置知识

上下文多臂老虎机 (Contextual Multi-Armed Bandit)

多臂老虎机是一种强化学习问题，学习者需要在探索未知选项和利用已知好选项之间做出权衡。上下文多臂老虎机进一步扩展了这个设定，在每个决策时刻，学习者会观察到一个上下文向量（如查询的语言特征），并根据这个上下文选择最优的动作（如重写策略）。形式化地说，在时刻 t，学习者观察到上下文 x_t 属于 X 子集 R^d，选择动作 a_t 属于 A，然后收到奖励 r_t = r(x_t, a_t) 属于 [0, 1]。目标是学习一个策略 pi: X -> rho(A) 来最大化期望累积奖励。

本文的核心方法就是将查询重写策略的选择建模为上下文多臂老虎机问题。理解这个概念对于理解论文的方法框架、算法选择（如 Thompson Sampling、LinUCB）以及实验评估指标（如累积后悔）至关重要。

探索-利用权衡 (Exploration-Exploitation Trade-off)

在序列决策问题中，探索指尝试不太了解的动作以获取更多信息，利用指选择当前看起来最好的动作以获得高回报。在多臂老虎机中，这表现为在高奖励但不确定的动作和低奖励但确定性高的动作之间做出选择。例如，epsilon-greedy 策略以概率 epsilon 随机选择动作（探索），以概率 1-epsilon 选择当前估计最优的动作（利用）。Thompson Sampling 通过贝叶斯后验采样来实现探索-利用，而 UCB 方法通过置信上界来实现。

论文在奖励函数中引入了探索调整项 R_adj = sum_t r_t + lambda H_t，其中 H_t 是归一化的香农熵，lambda = 0.1。这个设计鼓励策略在保持高奖励的同时维持足够的探索，这是理解论文为什么能在线学习中持续改进的关键。

LLM 幻觉 (LLM Hallucination)

LLM 幻觉指大语言模型生成与其内部理解不一致或与事实不符的输出。具体来说，给定查询 x_t 和参考上下文，如果生成的回答 y_t 在事实上不准确，就被认为是幻觉。幻觉可能来源于多种因素：模型训练数据中的错误信息、模型对不确定性的过度猜测倾向、以及长尾知识的缺乏。论文中将幻觉操作化为具有低奖励 r_t 的响应，其中 r_t 由 LLM-as-judge、模糊匹配和 BLEU-1 的凸组合定义。

幻觉是本文要解决的核心问题。理解幻觉的定义和来源有助于理解论文为什么选择在输入层（查询重写）而非模型内部进行干预，以及为什么奖励函数的设计要结合多个指标来捕捉事实性。

累积后悔 (Cumulative Regret)

后悔是衡量在线学习算法性能的核心指标。在每个时刻 t，瞬时后悔定义为最优动作的奖励与实际观察到奖励的差值：regret_t = r*_t - r_t，其中 r*_t = max_{a 属于 A} r(x_t, a) 是神谕（oracle）奖励。累积后悔是所有瞬时后悔的总和：Regret = sum_{t=1}^T (r*_t - r_t)。在 R 次运行中，平均累积后悔为 1/R sum_{i=1}^R sum_{t=1}^T (r*_{i,t} - r_{i,t})。后悔越小，说明算法越接近最优策略。

论文使用平均累积后悔来评估不同算法的收敛速度和最终性能。表 4 显示了不同方法在各数据集上的瞬时后悔，发现上下文方法通常在初期有稍高的后悔（探索成本），但最终准确率更高。

研究动机

现有 LLM 幻觉缓解方法主要针对开源模型，依赖 logits、token 级概率或内部表示编辑等需要访问模型权重的技术。然而，闭源模型（如 GPT-4o）在机构部署中占绝大多数，这些模型无法直接应用内部干预方法。此外，现有方法多采用一刀切的静态重写策略，无法针对不同查询的语言特征自适应调整。论文指出，即使是轻微的表层次扰动也能引起输出的巨大差异，这意味着需要在线的、模型无关的策略学习过程来缓解幻觉。

本文的目标是本文提出 QueryBandits，一个模型无关的上下文多臂老虎机框架，能够在线学习并为每个查询选择最优的重写策略。目标是通过纯粹的输入层前向机制改变模型行为，使其适用于闭源模型，无需重新训练或基于梯度的适配。具体来说，要在 13 个 QA 基准（16 个场景）上验证该方法的有效性，并与静态重写策略和无重写基线进行比较。

与已有工作不同的是，本文的独特切入点是将重写策略选择建模为上下文多臂老虎机问题，而非传统的静态提示工程或全强化学习。与现有方法相比，QueryBandits：(1) 专注于闭源模型的幻觉缓解，填补了这一研究空白；(2) 使用 17 维语言学特征向量作为上下文，实现基于查询指纹的自适应策略选择；(3) 采用经验验证的复合奖励函数 r_t = 0.6 s_llm + 0.3 s_fuzz + 0.1 s_bleu，而非依赖单一的 LLM-as-judge；(4) 通过大量实验证明没有单一重写策略对所有查询类型都是最优的，这与一刀切的静态策略形成鲜明对比。

核心方法

QueryBandits 的整体思路是：对于每个输入查询，首先提取其 17 维语言学特征向量作为上下文，然后让上下文多臂老虎机根据这个上下文选择最优的重写策略（动作），将原始查询重写后发送给 LLM，最后根据 LLM 的输出计算奖励并更新老虎机的内部状态。直觉上，不同查询的语言特征（如是否包含歧义、是否需要领域知识等）会影响不同重写策略的有效性，因此需要自适应地选择重写策略。技术路线上，论文采用了多种上下文多臂老虎机算法（Thompson Sampling、LinUCB、LinUCB+KL、FTRL 等），并与非上下文老虎机（EXP3、FTPL）和静态提示策略进行比较。

核心创新点是将查询重写策略的选择建模为上下文多臂老虎机问题，并使用语言学特征作为上下文。这与已有方法有本质区别：已有方法要么采用一刀切的静态重写策略（如始终使用 PARAPHRASE 或 EXPAND），要么不学习自适应选择策略。QueryBandits 的优势在于：(1) 模型无关：完全在输入层操作，适用于闭源模型；(2) 在线学习：能够根据即时反馈持续改进策略；(3) 上下文感知：利用语言学特征实现精细化决策；(4) 探索-利用平衡：通过老虎机算法自动平衡尝试新策略和利用已知好策略。论文通过消融实验证明，移除 17 维特征上下文会使 Thompson Sampling 的胜率从 87.5% 下降到 81.7%，探索调整后的奖励从 819.04 下降到 754.66。

方法步骤详情

QueryBandits 的完整流程包含以下六个步骤：(1) 特征提取：对于查询 x_t，使用 GPT-4o-2024-11-20 提取 17 维二进制语言学特征向量 f_t 属于 {0, 1}^17。特征包括 Subordination（从句）、Polysemy（多义性）、Constraints（约束）、Entities（实体）等。(2) 动作选择：老虎机接收 f_t 并选择重写策略 a_t 属于 A，其中 A = {PARAPHRASE, SIMPLIFY, DISAMBIGUATE, EXPAND, CLARIFY TERMS}。不同算法使用不同的选择规则：Thompson Sampling 从后验分布采样，LinUCB 使用置信上界，EXP3 使用指数加权。(3) 查询重写：应用选定的策略将原始查询 x_t 重写为 x'_t = g_{a_t}(x_t)。重写通过提示模板实现，例如 EXPAND 策略会添加显著实体和属性来丰富上下文。(4) LLM 推理：将重写后的查询 x'_t 发送给 GPT-4o-2024-08-06（temperature=0.2，top-p=1.0），得到响应 y_t。(5) 奖励评估：根据奖励公式计算标量奖励 r_t 属于 [0, 1]，其中 r_t = 0.6 s_llm + 0.3 s_fuzz + 0.1 s_bleu，权重 (0.6, 0.3, 0.1) 在人类标注的验证集上位于 1% Pareto 最优前沿内。(6) 老虎机更新：根据 (a_t, r_t) 更新老虎机的内部状态。例如，LinUCB 更新 A_a = A_a + x_t x_t^T 和 b_a = b_a + r_t x_t，Thompson Sampling 更新高斯后验 mu_a 和 Sigma_a。

技术新颖性

本文的技术新颖性体现在多个方面：(1) 首次将查询重写策略选择形式化为上下文多臂老虎机问题，并使用综合语言学特征向量作为上下文；(2) 提出了经验验证的复合奖励函数，在人类标注集上达到 ROC-AUC 0.973，证明了其作为学习信号的有效性；(3) 通过大规模实验（252,000 次拉取，13 个基准，16 个场景）证明了上下文老虎机的优势，Contextual TS 实现 87.5% 胜率，宏平均准确率从 68.1% 提升到 76.6%；(4) 发现了一个重要现象：没有单一重写策略对所有查询类型都是最优的，这与一刀切的静态策略形成鲜明对比；(5) 揭示了基准数据集上的提示记忆化效应：当使用原始查询时，上下文策略常收敛到 NO-REWRITE，而使用词法扰动但语义不变的查询时，上下文策略能实现多样化动作选择并获得显著增益；(6) 提供了详细的特征-策略关联分析，展示了不同语言学特征如何影响不同重写策略的有效性。

实验结果

论文通过多个实验验证了 QueryBandits 的有效性，核心发现包括：(1) Hypothesis 1：QueryBandits 能减少幻觉。Contextual TS 实现 87.5% 查询级胜率和 819.04 探索调整后奖励，显著高于 NO-REWRITE 基线的 729.20（Delta = -89.84）。宏平均准确率从 0.681 提升到 0.766（+8.5 pp），Contextual TS 在 8/16 个场景中获胜。(2) Hypothesis 2：QueryBandits 优于静态重写。静态重写从未在任何数据集上达到最高准确率。Contextual TS 在聚合奖励上远超 PARAPHRASE（732.39）和 EXPAND（639.25），典型增益为 +6–12 pp（如 BoolQA +12.6 pp，HotpotQA +10.6 pp）。(3) Hypothesis 3：线性上下文老虎机优于忽略上下文的算法。移除 17 维特征上下文使 Thompson Sampling 胜率从 87.5% 下降到 81.7%，奖励从 819.04 下降到 754.66（-5.8 pp, -64.38 奖励）。上下文方法主导准确率：Thompson Sampling 赢得 8/16 场景，线性家族（LinUCB 4.5，LinUCB+KL 3.5）赢得其余。(4) Hypothesis 4：查询特征与奖励存在关联。不同策略对 17 个语言学特征表现出不同的敏感性。例如，(Domain) Specialization 对 EXPAND 高度预测，但对 SIMPLIFY 弱。(5) Hypothesis 5：没有单一重写策略对所有查询类型都最大化奖励。图 5 显示每个策略都有独特的特征指纹，例如 SIMPLIFY 擅长语用线索但在最高级上挣扎。(6) Hypothesis 6：QueryBandits 改进了闭源模型性能。在 TruthfulQA 上，QueryBandits（LinUCB 88.8%，+8.1 pp）优于 DoLa（54.22%，-26.5 pp）和 TruthX（54.22%，-26.5 pp）在 Llama-2-7B-Chat 上的表现，因为这些方法需要访问模型权重，不适用于闭源模型。

**Table 1**: Accuracy by dataset (rows) and algorithm family (columns). Higher is better; bold marks the row maximum. 'Wins (ties split)' counts 0.5 for ties. 'Macro-avg' is the unweighted mean across datasets. Contextual methods dominate: Contextual Thompson Sampling (TS, right-most column) achieves the best macro-average (0.766) and most wins (8/16); the remaining wins come from the linear contextual family (LinUCB 4.5, LinUCB+KL 3.5). Static prompts and non-contextual bandits do not win on any dataset.

**Table 2**: Left: Rewrite-policy Performance: final cumulative exploration-adjusted reward, mean cumulative regret, and win rate vs. no-rewrite. Right: Who Wins Where: best accuracy per dataset and gain over NO-REWRITE baseline (pp). TS = Thompson Sampling; (C) = Contextual.

**Table 4**: Instantaneous Regret. Each cell reports mean per-step regret; bold marks the minimum per scenario. 'Wins' counts per-family minima with ties split (0.5 each). 'Macro-avg' is the unweighted average over scenarios. Static prompts sometimes win on regret by avoiding exploration, whereas contextual methods typically incur slightly higher immediate regret while delivering higher final accuracy (see Table 1), reflecting the exploration-exploitation tradeoff.

**Table 5**: TruthfulQA MC1 comparison. Delta reports absolute percentage-point change vs our No–Rewrite baseline (80.7%). QueryBandits achieves the best score (LinUCB 88.8%, +8.1 pp) and strong Non–Contextual TS (88.7%, +8.0 pp); Contextual TS also improves (+4.5 pp). Closed GPT baselines cluster near ~81%, while open–model interventions reported on Llama–2–7B remain far below the GPT–4o baseline (e.g., TruthX 54.22%, -26.5 pp).

**Table 6**: Inter-model agreement on the LLM-as-judge labels over 1,000 validation queries. Values reported are fraction of exact label agreement, Cohen's kappa, and Matthews correlation coefficient (MCC).

**Table 8**: Top Drivers (fmax)+ and Reducers (fmax)- of Rewrite Strategies per Linguistic Features. For each rewrite arm, we list the feature whose normalized coefficient was highest (100%) and lowest (0%), alongside a brief rationale for its positive or negative impact on downstream reward.

**Figure 2**: (a) ROC-AUC Pareto frontier on the reward-weight simplex. (b) Mean-reward ranks (1 = best) per rewrite arm / dataset under our contextual bandit; color intensity indicates closeness to the top rank.

**Figure 3**: Cumulative Reward (averaged across all runs). Sorted by final performance, highlighting gains achieved by contextual bandits over non-contextual learners and static rewrites.

**Figure 4**: Contextual Per-Feature Variance by Arm. For each arm, we compute the variance of each binary linguistic feature over all queries on which that arm was chosen. High variance means the bandit frequently switches the arm on that feature's presence.

**Figure 5**: Contextual Feature Contribution Strength. These are the averaged theta weights (direct contributions) per feature to the expected reward under each arm. Positive weights indicate features that boost that arm's reward; negative weights indicate features that penalize it.

**Figure 6**: (a) Validity of the exploration-adjusted reward radj as a correctness proxy. Mean ROC–AUC and 95% Confidence Intervals (+/- 1.96 SE); 10 resamples per n. By ~150 groups, the CI lower bound exceeds 0.97. (b) Power curve showing ROC-AUC vs. sample size. (c) Class-conditional reward histogram of rt vs. human labels.

**Figure 7**: (a) Arm Diversity for Contextual Bandits, as a Fraction of Trials. (b) Arm Diversity for Non-Contextual Bandits, as a Fraction of Trials.

查看结构化数据

任务	指标	本文	基线	提升
Question Answering (Macro-average across 13 datasets)	Accuracy	0.766 (Contextual TS)	0.681 (No-Rewrite)	+8.5 percentage points
Win Rate vs. No-Rewrite (all queries)	Win Rate	87.5% (Contextual TS)	0% (No-Rewrite)	+87.5 pp
Exploration-Adjusted Reward	Cumulative Reward	819.04 (Contextual TS)	729.20 (No-Rewrite)	+89.84
TruthfulQA MC1	Accuracy	88.8% (LinUCB)	80.7% (GPT-4o No-Rewrite)	+8.1 pp
BoolQA	Accuracy	67.3% (Contextual TS)	54.7% (No-Rewrite)	+12.6 pp
HotpotQA	Accuracy	76.4% (LinUCB)	65.8% (No-Rewrite)	+10.6 pp
MMLU	Accuracy	83.7% (LinUCB)	74.4% (No-Rewrite)	+9.3 pp
ARC-Easy	Accuracy	89.5% (Contextual TS)	80.8% (No-Rewrite)	+8.7 pp

局限与改进

论文承认的局限性包括：(1) 特征独立性假设：当前框架将 17 个特征视为独立，但没有捕获高阶交互。未来的研究可以测量特征的组合是否联合加剧幻觉。(2) 相关性而非因果性：特征-策略回归权重不规定因果关系，由于解释神经网络内部层的固有困难，论文专注于提供实证研究而非因果推断。(3) 奖励模型的偏差：奖励函数使用 LLM-as-judge，可能反映 LLM 的偏差。尽管在 1,000 个验证查询上达到 ROC-AUC 0.973，但仍可能存在系统性偏差。(4) 提示记忆化效应：论文发现，当使用原始（未扰动）查询时，上下文策略常收敛到 NO-REWRITE，这意味着 LLM 在常见基准上存在记忆化效应。作者通过使用词法扰动但语义不变的查询来缓解这个问题，但这可能限制方法在非扰动查询上的适用性。(5) 计算开销：虽然 QueryBandits 只需前向传播，但仍需要多次 LLM 调用（特征提取、重写、回答、评估），每查询约 688 tokens，成本约 $0.00035。与单一前向传播相比，这增加了显著的计算和token开销。(6) 领域转移：论文未在不同领域或模型间进行大规模迁移实验，奖励模型的泛化能力有待进一步验证。

独立分析的弱点

独立分析显示，QueryBandits 存在以下弱点：(1) 计算复杂度高：每个查询需要多次 LLM 调用（特征提取、重写、回答、评估），导致显著的延迟和成本。改进方向：缓存特征提取结果、并行化重写和评估、使用更小的模型进行特征提取和评估。(2) 冷启动问题：老虎机在初期缺乏足够的反馈来做出明智决策，可能导致早期性能下降。改进方向：使用预训练的特征-策略映射作为初始化、采用热启动策略从相关任务迁移知识。(3) 特征表示有限：17 维二进制特征可能无法捕捉查询的所有细微差别。改进方向：扩展特征集、使用连续特征而非二进制特征、引入上下文编码器将查询嵌入到连续空间。(4) 奖励函数的偏差：LLM-as-judge 可能反映模型偏差，模糊匹配和 BLEU 对改写和语义变化的敏感性有限。改进方向：引入更多元的人类标注、使用多种评估模型集成、设计对抗性奖励来检测特定类型的幻觉。(5) 策略空间的限制：当前只有 5 种重写策略，可能不足以覆盖所有查询类型。改进方向：扩展策略空间、学习参数化重写策略而非固定模板、使用神经策略网络生成自适应重写。(6) 缺乏领域自适应：论文未研究如何在不同领域间迁移策略。改进方向：引入领域作为额外特征、使用分层老虎机结构、采用元学习方法快速适应新领域。

未来方向

基于论文成果，未来的研究方向包括：(1) 特征交互建模：研究高阶特征组合如何影响幻觉，例如使用多项式特征或神经网络捕获非线性交互。(2) 因果推断：建立更严格的因果框架来理解特征、策略和奖励之间的关系，例如使用工具变量或反事实推理。(3) 多目标优化：扩展框架以同时优化多个目标（事实性、信息性、简洁性），使用帕累托前沿或加权标量化。(4) 跨模型泛化：研究 QueryBandits 在不同模型（GPT-4、Claude、开源模型）间的迁移能力，探索模型无关的策略表示。(5) 长上下文场景：扩展到长上下文和对话式问答，研究如何处理跨轮次的上下文依赖。(6) 可解释性增强：开发更可解释的决策机制，例如使用注意力机制可视化特征-策略关联，提供人类可理解的策略选择理由。(7) 实时部署：研究在实时场景中的部署挑战，例如延迟约束、批处理优化、增量学习。(8) 对抗性鲁棒性：研究方法对对抗性查询的鲁棒性，设计对抗训练来提高抗攻击能力。(9) 与其他方法的集成：探索 QueryBandits 与 RAG、知识图谱检索、验证器等其他幻觉缓解方法的协同效应。

复现评估

论文的复现性评估如下：(1) 开源情况：论文声称目标是完全可复现，并在附录中提供了详细的算法描述、重写提示模板（表 9）、特征集（表 10、表 11）和奖励定义。然而，论文未明确说明是否开源代码或数据，这是复现性的一个潜在障碍。(2) 数据集：论文使用 13 个公开 QA 基准（SQuADv2、TruthfulQA、SciQ、MMLU、PIQA、BoolQ、OpenBookQA、MathQA、ARC-Easy、ARC-Challenge、WikiQA、HotpotQA、TriviaQA），所有数据集都有公开许可（CC BY-SA 4.0、Apache-2.0、MIT 等），数据获取容易。(3) 模型和 API：论文使用 OpenAI 的 GPT-4o-2024-08-06 和 GPT-4o-2024-11-20，并指定了 API 参数（temperature=0.2，top-p=1.0，frequency/presence penalties=0）。这意味着复现需要 OpenAI API 访问和相应的预算。(4) 实验规模：论文总共进行了约 252,000 次拉取（M=15 个算法，S=16 个场景，每场景约 1,050 个查询），每查询约 688 tokens，总成本约 $88（基于 $0.00035 每查询）。这个成本对于学术实验室来说可能是可承受的，但仍相当可观。(5) 评估指标：论文报告了统计不确定性（95% CI）和配对显著性检验，并提供了消融实验和敏感性分析，这增强了结果的可信度。(6) 实现细节：论文在附录中提供了详细的算法伪代码（算法 1）和具体的参数设置（学习率、探索系数、正则化常数），这有助于复现。总体而言，论文在方法描述和实验设置方面较为详细，但缺乏明确的代码开源声明和预算估算，复现难度中等。

论文图表

**Figure 1**: QueryBandits selects a rewrite that fixes a counting error. The original query xt elicits a hallucinatory count (8 integers) due to an ambiguous lower bound (6). Conditioned on the query's 17-dimensional feature vector, QueryBandits selects EXPAND and rewrites the query to x't with explicit bounds; the LLM then returns the correct cardinality (9).
这张图展示了一个具体的例子：原始查询 'Can you determine the number of integers between 6 and 74/5?' 导致 GPT-4o 产生幻觉（错误地回答 8 个整数），因为下边界 'between 6' 存在歧义（不包括还是包括 6）。QueryBandits 根据查询的 17 维特征向量选择了 EXPAND 策略，将查询重写为明确指定边界的形式，LLM 随后返回了正确的计数（9 个整数，包括 6）。图中还显示了特征向量的变化：重写后从句复杂度增加，而领域专一性消失，说明了重写如何改变查询的显著语义。

这张图对理解论文至关重要，因为它直观地展示了 QueryBandits 的工作流程和效果：(1) 展示了原始查询如何产生幻觉；(2) 说明了 QueryBandits 如何根据特征向量选择重写策略；(3) 对比了重写前后查询的差异和 LLM 响应的改进；(4) 演示了特征向量如何随重写而变化。这个例子使抽象的框架变得具体，帮助读者理解方法的实际应用和潜在价值。

**Figure 8**: (a) Soft Rank Heatmap for all Bandits, including arm NO REWRITE. (b) Arm Diversity when including NO REWRITE.
这些图展示了包含 NO REWRITE 策略时的实验结果。图 (a) 是所有老虎机的软排名热图，图 (b) 是包含 NO REWRITE 时的动作多样性。当启用 NO REWRITE 选项时，上下文老虎机迅速收敛到这个策略，该策略在几个数据集上达到最高奖励。作者将这种行为归因于 LLM 在基准问题上的记忆化倾向。

这个图对理解论文的重要性体现在：(1) 揭示了一个重要现象：使用原始（未扰动）查询时，上下文策略常收敛到 NO REWRITE，这是因为 LLM 在常见基准上存在记忆化效应；(2) 说明了论文为什么使用词法扰动但语义不变的查询进行实验，以避免记忆化效应；(3) 为研究社区提供了有意义的洞察：表面形式新颖性对于训练查询重写算法至关重要；(4) 解释了为什么静态策略有时与 NO REWRITE 基线持平（记忆化而非重写的内在降级效应）。这个图提供了关于基准数据集和 LLM 行为的重要洞察。