RaguTeam在SemEval-2026任务8：基于法官编排异构LLM集成系统的忠实多轮回复生成 RaguTeam at SemEval-2026 Task 8: Meno and Friends in a Judge-Orchestrated LLM Ensemble for Faithful Multi-Turn Response Generation
用7个异构LLM生成候选答案，由GPT-4o-mini逐例法官挑选，多轮RAG任务夺冠。
前置知识
检索增强生成（RAG）
RAG 把外部检索到的相关文档作为上下文输入到大语言模型中，让模型在回答时基于这些证据生成回复，而不是单纯依赖参数化知识。它通过把参数记忆和非参数记忆结合，缓解幻觉和过时知识问题。
本文的所有任务与系统都建立在 RAG 范式之上，只有理解 RAG 的'检索 + 生成'两段式流程，才能看懂为什么多轮设置里每一条证据都要被显式评估。
LLM 集成与法官选择
LLM 集成让多个不同模型并行生成候选答案，再由一个轻量 LLM 充当法官，根据忠实性、相关性等标准给每个候选打分并挑选最佳回复。其核心假设是异构模型的失败模式互补，法官能识别最有把握的回答。
本文的整套方法就是一个集成 + 法官系统：7 个 LLM 出 7 个答案，GPT-4o-mini 当法官，这是它区别于普通单模型 RAG 系统的核心机制。
忠实性（Faithfulness）与弃答
忠实性指生成内容中所有论断是否都能在提供的证据里找到支持，是 RAG 系统的核心质量指标。弃答（abstention/IDK）指系统面对不可回答或证据不足的查询时主动输出'I don't know'而不是胡编，是忠实性的一种极端体现。
MTRAGEval 的三项指标（BERTScore、LLM-judge、RAGAS 忠实性）和 HM3 调和均值都围绕忠实性设计，理解忠实性才能读懂为什么'检测空上下文 + 弃答'会成为一种捷径。
Few-shot 与类别感知提示
Few-shot 提示在 system prompt 后附加多个带标签的示例，让模型通过示例学习期望行为。类别感知指示例按任务结构（如'完整上下文/空上下文/空历史'）分组挑选，使模型对每种输入模式都有针对性范例。
本文对比了系统提示 vs 类别感知 few-shot 两类提示策略，结论是具体示例在 Underspecified 类上比抽象指令多带来 +3.7 个百分点，是理解消融实验的关键。
研究动机
多轮检索增强生成是当前 LLM 落地中最棘手的形态之一：系统不仅要解析当前查询，还要综合多轮对话历史、检索到的多篇参考段落，并且在证据不足时主动弃答。MTRAGEval 之前的 mtRAG 基准（Katsis et al., 2025）显示，即便强 RAG 系统在'后段轮次连贯性'和'忠实答案生成'两项上都显著掉链子；MTRAG-UN 又把 Unanswerable、Underspecified、Non-standalone、Unclear 这四类困难样本独立成评测项。具体到 SemEval-2026 任务 8 Task B：系统拿到一段多轮对话和配套参考段落，必须给出严格基于证据的最后一条回复，全测试集 507 个样本里可答的只占 56.2%（285），不可答 19.1%（97）、欠指代 15.4%（78）、部分可答 9.3%（47），单一 LLM 即便体量再大也很难在四类样本上同时取得高分。
本文的目标是本文目标是在 SemEval-2026 任务 8 Task B 上设计一套能稳定兼顾四类异质样本（Answerable、Unanswerable、Underspecified、Partially Answerable）的系统并拿到 SOTA。作者明确追求三个具体目标：(1) 以条件化 HM3 调和均值在 26 支参赛队中拿到第一名，主榜分数显著超越官方最强基线 gpt-oss-120b 的 0.6390；(2) 通过控制变量消融证明'多样性'比单纯堆参数更重要——刻意把模型规模拉到 7B 到 357B 共四个数量级，让集成在 Answerable 子集上 0.785 仍能胜过最佳单模型 0.782；(3) 发布一个可在受限算力下独立部署的 7B 领域适配模型 Meno-Lite-0.1，并在 MERA 俄语基准上以 0.555 与 Llama-3.3-70B 打平，提供一条低成本替代路径。
与已有工作不同的是，已有思路要么把任务丢给单一超大规模模型（如官方最强基线 gpt-oss-120b），要么在 prompt 工程层面做局部优化。本文另辟蹊径：把'多样性'当成独立维度，刻意混合三家闭源 API 和四家开源权重模型、跨 7B 到 357B 共四个数量级、两套提示范式，再用一个轻量法官模型（GPT-4o-mini）按实例打分挑选，从而把'谁能答好哪一类'这件事交给事后选择，而不是寄希望于某一个全能选手。
核心方法
系统按三阶段流水线工作：第一阶段构造两套互补的提示模板（迭代精炼的系统提示 + 类别感知 few-shot 提示），第二阶段让 7 个异构 LLM 并行产出候选回复，第三阶段让 GPT-4o-mini 作为法官给每个候选按忠实性 0–1 打分，挑出最高分者。直觉上，集成阶段的'广撒网'保证了每类困难样本至少有一两个候选有戏，法官阶段再用一个小模型替每个样本找出最忠实的那一个回复，绕开了'用一个超大模型硬刚所有类别'的不现实假设。整体评分用条件化调和均值 $\text{HM3}^{\text{cond.}} = \text{HM}\big(\text{RB\_alg}^{\text{cond.}}, \text{RB\_llm}^{\text{cond.}}, \text{RL\_F}^{\text{cond.}}\big)$ 作为单一指标。整个流程在 vLLM 上对开源模型用 greedy 解码跑在 A100 GPU 上，闭源模型走 API。
核心创新是'异构 + 法官'两段式分工，而非单纯堆模型规模。已有工作通常用同质集成（同家族同规模模型）或单一模型，而本文刻意混合 Gemini-3-Pro-Preview、GLM-4.6（357B）、Llama-3.3-70B-Instruct、Qwen3-235B-A22B-Instruct-2507、Claude 4.5 Haiku、Qwen2.5-32B-Instruct 和自研 Meno-Lite-0.1（7B）这 7 个不同家族/规模/训练流程的模型，并按 Group 1（系统提示）和 Group 2（few-shot）拆分，让失败模式真正互补。再者，作者把官方 MTRAG 法官之一 GPT-4o-mini 直接搬来做实例级选择，从而把'集成投票'变成'集成 + LLM 评分'。
方法步骤详情
第一步构造两套提示：系统提示 P 由 Gemini 反复自批评迭代而来，强调显式弃答与严格基于证据，用于 Group 1（Gemini-3-Pro-Preview、GLM-4.6、Llama-3.3-70B-Instruct、Qwen3-235B-A22B-Instruct-2507）；Group 2（Claude 4.5 Haiku、Qwen2.5-32B-Instruct、Meno-Lite-0.1）使用类别感知 few-shot 提示，用 gte-multilingual-base 把训练样本按'完整上下文/空上下文/空历史'三类嵌入，按类内 medoid 选 1–2 条示例，共四条例证。第二步并行推理：开源模型用 vLLM + greedy decoding 部署在 A100 上，闭源走 API，每条样本产出 7 个候选。第三步法官打分：GPT-4o-mini 按忠实性 0–1 评分，挑最高分；平分时用验证集分数 tie-break。第四步后处理：若参考段落为空，直接把回复替换成固定 'I don't have an answer'，确保不可答类零误判。
技术新颖性
新颖性体现在三个层面：第一，把'多样性工程'做成可量化的设计准则——明文统计 Group 1 与 Group 2 的 HM3 差值（系统提示 0.747 vs few-shot 0.734），并用消融数据证明 few-shot 在 Underspecified 类上多 +3.7 个百分点。第二，发布 Meno-Lite-0.1（huggingface.co/bond005/meno-lite-0.1），用 Qwen2.5-7B-Instruct 在俄英双语教育数据上继续预训练 + RAG 任务 SFT 得到，在 MERA 俄语基准上以 0.555 与 Llama-3.3-70B 打平，提供了一条 7B 替代 70B 的成本-性能路径。第三，作者主动指出 MTRAGEval 评测存在'空上下文 + 弃答'的捷径（全部 97 个不可答样本参考段落均为空），并量化了这种目标泄漏对集成得分的贡献。
实验结果
核心结论：异构集成 + 法官选择以条件化 HM3 = 0.7827 在 26 队中拿到第一名，比最强基线 gpt-oss-120b（0.6390）高 +14.4 绝对点（+22.5% 相对）。表 3 显示最强单模型 GLM-4.6（HM3 = 0.748），集成在自家评分下达 0.819、主办方评分下达 0.783；GLM-4.6 强在 RB_llm，Gemini-3-Pro-Preview 强在 RL_F，正好互补。表 4 四组消融：(i) 集成 + 法官在 Answerable 类 0.785 vs 最佳单模型 0.782，Underspecified 类 0.367 vs 0.381 略输；(ii) 法官挑选比随机挑选在 Answerable 上 +2.5pp，RL_F 提升最明显（0.998 vs 0.922）；(iii) 移除 7B Meno-Lite-0.1 仅带来 0.2–0.4pp 差异，但 IDK 率达 0.54；(iv) 类别感知 few-shot 在 Underspecified 上比精炼系统提示多 +3.7pp。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| MTRAGEval Task B 主榜 | 条件化 HM3（RB_alg / RB_llm / RL_F 三指标调和均值） | 0.7827 | gpt-oss-120b（最强官方基线）= 0.6390 | +0.1437 绝对 / +22.5% 相对，第 1 名 / 26 队 |
| MTRAGEval Task B 主榜（自家 GPT-4o-mini 评分） | HM3 | 0.819 | 最佳单模型 GLM-4.6 = 0.748 | +0.071 绝对 |
| MTRAGEval Task B（Answerable 子集） | 未条件化 HM3 | 集成 + 法官 = 0.785 | GLM-4.6 + few-shot = 0.782 | +0.3pp，仍超越任一单模型 |
| MTRAGEval Task B（Underspecified 子集） | 未条件化 HM3 | 集成 + 法官 = 0.367 | GLM-4.6 + few-shot = 0.381 | 略输 1.4pp，暴露多目标选择缺口 |
| MERA（俄语综合基准） | 总分 | Meno-Lite-0.1 = 0.555 | Llama-3.3-70B-Instruct = 0.555 | 持平，7B 对标 70B |
局限与改进
作者在文末承认五条系统限制：(i) 同时跑 7 个生成器 + 1 个法官的计算开销大，且部分依赖闭源 API；(ii) 串行生成 + 评分带来高延迟，不适合实时场景；(iii) GPT-4o-mini 偶尔偏好更长回复，可能与忠实性不完全对齐；(iv) 法官依赖本身引入新偏差，尽管与主办方多评委评分的 Spearman 相关系数达 0.95（条件化）和 0.89（未条件化），但对不同失败模式的模型泛化性未验证；(v) 完全开源权重的流水线尚未充分探索。我自己的额外观察是：表 3 显示集成在主办方评分下仅 0.783，比自家评分 0.819 低 3.6pp，说明法官质量直接决定集成上限；同时表 4(i) 中 Underspecified 子集上集成反而输给 GLM-4.6 单模型，提示'忠实 + 完整'的多目标选择才是真正的瓶颈，而不是单一忠实性指标。
独立分析的弱点
独立分析有三个突出弱点。第一，'空上下文 = 弃答'的捷径让 HM3 虚高：全部 97 个不可答样本参考段落均为空（论文 §6），用一行规则就能拿满分，作者也承认这是 MTRAGEval 评测本身的设计缺陷；第二，法官偏好长回复的偏差没有定量修正——法官在选择时可能倾向于更长更详细的候选，但长回复未必更忠实，作者只承认存在却没给出修正方案；第三，串行流水线延迟高、对闭源 API 的依赖使其难以复现和成本敏感。一个直接可行的改进方向是把闭源模型替换为开源同档位替代（如用 Qwen3-235B 替换 Gemini-3-Pro-Preview），并把法官改为开源 Llama-3.3-70B + 自一致性投票，从而把整套系统变成可私有化部署的流水线。
未来方向
作者在 §7 提出四条未来方向：用轻量分类器先预测 answerability 类别，再路由到专门子集（如 Qwen3-235B 处理 Underspecified、Haiku 处理 Partially-Answerable）；把法官目标从单一忠实性扩展为'忠实性 + 完整性'的多目标选择；用 self-consistency（Wang et al., 2022）作为单模型替代方案；把 Meno-Lite-0.1 的领域适配扩展到 14B–32B 规模，并改进欠指代查询的弃答校准。基于成果还可以延伸两条：把'类别感知 few-shot 的 medoid 选择'升级为基于难例挖掘的动态示例构造；以及在多语言多轮 RAG 上验证异构集成是否仍优于单模型，论文 Meno-Lite-0.1 在 MERA 上以 7B 打平 70B 暗示这条路值得深挖。
复现评估
复现门槛中等偏低。代码已开源（github.com/RaguTeam/ragu_mtrag_semeval），Meno-Lite-0.1 权重上传到 HuggingFace（huggingface.co/bond005/meno-lite-0.1），论文附录给出了完整的系统提示与四条例证样例。算力需求是 NVIDIA A100 GPU + vLLM 部署四个开源模型（最大 Qwen3-235B-A22B-Instruct-2507 用 MoE 架构），加上三个闭源 API 调用（Gemini-3-Pro-Preview、Claude 4.5 Haiku、GPT-4o-mini 法官）。数据集 MTRAGEval 由 SemEval 官方发布，训练集 842 个对话样本可自由使用。最大复现难点在于：(a) 闭源 API 的版本与时间窗可能导致性能漂移；(b) 235B 模型推理对显存要求高，普通实验室难以承担，需要走张量并行或 API 替代。
论文图表
