终极翻译基准：基于人工验证规则的机器翻译极限评测集 Last Translation Benchmark
众包3456条人工审核的难译样例，配套验证规则让翻译评测可复现，最强模型仅通过42%
前置知识
LLM-as-a-judge（大模型裁判）
用一个 LLM 代替人类标注员对其他模型的输出打分或排序。典型做法是把待评译文和评分标准（rubric）放进 prompt，让裁判输出 0-100 分或等级。它成本低、可扩展，但存在自偏好（偏爱自己家族模型的输出）、易被 prompt 操纵、跨领域不稳定等问题，且不同裁判模型给出的分数互不校准。
本文的核心立场是通用 LLM 裁判在高质量翻译评测上失真，其提出的“验证规则”正是对 LLM-as-a-judge 的针对性改造，理解它的缺陷才能读懂论文动机。
翻译自动指标（BLEU/ChrF/Comet/MetricX）
BLEU 和 ChrF 统计译文与参考译文的 n-gram 重叠度，属于表面匹配指标；Comet 和 MetricX 是在人工评分数据上训练出来的神经指标，可对照参考译文或以 QE 模式（无参考）直接预测人类质量分。它们输出的是连续分数，没有自然的 0-100% 及格线，跨版本、跨批次结果也不可直接比较。
论文在主结果表中把这套指标作为对照组，实验证明它们在困难样例上与人类判断和规则通过率严重脱节，这是本文方法存在价值的反面论据。
基准饱和与数据污染
当模型在静态测试集上的分数逼近上限（如机器翻译在 WMT 类基准上已被宣称达到“外行人类平价”），基准就失去区分强模型和暴露失败模式的能力；此外若测试集混入训练数据（污染），分数会虚高。动态更新题库、持续收集新数据、版本化发布是对抗手段。
LTB 定位为“活的”滚动基准并做带标签的版本发布，正是针对饱和与污染的设计，这解释了它为何采用社区共建、平台实时更新展示模型的模式。
Reward hacking（奖励破解）
指模型在以某个自动指标为优化目标（如 RL 训练或按指标做模型选型）时，学会钻评测的空子刷高分数而非真正提升能力，例如迎合裁判 LLM 偏好的文风、输出裁判爱看的套话。评测标准越笼统、越可预测，可钻的空子就越大。
论文指出现有翻译指标可被 reward hacking，而验证规则通过给出每样例定制、描述具体失败模式的命题来压缩可操纵空间，这是方法设计的关键考量。
MQM 错误分类学与 ESA 标注
Multidimensional Quality Metrics 是翻译质量人工评估的标准框架，把译文错误分为误译、遗漏、添加、术语、拼写等类别，常配合错误片段标注（ESA）协议由译员定位错误并加权计算质量分。它描述的是“输出里有什么错”，标注成本高且标注者间一致性有限。
本文第 3.4 节的“翻译难度分类学”（Table 6）与 MQM 形成对照：它描述输入端困难的来源而非输出错误类型，理解这一区别才能把握论文的分类学贡献。
cESA（对比式错误片段标注）
一种人类评测协议：把同一段源文的多个候选译文并列对比展示，标注员先标出轻微/严重错误的片段，再给每个译文整体打分；对比呈现能让标注员拉开译文的相对差距，提高一致性。本文用它让 22 名双语标注员在“看规则前/看规则后”两个条件下重评 317 条样例。
这是论文验证“验证器通过率≈人类判断”的关键实验设计（Figure 2），读懂它才能理解 Table 4 中人类评价一行数据的来历。
研究动机
机器翻译领域正陷入“进步无法度量”的双重困境。其一是基准饱和：近年多篇工作宣称 SOTA 模型在标准测试集上达到“外行人类平价”（lay human parity），静态基准分数逼近上限，既无法区分多个强模型，也无法暴露它们真实的失败模式；而为了制造难题去自动搜索/构造困难样本的合成基准，产出的输入往往不自然，不能反映真实翻译用例。其二是评测工具本身不可靠：BLEU、ChrF 等重叠类指标在译文质量接近人类后与人工判断严重脱节；Comet、MetricX 这类训练指标和 LLM 裁判则有偏见、可被 reward hacking、领域外不稳定——例如 Comet QE 22 在大多数译文上只落在 60%–80% 的窄区间，而名义量表是 0–100%，分数无法解释。人类评测虽是外部金标准，却噪声大、昂贵、难以复现：不同标注活动收集的分数互不校准，每当新模型发布，所有旧模型都得在同一活动中重评一遍，成为反复发生的巨额成本。更实际的是，公众对机器翻译的信任度低，一次关键失败就足以摧毁用户信任，而现有评测恰恰最不擅长发现这类关键失败。
本文的目标是本文要为机器翻译建立一个可长期追踪进步的“活目标杆”（live goalpost）。具体目标分三层：第一，大规模收集真实、自然的难译样例，覆盖文本、图像、音频、视频四种模态和 109 种主要语言，且每条样例必须经同行评审，确保满足“专家译员能译好、当前主流模型译不好”的双重标准；第二，设计一种可靠、可复现、可解释且可指导改进（actionable）的自动评测方法——为每条样例手工撰写若干“验证规则”，规则描述该样例上模型会犯的具体错误（如“nurse 不应译成阴性词 sestra，因为两名护士都是男性”），由 LLM 验证器逐条核对，译文通过全部规则才算通过该样例，基准得分即通过样例的百分比；第三，从收集到的困难中归纳出一套翻译难度分类学，指明现有模型到底在哪类技能上失败。最终愿景是让模型在基准上的通过率逼近 100%，使翻译评测像问答或分类任务的 accuracy 一样拥有自然且可达的上限。
与已有工作不同的是，本文的独特切入角度有三点。第一，归纳式而非演绎式：已有的针对性挑战集（话语、正式度、性别偏见、隐喻、文化适配、术语、新词等）都是先提出“什么难”的语言学假设再设计测试，隐含假设困难来源已知；LTB 反过来，从 244 位贡献者的真实语言与文化生活经验出发，收集用户实际感受到的困难，再归纳出分类学，因此能发现既有假设未覆盖的失败模式，如元推理、网络文化梗、语音/正字法文字游戏。第二，打破“能评才能译”的悖论：评价高质量翻译所需的专业能力约等于亲手译出它的能力，因此让 LLM 评价 LLM 天生不可靠——裁判会因为和生成器同样的盲区而漏判；验证规则给评测者注入“特权信息”（明确告诉它要检查什么错误），制造了生成器与评测器之间的不对称，使无法译对的模型也能可靠判错。第三，把 Humanity's Last Exam 的“专家贡献+同行评审+署名激励”和 Dynabench 的动态对抗收集，从封闭式问答/分类任务移植到开放式生成任务：翻译没有唯一答案、无法用答案匹配验证，本文用“人工参考译文+定制验证规则”补上了这块拼图。
核心方法
方法的直觉是：与其让模型互当裁判笼统打一个不可解释的总分，不如把“这条样例上模型具体会怎么错”写成明确的检查规则，像软件测试断言一样逐条核对。整体是一条众包流水线：贡献者在平台选定语言对（允许方言与变体，如“Swiss German (Zurich)”），提交难译输入（文本或图像/音频/视频，可附翻译指令）并写出人工参考译文；平台随即调用最多 10 个主流翻译模型（Google Translate、Gemini 3.1 Pro、GPT-5.6 Sol、Claude Sonnet 4.5 等，按流行度、多样性和 SOTA 地位选取）现场翻译；贡献者观察机器译文的共性失败，据此撰写验证规则；系统用 LLM 验证器（交互界面用 Gemini 3.1 Pro 配 Prompt 2）对每条“规则×译文”逐一判定。样例被接受须同时满足两条硬标准：10 个自动译文中除至多 2 个外全部至少违反一条规则（证明难），且人工译文通过全部规则（证明可译）。经单盲同行评审后入库，滚动收集、带版本标签发布（LTBv1：2026 年 5 月至 9 月 1 日，共 3456 条）。模型得分即“通过全部规则的样例占比”。
核心创新是“验证规则”这一评测原语，它区别于已有方法的本质在于信息不对称。通用 LLM 裁判失败的根源是一个能力悖论：判断一段高质量译文好坏所需的翻译专业水平，与亲手译出它所需的能力相当；如果生成模型因为不知道哥伦比亚俚语 palistorneo 意为“发疯”而译错，同一个 LLM 换当裁判时大概率也看不出错在哪。验证规则的做法是把贡献者已经弄明白的失败模式显式写成可机械核对的命题（“译文必须把 palistorneo 处理为发疯/失去理智”），裁判因此获得生成器所不具备的特权信息，即使它自己也译不出这条样例，也能可靠地检查指定错误是否发生。这一设计同时解决三个老问题：量表被自然校准为 0–100% 的通过率，与 accuracy 同构；判定完全可解释——每个失败都能定位到具体规则，两个差译文也能被细粒度区分；对 reward hacking 更鲁棒——规则是每样例定制、blind 模式下不对被测模型公开的具体命题，而非可迎合并的通用文风偏好。与 chain-of-thought 或通用评分 rubric 不同，规则是针对性的“考点描述”，而非泛泛的评分维度。
方法步骤详情
完整流程分七步。第一步，选语言对，可为方言、地区变体或文字系统。第二步，输入难译样例：纯文本，或带图像/音频/视频——若多模态内容本身就是待译对象（如路牌照片）则视为主输入，若只是伴随文本（如配图的社交媒体帖）则作为消歧上下文；约 10% 的样例附带指令（如“使用口语”“保留无元音风格”）。第三步，撰写人工参考译文。第四步，平台调用最多 10 个模型现场翻译；贡献者平均要尝试约 10 次才能凑齐一次合格提交。第五步，针对观察到的失败撰写平均 1.9 条验证规则，规则须描述具体失败模式而非泛泛标准。第六步，LLM 验证器逐条核对，接受条件为：至少 8/10 的自动译文至少违反一条规则（难），且人工译文全部通过（可译）。第七步，由一名精通相关语言的贡献者同行评审，检查公平性（专家译员能否译过）与错误的可感知性和显著性，批准或退回修改；有 10 条以上被接受提交的贡献者受邀成为数据集共同作者。评测阶段被测译文须通过样例全部规则；排行榜分 blind（只见源文）与 oracle（可见规则/参考译文）两种模式。成本：翻译约 $0.2/千例，验证约 $1.0/千例，平均每条被接受样例 $0.12。
技术新颖性
技术新颖性体现在四点。其一，把“可验证性”引入开放式生成评测：HLE 答案可精确匹配、Dynabench 面向分类，而翻译输出开放、无唯一正解，本文用“参考译文+定制规则+LLM 验证器”首次在此类任务上同时做到自动、可复现、可解释，实测跨验证器排名一致性（Kendall $\tau_b$=86.9）远超通用裁判（71.3）。其二，难度来源的归纳式发现：Table 6 分类学从数据中归纳、面向输入来源（多义 948、隐喻 1086、文化物件 986 等），与 MQM 类描述输出错误的体系正交。其三，机制层面的量化闭环：论文不止提出方法，还量化了自偏好（裁判 28.2% vs 验证器 8.9%）、oracle 增益（7.2%→89.8%）与自生成规则的局限（仅 12.9%），把设计动机做成可检验的实验链。其四，“活基准”的工程与激励设计：滚动收集、版本化发布、平台持续更新展示模型以抗污染；署名激励（≥10 条被接受即共同作者）撬动 244 位贡献者、166 个机构，单条样例仅 $0.12。
实验结果
核心发现有五点。第一，基准极难且区分度强：29 个模型中最佳的 Gemini 3.1 Pro 在 LTBv1-eval 上通过率仅 41.9%（随验证器在 37.4%–43.8% 浮动），GPT-5.6 Sol 31.8%、GPT-5.6 Luna 19.3%；传统系统几乎覆没——Google Translate 1.6%、NLLB 3.3B 2.0%、Tower+ 2.3%、TranslateGemma 6.5%；人类译文 99.8%。从未在平台展示过的 19 个模型同样低分，说明难度非过拟合所致。第二，通用评测失真：LLM 裁判给所有模型打 72–92 分，MetricX/Comet/ChrF 也几乎无法区分强弱，排名与通过率严重冲突。第三，oracle 实验（Table 3）：把黄金规则放进翻译 prompt，通过率从 7.2% 跃至 89.8%，说明失败主因是“不知道考点”而非能力不可达；但自生成规则仅 12.9%（+5.7），推断考点几乎与解题同难。第四，评测元质量（Table 4/5）：验证器通过率跨验证器模型排名一致性 Kendall $\tau_b$=86.9，与人类评审（22 人、317 例、19 语言对、cESA 协议）一致性 90.5，远超裁判（71.3 与 34.9）；自偏好从裁判模式最高 28.2% 降至验证器模式 8.9%。第五，分类学（Table 6）：广义语言学层标签 5937 个中语义/词汇类 3134 居首、语用 1387；超语言类 2654 中文化物件 986 最多；另有 358 个“模型阻碍”标签（无关输出 223、拒答 44）。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| LTBv1-eval 全量评测（29 个翻译模型） | 验证器通过率（% 通过全部验证规则） | 最佳模型 Gemini 3.1 Pro 41.9%，GPT-5.6 Sol 31.8%，人类 99.8% | Google Translate 1.6%、NLLB 3.3B 2.0%、Tower+ 2.3%、Command A Translate 1.3% | 最强通用 LLM 比传统翻译系统高约 25–40 个百分点，但仍落后人类约 58 个百分点，基准远未饱和 |
| Oracle：翻译时向 LLM 提供验证规则 | 验证器通过率 | 提供黄金人工规则 89.8% | 无规则直接翻译 7.2% | +82.6 个百分点，证明失败主因是不知道考点而非能力不足 |
| Oracle 变体：LLM 自生成验证规则（类 chain-of-thought） | 验证器通过率 | 12.9% | 无规则 7.2%，黄金规则 89.8% | 仅 +5.7 个百分点，远低于黄金规则，说明自动推断“特权信息”基本失败 |
| 评测方法元评测（模型排名稳定性与人类一致性） | Kendall $\tau_b$ 排名相似度 | 验证器：跨验证器模型 86.9，与人类评价 90.5，0.1% 子样本自一致 44.2 | LLM judge：跨裁判模型 71.3，与人类仅 34.9；神经指标与人类仅 16.2 | 验证器比 judge 稳定 +15.6、与人类一致性 +55.6，且小样本下最高效 |
| 评测器自偏好（self-bias）量化 | 自排名与其他模型平均排名之差 | 验证器模式：Gemma 4 +8.9%、Qwen 3.7 Flash +6.9%、GPT-5.4 Mini +8.5% | 通用 judge 模式：Gemma 4 +28.2%、Qwen 3.7 Flash +20.2%、GPT-5.4 Mini +15.5% | 自偏好降低约 2–3 倍，验证器判定显著更客观 |
局限与改进
作者承认的局限：验证规则只针对设计考点、不覆盖翻译质量全貌，LTB 是压力测试而非典型体验估计；规则与参考译文同出一人，可能自我偏袒（作者用独立 cESA 人类复查缓解，人类排名与验证器一致）；通过判定全有全无，一条规则失败即整例失败。我的观察：其一，规则执行依赖 LLM 验证器的解读，规则含糊（如“译文应是创造性双关”）时验证器判断本身可能成为噪声，论文未报告规则级歧义率或双验证器一致率；其二，“10 译文中至少 8 个失败”的门槛锚定 2026 年中的模型池，模型迭代后同一批样例难度会漂移，跨版本可比性依赖滚动更新；其三，分布偏斜：73% 为 X→英语，英语出现于 2997 条（86.7%），31 种语言仅 1 条样例，低资源子集统计功效有限；其四，多模态覆盖小（多模态标签 190 个，约 5.5%）；其五，oracle 达 89.8% 提示若规则随数据集公开，模型可能“背考点”，blind 模式与动态更新是必要而非充分对策。
独立分析的弱点
独立分析的弱点与改进方向。第一，规则“可执行性”缺少独立质检：评审查公平性与显著性，但不查两条规则在验证器眼中判定是否一致；可引入规则级双盲复验，要求两个验证器判定一致（如 Cohen's $\kappa$ 达阈值）方可入库。第二，全有全无判定浪费信息：平均每例 1.9 条规则，通过 1/2 与 0/2 同记失败；应并行报告“规则通过率”连续指标。第三，验证器生态依赖闭源旗舰（交互验证用 Gemini 3.1 Pro），长期可复现有风险；可微调专用开源验证器并公开校准曲线。第四，X→英语占 73%，难度分布可能主要反映英语源文贡献者视角；Appendix C 的自动扩增试点应升级为系统的半自动改写+人工复核流程。第五，分类学先由两位语言学家人工标注子集、再 LLM 全量放大，标签噪声未量化；可发布人工黄金子集供校准。第六，贡献者可能为凑难度提交游戏化、不自然的样例（作者承认如 Example 13 的无元音约束），可增设“自然度”字段以便后续筛选。
未来方向
作者提出的方向：持续滚动收集并版本化发布新数据（LTBv1 之后随新贡献发布后续版本）；平台持续更新被展示的模型，保持难度并对抗污染；社区可按子集（仅文本、特定难度类型、特定语言对、带指令样例）报告结果；双模式排行榜（blind 用于真实质量比较，oracle 用于上限研究）。基于本文成果可自然延伸的研究：(1) 用验证规则做可验证奖励（RLVR）：既然给模型黄金规则就能把通过率从 7.2% 提到 89.8%，规则天然构成训练时的奖励信号，可在不泄露测试规则的前提下做规则引导的强化学习或拒绝采样；(2) 自动考点发现：自生成规则仅 12.9% 说明“从样例推断考点”是开放问题，可训练规则提议器、以验证器对机译的失败率为奖励信号；(3) 验证器校准与规则歧义消解，特别是低资源语言和创意文本上的判定稳定性；(4) 难度迁移研究：同一分类学标签在不同语言对、不同模态上的通过率差异，可反过来指导训练数据配比与课程学习；(5) 面向产业约束（字幕长度限制、界面文案、本地化术语表）的约束型子集，与真实翻译工作流集成。
复现评估
复现条件友好。数据完全开放：HuggingFace（hf.co/datasets/zouhar/last-translation-benchmark，CC BY 4.0）发布 LTBv1 全量 3456 条与 LTBv1-eval 911 条纯文本子集（按难度、输出多样性、语言对平衡筛选），每条含源文、参考译文、验证规则与难度标签；代码与平台在 GitHub（MIT）开源，附录 A 公开全部 prompt。复现评测只需调用若干 LLM 验证器（官方推荐开源模型；论文用了 Qwen 24/3.7、Gemma 4、Gemini 3.5 Flash/3.1 Pro、GPT-5.4 六种）和被测模型推理接口。算力与费用极低：翻译约 $0.2/千例、验证约 $1.0/千例，跑一遍 911 条子集配多验证器只需几美元 API 费；多模态子集需多模态模型。较难的是贡献新样例：需目标语言熟练双语者（平均尝试约 10 次才提交成功）并等待评审。总体：复现论文评测表格难度为低；等价复现整个收集流程需组织 200+ 贡献者，难度高但方法与成本账（每条 $0.12）均已公开。
论文图表
英→捷样例“那两名新护士共享男子 100 米世界纪录”。Google Translate、Gemini 3.1 Pro、GPT-5.6 Sol 都把 nurse 译成阴性 sestra/zdravotní sestry，违反验证规则“nurse 不应译为 sestra，因为两名护士是男性”（人评 0%、规则判定 0%）；人工译文用阳性 zdravotníci（男性医护人员）通过（100%）。
论文的招牌例子，用一个句子完整展示了“自然、简单却致命的失败样例 + 针对性规则 + 可解释判定”的评测范式，是理解全文动机的最短路径。
29 个模型在 LTBv1-eval 上的完整结果矩阵：验证器通过率（6 种验证器）、LLM judge 分数（6 种裁判）、自动指标（MetricX 24/Lite 22、Comet 24/Lite 22、ChrF）和小规模人评。人类译文验证器通过率 99.8%；Gemini 3.1 Pro 41.9%、GPT-5.6 Sol 31.8%、GPT-5.6 Luna 19.3%；Google Translate 仅 1.6%、NLLB 3.3B 2.0%。judge 列给所有模型打 72–92 分，与通过率排名严重不符。
全文核心结果表，同时支撑两个论点：基准对 SOTA 模型极难且有区分度；传统 judge 和指标在困难样例上完全失真，从而论证验证规则的必要性。
多标签难度分类学及各标签计数：语言学 5214（语义相关 1861：多义 948、搭配 319、风格保持 269、语域保持 187、词义强度 138；非单语 1598：变体差异 709、目标语词组缺口 316、假朋友 298、语素转词 164、不该译 76、语码混合 35；非组合 1437：隐喻 1086、文字游戏 198、元推理 83、诗歌 68、拟声 2；非典型 318：花园路径 128、诱导混淆 118、词性 70）；超语言 2654（知识 2329：文化物件 986、惯例 480、俚语 453、命名实体 258、网络文化 152；约束 325：多模态输入 190、输出语言 95、输入格式 37、输出长度 3）；广义层级 5937（语义/词汇 3134、语用 1387、形态 443、正字 426、句法 394、语音 153）；模型阻碍 358（无关输出 223、不完整 49、拒答 44、分词 39、指令注入 3）。
这是论文超越单纯榜单的语言学贡献：首次以归纳方式刻画“当前模型到底在哪类技能上失败”，为诊断和训练数据配比提供可追踪标签体系。