CL-Bench：上下文学习能力基准测试 CL-bench: A Benchmark for Context Learning
首个评估大模型从复杂上下文中学习新知识能力的基准，当前最强模型仅解决23.7%任务。
前置知识
上下文学习（Context Learning）
本文提出的核心概念，指语言模型从提供的上下文中学习全新知识并加以应用的能力。与传统的 in-context learning（通过少量示例学习任务格式和浅层启发式规则）截然不同，上下文学习要求模型真正理解并内化上下文中包含的、预训练阶段从未见过的新知识。这些知识可以是虚构国家的完整法律体系（含案例先例和法律原则）、新产品的技术手册和 API 文档、或从大量实验数据中发现的物理规律。这种能力类似于人类阅读一份全新的技术文档后，就能根据文档内容回答问题和执行任务的过程。论文通过 context-free 消融实验验证：不提供上下文时，即使是 GPT-5.1 在 CL-Bench 上的任务解决率也仅为 0.9%，证实了该能力的上下文依赖性。
这是整篇论文的核心概念，也是 CL-Bench 评估的核心能力。理解 context learning 与 in-context learning 的区别是读懂本文的关键——前者要求学习全新知识并灵活应用，后者仅学习任务格式和浅层模式。这一区分直接决定了基准设计和评估方式。
Context Engineering
一种面向真实世界部署大模型的主流范式，关注如何从私有文档、数据库、知识库等多种来源中检索、组织、管理和优化与任务相关的上下文信息。支撑技术包括 RAG（检索增强生成）、记忆系统（如 MemGPT、MemoryBank）和 Agentic RAG 管线等。Context engineering 的核心假设是：为模型提供正确的上下文是解决问题的关键。然而，论文指出这一范式侧重于「提供什么上下文以及如何组织」，却忽略了模型是否能真正从提供的上下文中学习和应用新知识。换言之，即使上下文组织得再完美，如果模型缺乏从中学到新知识的能力，一切都是空谈。
论文将 context learning 定位为 context engineering 的基础能力——即使上下文组织得再好，如果模型无法从中学习新知识并正确应用，就无法解决真实世界的复杂任务。理解这一关系有助于把握论文的理论贡献。
Rubric-based 评估
一种细粒度的任务评估方法。每个任务配有多个二值化的评分标准（rubric），每个标准只允许 yes/no 回答。只有当模型的解答通过所有关联 rubric 时，才被认为成功解决了该任务。CL-Bench 中每个任务平均有 16.6 个 rubric，覆盖事实正确性、计算精度、判断正确性、程序正确性、内容完整性和格式合规性等多个维度。论文使用 GPT-5.1 作为自动评分器，与其他评分器的一致性超过 90%。
CL-Bench 的任务过于复杂（涉及虚构法律体系、新编程语言等），无法用传统规则验证器可靠评估。Rubric-based 评估是本文保证评估严谨性和可扩展性的关键技术手段，理解它才能理解实验结果的可信度。
研究动机
当前语言模型的优化路径与真实世界任务需求之间存在严重错配。现有模型擅长利用预训练知识解决 prompt 中指定的问题，在竞赛数学、编程挑战和专家级考试等任务上表现出色。然而，真实世界任务往往是高度上下文依赖的：模型必须从复杂的上下文中学习全新的知识才能有效推理和解决问题。例如，模型需要理解一份从未见过的产品文档来生成操作流程，或者从大量实验数据中归纳物理定律。现有的基准测试（如长上下文基准主要测试检索和阅读理解，in-context learning 基准测试学习简单任务模式）都无法有效评估这种能力。十个前沿模型在 CL-Bench 上的平均解决率仅为 17.2%，即使是表现最好的 GPT-5.1 也只有 23.7%，暴露了一个被严重忽视的能力瓶颈。
本文的目标是本文旨在引入「上下文学习」（context learning）这一核心能力概念，并构建一个严谨、真实、无污染的基准测试 CL-Bench 来系统性地评估语言模型从复杂上下文中学习新知识的能力。具体而言，论文有四个递进的目标：第一，设计需要模型真正从上下文中学习才能解决的真实世界任务，而非仅靠预训练知识就能回答的问题；第二，通过虚构创作、内容修改和小众内容纳入三种策略，确保上下文中的知识超出模型预训练范围，防止数据污染；第三，提供细粒度、多维度的自动评估框架，使用任务级 rubric 和 LM 验证器实现可扩展的严格评估；第四，通过全面的实验和错误分析，为改进模型的上下文学习能力提供可操作的洞见和未来研究方向。
与已有工作不同的是，本文的独特切入角度在于明确区分了「准备上下文的能力」（context engineering）和「从上下文中学习的能力」（context learning）。现有基准往往将两者混为一谈——例如某些基准要求模型调用工具获取新知识再解决问题，但无法区分失败是源于检索错误还是学习能力不足。CL-Bench 则将所有必要知识预先组织在提供的上下文中，模型无需外部检索，从而精确隔离和评估「学习」这一核心能力。此外，CL-Bench 将上下文分为四大类（领域知识推理、规则系统应用、程序化任务执行、经验发现与模拟），涵盖了人类在真实世界中从上下文学习的主要方式，这比现有基准的评估范围广泛得多。
核心方法
CL-Bench 的整体设计思路是：构建包含全新知识的复杂上下文，设计需要模型真正理解并应用这些知识才能解决的任务，然后通过细粒度的 rubric 验证模型解答的正确性。直觉上，这就像给一个人一份他从未见过的技术手册，然后要求他根据手册内容回答问题和执行任务——如果他没有真正读懂手册，就无法完成任务。技术路线上，CL-Bench 由 500 个复杂上下文、1,899 个任务和 31,607 个验证 rubric 组成，每个上下文平均需要 20 小时的领域专家工作来构建。上下文中的知识通过三种方式确保超出预训练范围：虚构创作（如为虚构国家设计完整法律体系）、修改现有内容（如改变历史事件或数学定义）、以及纳入小众和新兴内容（如前沿研究发现或新产品手册）。
CL-Bench 的核心创新在于将「上下文学习」作为一种独立的、可评估的能力从现有评估体系中分离出来。与长上下文基准（主要测试检索）和 in-context learning 基准（学习简单任务模式）的本质区别在于：CL-Bench 中的知识是全新的，且解决任务必须依赖这些新知识。具体来说，论文通过 context-free 消融实验证明，不提供上下文时模型的任务解决率不到 1%，证实了任务的上下文依赖性。另一个关键创新是任务的多轮依赖设计：51.1% 的任务是顺序性的，后续任务的解决依赖于前面任务的解答，这增加了难度并更好地反映了真实使用场景。
方法步骤详情
CL-Bench 的构建分为三个阶段。阶段一：经验丰富的领域专家设计包含新知识的上下文，这些知识要么互联网上不可用，要么属于小众长尾知识，每个上下文都基于真实场景并包含解决关联任务所需的全部信息。阶段二：专家为每个上下文设计多个任务，确保解决这些任务需要模型真正从上下文中学习。任务可以是顺序依赖的——解决一个任务依赖于同一上下文中前面任务的标准解答。阶段三：专家编写全面的任务级 rubric 进行严格评估，每个任务平均有 16.6 个 rubric，覆盖事实正确性、计算精度、判断正确性、程序正确性、内容完整性和格式合规性等维度。评估采用严格标准：只有通过所有 rubric 才算成功解决任务。自动评估使用 GPT-5.1 作为验证器，与其他验证器的原始一致率超过 90%，人工验证准确率也超过 90%。
技术新颖性
CL-Bench 在技术上的新颖性体现在多个方面。首先，它提出了「上下文学习」这一新的能力分类框架，将上下文分为四大类和 18 个子类，这是对现有评估体系的有意义扩展。其次，三种防污染设计（虚构创作、内容修改、小众内容纳入）确保了评估的有效性——context-free 消融实验证实不提供上下文时解决率不到 1%。第三，多轮依赖任务设计（51.1% 的任务具有顺序依赖性）是现有基准中罕见的特性，能更好地评估模型在连续交互中积累和应用上下文知识的能力。第四，任务涵盖了从演绎推理（前三类）到归纳推理（第四类）的完整谱系，其中经验发现与模拟类任务要求模型从大量数据中发现规律或在虚拟沙盒环境中推理，这对当前模型构成了最大挑战。
实验结果
论文对十个前沿语言模型进行了全面评估，得出了多项重要发现。(1) 上下文学习对前沿模型仍是巨大挑战：所有模型的平均解决率仅为 17.2%，即使是表现最好的 GPT-5.1 也只达到 23.7%，没有任何模型突破 30%。(2) 任务难度在不同类别间差异显著：领域知识推理类最易（GPT-5.1 达 25.3%），而经验发现与模拟类最难（平均仅 11.8%，比其他类别低约 6%）。这说明从实验数据中归纳和应用定律的能力是当前模型的根本性挑战。(3) 子类别间的性能差异揭示了细粒度的能力差距：在规则系统应用中，法律与法规子类所有模型都超过 29%（GPT-5.1 超 40%），但数学形式化子类大多数模型低于 15%。(4) GPT-5.2 比 GPT-5.1 低 5.6%，详细分析发现 GPT-5.2 在长上下文推理中难以维持连贯的因果链，且频繁违反上下文中明确陈述的约束。(5) 更高的推理努力通常有助于上下文学习，GPT-5.1 从低推理到高推理提升了 2.5%，Kimi K2 提升最大达 5.7%，但这种收益并非对所有模型都成立。(6) 所有模型在上下文长度增加时都表现出一致的性能下降，从 0-4K token 的约 25-35% 下降到 32K+ token 的 5-10%。(7) 错误分析显示，「上下文被忽略」和「上下文被误用」是主要失败模式，上下文误用率在所有模型中都超过 60%。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| Overall (全部 1,899 个任务) | Task Solving Rate (%) | GPT-5.1: 23.7±0.5% | Claude Opus 4.5: 21.1%; o3: 17.8%; DeepSeek V3.2: 13.2% | GPT-5.1 比第二名 Claude Opus 4.5 高 2.6%，比最差模型高 10.5% |
| Domain Knowledge Reasoning | Task Solving Rate (%) | GPT-5.1: 25.3±1.3% | Claude Opus 4.5: 23.7%; o3: 18.0% | 相对最易类别，但 GPT-5.1 仍仅解决约四分之一任务 |
| Empirical Discovery & Simulation | Task Solving Rate (%) | GPT-5.1: 18.1±3.1% | Claude Opus 4.5: 15.1%; DeepSeek V3.2: 8.0% | 最难类别，所有模型平均仅 11.8%，标准差也最大 |
| Legal & Regulatory (子类别) | Task Solving Rate (%) | GPT-5.1: 44.8% | HY 2.0: 36.6%; Claude Opus 4.5: 34.1% | 所有子类别中表现最好的，但仍不足一半 |
| Simulation Environment (子类别) | Task Solving Rate (%) | GPT-5.1: 10.2% | 大多数模型低于 11% | 最难子类别，所有模型表现都很差 |
局限与改进
论文自身承认的局限性包括：(1) 领域和知识类型覆盖有限——尽管涵盖了 18 个子类别，但无法穷尽真实世界中所有领域和知识类型，特别是高度专业化或新兴领域；(2) 交互动态有限——当前评估主要关注单轮任务和短序列任务，而真实世界的上下文学习往往发生在长对话中，涉及迭代精炼、纠错和反馈整合；(3) 仅限文本上下文——真实世界知识常以多模态形式呈现（图表、视频、音频），当前基准未覆盖；(4) 缺乏人类基线——由于任务基于专家构建的专业化上下文，找到合适的非专家人类参与者存在挑战。此外，我自己的观察是：CL-Bench 的评估依赖 GPT-5.1 作为验证器，尽管一致性超过 90%，但可能存在系统性偏差；且任务全部为英文，未评估跨语言上下文学习能力。
独立分析的弱点
尽管 CL-Bench 是一个精心设计的基准，仍存在几个可以改进的弱点。(1) 验证器依赖问题：使用 GPT-5.1 既作为被评估模型又作为验证器（尽管对 GPT-5.1 解答的评估与其他验证器一致率超 90%），存在潜在的利益冲突，建议引入更独立的评估机制或人类评估者大规模参与。(2) 上下文构建成本极高：每个上下文平均需要 20 小时的专家工作，总 500 个上下文意味着巨大的人力投入，限制了基准的可扩展性和更新频率。改进方向可以是开发半自动化的上下文构建管线。(3) 任务难度分布不均：经验发现与模拟类仅有 70 个上下文和 199 个任务，远少于其他类别，且该类别是最难的，可能影响对该类别评估结果的统计可靠性。(4) 缺乏对模型学习效率的评估——当前只评估最终解决率，未评估模型在多次尝试或获得反馈后的学习改进能力。(5) 多轮任务的依赖关系可能引入级联错误——前面任务的失败会影响后续任务，难以区分是上下文学习能力不足还是错误传播。
未来方向
论文提出了几个有前景的未来方向。(1) 上下文感知数据训练：构建包含预训练未见知识的专门训练数据，迫使模型从提供的上下文学习，减少对过时预训练知识的幻觉。(2) 课程学习：从简单子任务逐步过渡到复杂任务，让模型先掌握基本的上下文理解能力，再处理需要整合多个知识组件的任务。(3) 合成 rubric 自动生成：开发自动合成高质量 rubric 的方法，减少对专家人工标注的依赖，将 rubric 集成到训练管线中作为奖励信号。(4) 架构创新：探索创建显式记忆结构、支持多轮上下文理解迭代精炼、或为不同类型上下文信息提供专用通路的架构修改。(5) 多模态扩展：将评估扩展到包含图像、音频、视频和文本的多模态上下文。(6) 人类基线研究：设计以领域新手为对象、给予等价学习时间的受控实验。基于当前成果还可以延伸：研究上下文学习与模型规模的关系、探索上下文压缩和摘要技术对学习效果的影响、以及开发针对上下文学习的专门微调方法。
复现评估
论文提供了良好的可复现性支持。所有数据、代码和排行榜都发布在 clbench.com。评估使用官方 API 调用十个商业模型，每次任务运行三次取平均，温度设置为各模型的推荐或默认值。验证器使用 GPT-5.1，系统提示在论文中完整公开（Table 4）。然而，完全复现面临几个挑战：(1) 所有评估的模型都是商业闭源模型，需要 API 调用费用；(2) 上下文构建过程依赖领域专家，难以自动化复现；(3) 评估结果可能随模型 API 更新而变化（特别是 GPT-5.1 作为验证器）。开源模型的评估结果未在论文中报告，这限制了社区在本地复现和扩展研究的能力。
论文图表
左侧展示当前 LM 优化路径：prompt engineering 让模型利用预训练知识推理，context engineering 也是类似方向。右侧展示真实世界需要的能力：从复杂上下文中学习新知识并推理（context learning）。图中用箭头标注了两条路径的根本差异。
这张图是论文核心论点的视觉化呈现——当前模型优化方向与真实世界需求之间存在错配，context learning 是被忽视的关键能力。
展示四种错误类型的比例：Context Ignored（上下文被忽略，55-66%）、Context Misused（上下文被误用，60-66%）、Format Error（格式错误，33-46%）、Refusal（拒绝回答，0.3-3.3%）。上下文忽略率与总体解决率负相关，上下文误用率在所有模型中都居高不下。格式错误即使在顶级模型中也超过 35%。
深入揭示了模型在上下文学习中的主要失败模式，为改进提供了方向。
完整展示了 GPT-5.1 作为 LM 验证器的系统提示，包含评分标准（二值化评分，必须所有 rubric 都通过才给 1 分，否则为 0 分）、四步评分过程（分析标准答案中的显式和隐式需求、逐项检查学生回答、自我反思完整性/严格性/一致性/客观性）、以及 JSON 输出格式要求（包含 Grading Rationale、需求满足状态列表和 Overall Score）。该提示还要求验证器不得输出除指定 JSON 以外的任何内容。
具体展示了经验发现与模拟类别中的失败模式——数值正确但推理过程和科学规范不达标。
Kimi-K2 成功从一篇关于镓资源的科学研究论文中提取关键数据并满足所有 14 个评分标准。具体包括：正确设置模拟起始年为 2023 年，初始化四个必需类别（Resource-in-place: 609,592 吨、Extraction/Production: 450 吨/年、Demand: 519 吨/年、Recycling: 69 吨/年），使用论文中明确给出的数值，应用一致的单位约定（存量用吨、流量用吨/年），并明确列出所有额外假设。这是 16 个定性分析案例中的一个成功案例。
展示了模型成功进行上下文学习的正面案例，说明当前模型已具备初步的上下文学习能力。