WORTH基准：非完全合作信息下的证据发现——双剧集试点 WORTH Benchmark: Evidence Discovery under Not-Fully-Cooperative Information -- A Two-Episode Pilot
用原创推理小说测评大模型自主找证据能力，发现线索命中与最终判断严重脱节
前置知识
合作原则（Cooperative Principle）
Grice（1975）提出的语用学理论：日常交流中说话者默认遵守质量、数量、关系、方式四条准则，即提供真实、足量、相关、清晰的信息。听话者基于这一假设理解话语的言外之意。本文用它刻画现有评测的隐含前提——题目材料是"帮忙的"信息。
WORTH 的核心命题就是对这一默认前提的反转：评测材料不再整体合作，而是合作与对抗信息共存。不理解合作原则，就无法理解作者所说的"非完全合作信息关系"针对的是什么评测惯例。
认知警戒（Epistemic Vigilance）
Sperber 等（2010）提出的人类心智机制集合：人在接收他人传递的信息时，会自动甄别信息源的可信度与信息内容本身的可信度，例如检查论证是否遗漏反例、陈述者是否有误导动机。它是人类抵御被选择性真实信息误导的能力。
论文用它解释实验中最重要的现象之一：模型大量采纳怀疑性信息却 0 次选择相邻的排除性证据（S112 vs S113 为 25:0），可能正是认知警戒不足的表现。这是读结果章节必备的解读框架。
过程分离（Process Dissociation）
本文术语：把推理过程拆成可分别量化的输出——线索命中（选中作者预设关键句集合 $\mathcal{K}$ 的程度）与参与者指认（最终判断），分别计分、分别报告，从而观测"找到的证据"与"据此得出的结论"能否脱节。它只描述输出差异，不声称隔离了模型内部过程。
这是全文实证结果的组织骨架：EP01 中 GPT-5.6 Sol 命中线索最多（3.4/12）却指认最差（0.8/3），EP02 中 Kimi 命中 10 条线索却零正确人物。不理解分项计分设计就看不懂这些反差为何重要。
显著性控制（Salience Control）
叙事学技巧：作者通过信息放置位置、详略程度、因果框架等手段控制某条信息在读者注意中的突出程度。推理小说的关键手法是把决定性线索写得平淡无奇，把误导性信息写得引人注目，从而在不撒谎的前提下推迟真相揭露。
EP02 的"共同吸引子"（83.8% 的运行选中同一错误三人组）与 S081 拐杖异常细节的忽视，都是显著性控制的产物。它也是作者区分"对抗性信息设计"与"人工噪声"的关键概念。
公平游戏（Fair Play）原则
推理小说创作的行业规范：作者必须在文本中提供原则上足以让读者推出真相的线索，不得靠隐藏决定性证据取胜。这保证谜题可解——读者答错只能归因于自己的推理，而非题目不可解。Wagner 等（2025）用信息论形式化了这一概念。
WORTH 继承了这一约束：作者保证证据原则上足以推真，因此模型的错误才有诊断意义。这也是它区别于随意出难题的评测的逻辑基础。
研究动机
现有主流推理评测——从 GSM8K、MATH 到 GPQA、FrontierMath、BIG-Bench Hard/Extra Hard——共享一个隐含前提：提示信息是帮忙的。无论题目多难、文本多长、推理链多复杂，解题所需的前提都由出题人预先整理好交给模型，模型只需解决"如何理解和调用这些信息"，无需质疑信息本身的真伪与导向。这带来两个盲区：第一，"什么值得成为证据"完全在评测范围之外，推理链的前端（判断哪里该开始推理）被出题人代劳；第二，加长文本、插入无关句（如 GSM-IC）或大海捞针式任务只是提高检索难度，并没有把"文本在事实层面完全真实、却通过选择性表达、省略与强调误导判断"作为核心实验变量。而现实世界的信息恰恰很少以合作姿态呈现——一句完全真实的话可以通过叙事位置和因果框架把接收者的判断引向歧途，这种能力至今没有被系统测量过。
本文的目标是本文的具体目标是提出并初步验证 WORTH 评测框架：让模型阅读无任何线索标注的完整原创推理小说，在配额内自主选出关键线索句、从候选人物中指认案件参与者、并以自然语言解释推理过程；对线索命中与参与者判断分别计分，从而观测三件事——"找到什么"与"据此得出什么"能否脱节；不同模型是否会被相同的高显著性误导信息拉向相同的错误组合；模型对怀疑导向与排除导向信息的处理是否存在系统性不对称。作者明确声明本文目的不是建立模型排行榜或证明普适认知机制，而是以两个剧集共 70 次正式运行的试点，论证这种分项诊断视角的可行性与价值。
与已有工作不同的是，本文的独特切入在于同时满足三个此前没有任何基准同时满足的条件：其一，自主证据发现——模型从无标注、完整叙事中独立选句，且选择本身进入计分并与最终判断分开记录（HotpotQA、DetectBench 部分做到了分项，但材料非原创设计）；其二，非完全合作信息环境——材料由专业作者从零创作，合作与对抗信息的共存是推理小说的内在结构而非事后附加的噪声或扰动（GSM-IC、对比集等是外部构造的对抗）；其三，分项诊断输出使脱节现象可直接观测。相邻工作各有缺口：WHODUNIT 读完整推理小说但不要求显式选证据句，且公版小说有数据污染风险；True Detective 只评最终答案；DetectiveQA 是预写问题触发。理论上它把 Grice 合作原则与 Sperber 认知警戒从对话/短文本场景操作化到长篇叙事场景。
核心方法
直觉层面：成熟的推理小说天然是合作与对抗信息共存的文本——行业规范要求作者提供原则上足以推出真相的全部证据（公平游戏），同时又必须通过叙事焦点、显著性控制和替代解释来推迟真相揭露。这比人工往普通文本里插干扰句更接近真实世界的信息关系，还保留了确定的事件真相与可复现的计分条件。技术路线层面：专业作者在故事设计阶段（而非成文后标注）预设关键线索句集合 $\mathcal{K}$——每个线索句在创作档案中记录原句、推理功能描述与证据链位置；叙事展开后用显著性控制把这些推理枢纽"包裹"起来。评测时模型单轮收到带 [S001]–[Snnn] 编号的完整故事和结构化指令，需输出七个必填字段：剧集标识、线索句 ID 数组、人物 ID 数组、逐句线索解释、综合证据分析、最终结论与置信度。计分只量化两个输出：线索分（与 $\mathcal{K}$ 的重合度）和参与者分（选对加分、选错扣分）；自然语言解释不独立计分，仅用于案例诊断。
核心创新是把"推理从哪里开始"本身变成评测对象，与已有工作的本质区别有三。第一，传统评测由出题人提供前提，WORTH 要求模型从无标注叙事中自主判断哪些句子值得成为证据，且这个选择本身被计分——选择非线索句不直接扣分、只消耗有限配额，惩罚以机会成本形式内嵌，这与参与者选择的显式奖惩形成刻意的机制非对称（线索是中间步骤，指认是终端判断）。第二，本文定义的"对抗性"不是虚假信息、敌意语气或随机噪声，而是信息在事实层面完全真实、却通过叙事呈现方式（放置、显著性、因果框架）在功能上削弱正确判断的信息控制——典型如 EP02 的 S081：耿百顺左腿受伤却用同侧左手拄拐，异常细节明写于文本但"伤是装的、拐杖另有所用"的功能需读者自主发现，读者看到的只是"打架→受伤→拄拐"这条貌似合理的因果链。第三，线索命中与参与者判断分开计分，使过程分离成为可观测的输出结构。
方法步骤详情
第一步材料制作：作者先设定人物轨迹与事件逻辑，在创作阶段预设关键线索句（EP01 12 句、EP02 20 句）并归档推理功能与证据链位置，再用叙事技巧降低显著性；两集均在 B 站 Toy 平台上线为互动游戏。第二步构造提示：完整编号故事加指令单轮发送，告知线索总数与选择上限，人物多选且不披露正确人数，但隐匿差异化权重与扣分矩阵以防策略化应试。第三步运行：每模型 5 次、全新会话、禁用联网/工具/记忆；EP01 测 GPT-5.6 Sol、Claude Opus 4.6、GLM-5.2、DeepSeek-V4-Flash、Kimi K3、Gemini 3.1 Pro，EP02 测 8 个模型（新增 GLM-5.3、DeepSeek-V4-Pro、Hy4 preview、MiniMax-M3），共 70 次正式运行。第四步格式校验：EP02 剔 3 次无效响应，得 67 次可评分。第五步计分：EP01 线索每句 3 分、正确人物 +7/+5/+5、错误 −5（满分 53）；EP02 线索 1–4 分共 41 分、正确各 +2、错误 −2 至 −8（满分 47）。第六步结合解释文本诊断。
技术新颖性
技术新颖性体现在四个层面。材料生产方式上，评测需要整合三种通常分属不同领域的专业能力——叙事设计（故事自然、可信且有文学水准）、测量方法（线索数量、权重分布、显著性梯度是测量决策而非文学判断；干扰人物要"看似嫌疑重大却可被低显著性反证排除"）、诊断分析（把模型表现反馈回材料校准）——本文由同一小团队承担三者，目前缺乏标准化工作流。认识论地位上，线索集合 $\mathcal{K}$ 在创作阶段预设，类似考试设计的评分细则：出题人无需证明不存在替代解题路径，只需证明评分标准内部一致且能区分不同质量的回答。语用学操作化上，合作原则与认知警戒首次被用作长篇叙事推理评测的条件变量，而非对话或短文本场景。设计有效性检验上，EP02 的共同吸引子（31/37 次运行选中同一错误三人组）反过来成了叙事设计的实证度量：若作者预设的误导结构能跨 8 个不同模型产生一致的误导效果，这本身就证明非完全合作信息设计成功了——这是以往人工构造对抗样本无法提供的信号。
实验结果
EP01 的 30 次运行显示线索命中与参与者判断脱节：GPT-5.6 Sol 命中线索最多（3.4/12）却正确参与者最少（0.8/3），五次总分 14/17/4/−4/25；DeepSeek-V4-Flash 命中最少（2.2/12）却正确最多（1.6/3）且零误选。Gemini 3.1 Pro 总分仅 6 和 19 两个值、置信度恒 100；正确参与者"我"0/30 被选；排除性证据 S064/S072 均 0/30，高显著性的 S094 被选 22/30。EP02 的 37 次可评分运行中 75.7% 总分为负，最高单次是 GPT-5.6 Sol 一次运行的 16/47；Kimi K3 一次运行命中 10 条线索却零正确、错选 5 人。最突出的是共同吸引子：31/37（83.8%）选中"父亲–贾长耕–黄主任"错误三人组，跨 8 个模型。相邻两句中怀疑导向 S113 被选 25/37（67.6%），排除导向 S112 被选 0/37；谜题前提 S124 不在 $\mathcal{K}$ 却被全选；5 条线索零被选；选对至少 1 人的 15 次运行中 86.7% 仍误选贾长耕。
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| EP01 线索发现 vs 参与者指认（过程分离） | 线索命中数（/12）与正确参与者数（/3）的5次均值 | GPT-5.6 Sol：命中 3.4、正确 0.8；DeepSeek-V4-Flash：命中 2.2、正确 1.6 | 两个方向相反的行为画像互为对照；无外部基线 | 命中最多者指认最差、命中最少者指认最好——证明单一总分掩盖了子过程差异 |
| EP02 共同吸引子（跨模型错误收敛） | 选中错误三人组"父亲–贾长耕–黄主任"的运行占比 | 31/37（83.8%）包含该三人组；16/37（43.2%）严格只选这三人 | 正确参与者为雷哥、耿百顺、耿百礼，无人全对 | 错误收敛跨越全部 8 个模型，验证了作者预设误导结构的设计有效性 |
| EP02 正负证据选择不对称（S112 vs S113） | 37 次有效运行中的句子选择次数 | 排除导向的 S112（不在场证明）被选 0/37（0%） | 相邻的怀疑导向 S113 被选 25/37（67.6%） | 物理相邻的两句话选择率 25:0，量化了模型忽视低显著性反证的倾向 |
| EP02 总体得分分布 | 游戏等值总分（满分 47） | 28/37（75.7%）为负分；单次最高 16/47（GPT-5.6 Sol response01） | EP01 同口径最高均分为 GLM-5.2 的 15.0/53，负分罕见 | 线索奖励不足以抵消错误人物扣分，说明终端判断失败是主要失分源 |
| EP02 选对与排错分离 | 至少选对 1 名正确参与者的运行中仍误选干扰者的比例 | 15/37（40.5%）至少选对 1 人；其中 13/15（86.7%）仍同时误选贾长耕 | EP01 DeepSeek-V4-Flash 五次零误选 | 证明"选对正确人物"与"排除错误人物"是可分离的两个子能力 |
局限与改进
作者坦承：仅实现 full-story 条件，evidence-cueing 与 evidence-modification 两个对照层未实现，故共同吸引子源于模型警戒不足、显著性设计过强还是两者联合，现有数据无法解缠；70 次运行、2 个剧集不足以建立稳定排名或推断一般机制；"参与者"语义边界模糊，EP02 未明确案件范围，部分运行同时分析六叔案与后续死亡而正确集合只对应后者；人类记录未清洗，无机型对比；线索集 $\mathcal{K}$ 只测对预设推理枢纽的命中，非全部有效证据路径；S112 的"多数时候"限定词削弱排除力，0/37 部分归因于措辞；解释未独立计分、无编码者间信度检验。我的补充：两集间模型阵容与档位变动（GLM-5.2→5.3、DeepSeek-V4-Flash→Pro），部分档位未记录，跨集比较混杂版本效应；材料公开早于或同期于测试，污染无法排除；每模型仅 5 次，83.8% 存在小样本噪声；以 $\mathcal{K}$ 为唯一计分参照可能低估非 $\mathcal{K}$ 路径的有效推理。
独立分析的弱点
第一，因果归因缺位：共同吸引子究竟源于模型警戒不足还是题目误导过强无法区分，改进方向是尽快实现 evidence-cueing 对照（标注关键句后看指认是否改变）与保持案情不变、只调显著性的措辞改写条件，把题目效应与模型效应解缠。第二，样本量与统计功效：每模型 5 次、每集一个故事，83.8% 的收敛率无置信区间，Gemini 的两值分布（6 与 19）可能只是小样本假象，应增加剧集数与运行数并报告区间估计。第三，计分参照单一：以作者 $\mathcal{K}$ 计分会把 S124 这种 37/37 全选的有效信息记零分，也可能漏掉邻近句替代（MiniMax 选 S026 而非 S025），应对解释文本做功能编码，区分信息缺失、句子级选择偏差与推理错误三类失败。第四，任务构念泄漏：EP02 未界定案件范围导致部分运行答非所问，不应计入推理失败，应在提示中显式限定并做消融。第五，版本与配置不受控：模型阵容跨集变动、部分接口档位未记录，应固定 API 版本与参数并完整留痕。第六，零人类基线：所有"模型特有"的说法在无人机对比缺失时都站不住，应优先完成玩家数据清洗。
未来方向
作者提出的后续方向包括：实现 evidence-cueing 条件——保留完整故事但显式标注作者预设的关键线索句，比较标注前后参与者指认的变化，检验证据提示能否扭转共同吸引子；实现 evidence-modification 条件——在保持叙事连贯的前提下修改关键证据并相应改动答案，观察模型判断是否随证据变化，检验其对文本证据的响应性；完成 B 站平台数千条人类玩家记录的导出与清洗（只保留同一玩家首次有效提交），做同任务的人类基线对照，判断共享错误选择与 S124 选择率是否也出现在人类中；对解释文本与邻近句选择做功能编码；形式化叙事设计方法论——如何系统设计显著性梯度、如何把模型结果反馈回证据结构校准；增加剧集数量检验各现象的跨任务可复现性。基于成果可延伸的方向：把叙事视角作为系统变量（作者建议把同一故事改写为第三人称再测，检验第一人称叙述者 R04 零被选是否源于视角）；把"怀疑导向 vs 排除导向"证据不对称的测量推广到科学文献反例识别、法律无罪证据评估、商业风险信号识别等领域做独立验证；将认知警戒操作化为可干预的训练目标，探索微调或提示干预能否降低对高显著性误导信息的敏感性。
复现评估
复现条件总体较好但有两个硬门槛。有利方面：评分规则完全公开（线索权重、人物奖惩矩阵、满分与最低分），响应协议的七个必填字段与九条规则在论文中披露，提示对被试隐匿权重、对读者透明的安排有明确的方法论辩护；格式校验、运行剔除（EP02 剔 3 次）与数据冻结原则均有交代；EP01/EP02 的公开游戏页面（B 站 Toy 平台）可直观展示模型的响应环境；部分模型留有配置与执行截图。硬门槛其一：评测材料是工作室原创推理小说，完整故事文本未随论文以可复用形式开放，且创作档案（每个线索句的推理功能与证据链位置）依赖内部工作流，第三方难以自造同等材料；其二：模型通过各产品门户在特定日期（EP01 于 2026-08-14、EP02 于 2026-08-30~31）以非统一档位测试，黑箱接口、档位变动与部分未记录配置使精确复现几乎不可能，只能做方向性重现。算力需求极低（纯 API 调用，70 次单轮推理），难度评级：用自有模型在自造叙事上复现框架为中等，逐数字复现结果为困难（依赖原故事与当时的模型版本）。
论文图表
报告 EP01 六个模型各 5 次运行的三项均值：GPT-5.6 Sol 总分 11.20（线索 10.20、参与者 1.00），Claude Opus 4.6 总分 11.60（9.60/2.00），GLM-5.2 总分 15.00（9.00/6.00），DeepSeek-V4-Flash 总分 14.60（6.60/8.00），Kimi K3 总分 9.40（8.40/1.00），Gemini 3.1 Pro 总分 11.20（7.20/4.00）。满分分别为 53/36/17。
这是 EP01 的核心量化结果表：一眼可见线索分与参与者分的错位——DeepSeek-V4-Flash 线索分最低却参与者分最高（8.00），GPT-5.6 Sol 线索分最高却参与者分仅 1.00，是过程分离现象的第一手证据。
逐模型报告命中关键句均值（/12）、正确参与者均值（/3）、错误参与者均值、五次具体总分与样本标准差：GPT-5.6 Sol 命中 3.4、正确 0.8、总分 14/17/4/−4/25（SD 11.3）；DeepSeek-V4-Flash 命中 2.2、正确 1.6、零误选、总分 11/13/22/8/19（SD 5.8）；Gemini 3.1 Pro 总分仅 6 与 19 两值（SD 7.1）。
这张表把过程分离从均值层面落实到运行级证据，同时暴露了稳定性差异（GPT 波动跨度 29 分）与离散行为（Gemini 只出两个分数值、置信度恒填 100），是模型诊断画像的数据基础。
报告 EP02 八个模型的三项均值（Gemini/Kimi/Hy4 各按 4 次可评分运行计）：GPT-5.6 Sol 总分 6.80（线索 14.80、参与者 −8.00），Claude Opus 4.6 总分 −1.00（12.20/−13.20），Gemini 3.1 Pro 5.00（12.00/−7.00），GLM-5.3 −6.40（10.00/−16.40），Kimi K3 −8.00（11.50/−19.50），DeepSeek-V4-Pro −8.60（9.00/−17.60），Hy4 preview −1.25（14.75/−16.00），MiniMax-M3 −9.00（7.00/−16.00）。满分分别为 47/41/6。
这张表显示 EP02 中所有模型的参与者分全为负值、多数模型总分为负——终端判断的系统性失败压过了线索得分，量化了正确参与者链条（多层分工、低显著性分散证据）带来的难度跃升，是"负分主导"现象的出处。