为传述者评级：多智能体知识系统声明级溯源的传述链框架 Grading the Narrators: An Isnad-Rijal Framework for Claim-Level Provenance in Multi-Agent Knowledge Systems
把圣训学传述链评级法迁移到多智能体知识系统的声明级溯源。
前置知识
数据溯源 (Provenance)
数据溯源记录一条声明从产生到使用所经历的每次变换（抽取、清洗、聚合、生成），代表标准如 W3C PROV。在多智能体系统中常以执行轨迹与工具调用形式存在，回答“发生了什么”，但不直接回答“这条链是否可信”。
本文把溯源从“记录链条”升级为“给链上每个传述者打分并据此路由”，理解传统溯源的能力边界才能看清贡献所在。
编译式知识库 / LLM Wiki
区别于每次查询都临时检索原文的 RAG，编译式知识库由 LLM 持续把多来源编译成结构化、互链的 wiki，一次性消解矛盾，之后从编译产物给带引用的答案。每个编译声明都是多步智能体流水线产物（抓取→抽取→摄入→综合）。
这是本文框架的目标系统类，决定了“传述点已知且可插桩”前提成立，从而使传述者评级成为可能。
圣训学与传述者学 (isnad–rijal)
isnad（传述链）是挂在每条圣训上、完整无断档的传述人序列；rijal（传述者学）是对每位传述者的诚信（‘adalah）与精确（dabt）系统化评级、经 al-jarh wa-l-ta‘dil 持续更新的学科。一条链按最弱环节定级，独立佐证链可升档，内容（matn）需独立于链质量受检。
这套方法论是本文要迁移的“源技术”，理解它五个结构性原则才能理解框架为何这样设计。
真相发现 (Truth Discovery)
以 TruthFinder（Yin 等 2008）、Google Knowledge Vault/Knowledge-Based Trust 为代表，在冲突数据上联合估计真相与来源可靠度。它给来源打分，却默认“来源到服务”路径透明，不建模传述链、变换类型或链完整性。
这是与本文最近的统计祖先，论文反复用它界定“我多做了什么”——把来源评级升级为带链语义的传述者评级。
主观逻辑与弱链聚合 (Subjective Logic)
Jøsang (2001) 的主观逻辑提供沿链的信任折扣与共识融合，是带佐证的弱链聚合最近形式化祖先，但缺可运行的注册表生命周期（按域打分、版本重置、隔离）、解耦的内容批判与服务/复审/隔离路由。
理解它才能领会框架的“组合创新”：不是发明新算子，而是把若干已知部件组装成一套可运行协议。
研究动机
现代多智能体知识系统越来越多地通过一连串自主变换累积知识而非直接检索。一条事实声明往往要经过文档抓取、抽取、摄入整合、矛盾消解、答案综合等多道“手”，每个手都可能丢信息、扭曲信息或凭空编造。以 Karpathy 提出的“LLM Wiki”这类编译式知识库为例，用户收到的一条声明至少经过原始来源、抽取、摄入模型、综合模型四道工序。现有方案只能做到两件事：附加页面级引用（“本答案参考了这些文档”），以及记录执行轨迹说明每个智能体做了什么（PROV-AGENT、Agent-Sentry）。两者都无法回答审慎读者真正想问的：这条声明、经过这些变换者之后，我该不该信？与此同时，真相发现和声誉系统会评估来源可靠度，却把“来源到服务”路径当透明，既不建模传述链与变换类型也不区分完整性；而当前主流的置信度打分往往只反映最终模型自评，知识冲突研究反复表明 LLM 在表征与调和矛盾证据上极不可靠，多智能体失效分类也把大量故障归因于智能体间验证薄弱。
本文的目标是本文要构建一套可运行框架 ISNAD，为编译式知识库中每条声明附加一条带“按域分级的传述者可靠度”的传述链，并具备四项能力：完整性语义（断链即降级）、按变换类型聚合的弱链评估、与链质量解耦的内容批判（matn 批判），以及把链评级与内容判定交叉成具体行动（serve/review/quarantine）的决策矩阵。目标可量化：在从真实本科物理教材抽取的 20,000 条声明上验证三大机制——最弱链隔离要正确隔离每条含被拒传述者的链、jarh–ta‘dil 循环要从审计证据恢复出传述者分级、独立链佐证要在难度递增的语料上触发，并对无法证伪的等覆盖对比与构造上无信息量的置信度基线给出诚实判定。
与已有工作不同的是，本文独特切入是“跨传统的解汇聚”：信任传递信息这一问题并非现代才有，最严密的近代以前解答是历经约十二个世纪发展起来的圣训学。论文敏锐地发现其方法论——给每位传述者打分、要求完整传述链、用最弱环节封顶信任、允许独立链佐证回升、对内容独立批判——恰好是一份可迁移的“设计规范”。已有 AI-for-hadith 工作用机器学习给圣训文本分级（如 HadithRank 用信息论建模独立链冗余、误差随 $n$ 条独立链按 $p^n$ 下降），本文反向把圣训方法论抽出来套到 AI 系统。和最近祖先（主观逻辑链折扣、真相发现、FEVER 式核查、多智能体声誉）相比，没有一家同时具备“带维护生命周期的分级传述者注册表 + 最弱链加佐证聚合 + 链完整性作为认识论性质 + 链质量 × 内容批判决策程序”这一整套可运行协议——把这套协议整体迁移，正是被忽视之处。
核心方法
直觉上，这套框架像给法庭“证据保管链”里每个经手人单独评级：一条声明的可信度是每位传述者分级可靠度的函数，而不只是最后说话那个模型的自我评估。技术路线把圣训学五个结构性原则落地为五个互锁部件：(1) 传述者与传述链捕获——任何产生、变换或传递声明的实体（来源、抓取器版本、某版本+某 prompt 的摄入模型、答案模型、人类贡献者）都是 narrator，每条声明挂一条有序无断档的 isnad，每段带时间戳、版本号、trace 引用；(2) 传述者注册表与 jarh–ta‘dil 更新循环，主键是 $(narrator\_id, domain\_tag)$，等级先序数（reliable/acceptable/weak/rejected）后数值；(3) 按变换类型细化的最弱链聚合；(4) 受门控的独立链佐证；(5) 双重批判与决策矩阵。数据模型只需两个 PostgreSQL 表：rijal_claims 与 narrator_registry，前提是流水线每个变换点发射 trace_id 且系统维护一个编译产物。
核心创新是把圣训学那一套作为“一个不可拆分的协议包”整体迁移，并做三处关键再发明。其一，它评“传述者”而不只是“记链”：当前溯源记录链但不给变换者打分，框架把注册表做成一等公民、按域分级、版本变更即重置为 ungraded，把版本漂移当新传述者而非继承的声誉。其二，序数优先 + 按域分级对抗“虚假精度”：模型误差随 prompt、上下文、域剧烈变化，单点标量 known_error_rate 会误导，故只在有标定数据时附数值。其三最关键——变换类型化：破坏型变换（抽取、分块、有损摘要）只能丢/坏信息，取严格最小值；生成型变换（带泛化预训练的综合）既可修上游噪声也可引入新错（ClashEval 记录的“参数先验压过检索证据”），故取有界、佐证门控的调整。压轴的是决策矩阵：链等级 × 内容判定 → 具体行动，其中 sahih 链遇矛盾（‘ilal）被定义为系统最有信息量的信号而非错误态——它要么指出来源更新了世界状态、要么指出语料潜藏缺陷，而这正是一个自维护知识库存在的意义。
方法步骤详情
分八步。【1 插桩建表】每个变换点发射 trace_id，建 narrator_registry（主键 $(narrator\_id, domain\_tag)$，含 grade、可选 known_error_rate、model_version）与 rijal_claims（narrator_chain 为 JSONB）。【2 建链】摄入时为每条原子声明构建有序 isnad。【3 完整性】链有缺失段（munqati‘）即封顶 weak。【4 最弱链分级】链等级 = 各 narrator（按域）等级最小值；破坏型取严格 min，生成型取“以自身等级为上限、佐证支持时”的调整。【5 matn 批判】跑内容批判器，与现有语料比对输出 consistent/contradiction/unverifiable。【6 决策矩阵路由】sahih×contradiction→人类复审（‘ilal）、hasan×unverifiable→复审不服务、mawdu→隔离 narrator。【7 jarh–ta‘dil 循环】按命名证据（评估 harness、服务后审计、佐证/矛盾、人工裁决）驱动状态机转移，降级在负面证据越阈值时触发，版本 bump 即重置。【8 佐证】同归一化声明若有 $k$ 条 narrator 集不相交、来源与模型族均独立的链，可升档，封顶 sahih。
技术新颖性
新颖性是“组装”而非“单点发明”，Table 3 把每个机制对到最强祖先并说清增量。对 Jøsang 主观逻辑，新增变换类型化（逐字传述 vs 传意）与完整性语义。对真相发现/TruthFinder/KBT，新增按域分级、版本 bump 重置、隔离生命周期。对 FEVER 式核查，新增与链质量解耦、对 matn 独立操作、显式“unverifiable”三态（经典 tawaqquf 悬置判定）。对 EigenTrust/ReGreT/FIRE 等多智能体声誉，新增声明级溯源而非伙伴选择。最锋利的是决策路由——它没有直接祖先，是框架最可操作的产物。迁移方向也反潮流：现有大量工作用 AI 给圣训打分，本文把圣训方法论抽出来给 AI 系统用。作者用 HadithRank 独立推导出的 $p^n$ 误差下降规则与本框架佐证规则趋同，作为“映射是结构性而非装饰性”的证据。
实验结果
评估在 20,000 条声明（OpenStax 物理 1–3 卷 + Crowell 各 10,000）上展开，30% 标定/70% 评测，四 narrator 设计故障率 1%/2%/15%/18%，跑 10 个种子。【最弱链隔离】含被拒 narrator 的链全部隔离，共 4,057 条（占评测集 29%）、零漏放。【jarh–ta‘dil】无注入清单下恢复 4 个 narrator 中 3 个（1%→reliable、2%→acceptable、15%→rejected 49/50 格）；但故障率最高的 18% legacy 抓取器因标定集过稀全程未分级，反是故障最大来源之一。【置信度基线】confidence 与 corruption 点二列相关 $r = 0.04$，corrupted/clean 平均置信度 0.853/0.848，构造上无信息。【等覆盖对比】ISNAD 覆盖率封顶 4.8%、无法达成 20–90% 任一目标，但 served error = 0.0%。【佐证】v2 维基 603 对全触发、8/8 负对照正确不升档；v3 两本独立物理教材 104/104 触发。【转型策略】降级阈值 3→7.1% 覆盖/2 等级、15→10%/0 等级，无甜点。【案例】摄入物理教材浮出 19 处真实跨框架矛盾（如 $p = mv$ vs $p = h/\lambda$），全为机制区分、19/19 全真。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 最弱链隔离（reject-tier narrator 在链中） | 隔离精度与可追溯性 | 4,057/4,057 声明被隔离（占评测集 29%），每条均可追溯到触发等级，served error = 0.0% | 无直接基线（机制级验证） | 凡含被拒 narrator 的链 100% 被隔离，零漏放 |
| 从审计证据恢复 narrator 分级（jarh–ta‘dil） | 正确恢复的 narrator 数 / 4 | 3/4 恢复（1%→reliable、2%→acceptable、15%→rejected 49/50 格） | 4 个设计故障率已知的 narrator | 漏掉故障率最高的 18% legacy 抓取器——因其在标定集每格过稀而无法被分级 |
| 等覆盖 (matched-coverage) 服务对比 | 各目标覆盖率下的 served error | ISNAD 封顶 4.8% 覆盖、served error = 0.0%（无法达成 ≥20% 目标） | 置信度基线在 20% 覆盖下 served error 15.1%、90% 下 16.1% | 不确定（inconclusive）：无法等覆盖对比，瓶颈是内容批判器而非分级机制 |
| 独立链佐证（mutaba‘at） | 有效对上的触发率 + 负对照命中率 | v2 维基 603/603 触发、8/8 负对照正确不升档；v3 物理 104/104 触发（无负对照） | 无（机制级验证） | 证明佐证在语义改写与正式物理散文上都能正确触发并受门控/封顶约束 |
| 转型策略与内容批判器的实际覆盖 | 覆盖率 vs 恢复的等级数 | 降级阈值 3→7.1% 覆盖/2 等级，阈值 15→10%/0 等级；审计预算 ≥40 反降至 5.9% | — | 本语料无甜点；内容批判器（词重叠+否定启发式）是覆盖率天花板根因 |
局限与改进
作者坦诚且自我加压的局限相当多。其一，jarh–ta‘dil 等级恢复受每 $(narrator, domain)$ 格标定覆盖率上限约束，按域分级把需填格数翻倍，使“域内稀有的 narrator”即使最不可靠也对循环隐形（18% 故障率者被漏）。其二，转型策略在本语料无甜点、更多审计证据反而压低覆盖。其三，参考内容批判器名不副实（号称 embedding 实为词重叠+否定启发式），对多数真实散文只能返回 unverifiable，把覆盖率钉死在复审预算附近，解释了 4.8% 天花板。其四，独立链“独立性”是理想化：两链可能不显式共享 narrator 却因终止于同一答案模型或同族训练数据而相关失效，参考实现只查三类属性、对内容级相关错无能为力。其五，§6 案例跑在私有原型不可复现，19 处矛盾全是机制区分而非误差纠正。其六，框架假设声明有确定真值，对概率/暂定声明无矛盾判定语义。我另观察到：20,000 条故障全是规则化合成注入而非真实 LLM 幻觉，且单摄入模型（deepseek-chat）、单次运行、单域（物理）。
独立分析的弱点
第一，4.8% 覆盖率天花板是压倒性短板——在有一个能对真实散文给出一致判定的语义批判器之前，框架运营价值有限。改进：用 LLM 后端或对比检索实现真正的语义 matn 批判器，并显式建模判定置信度而非简单三态。第二，冷启动 + 每格稀疏导致最危险 narrator 反而隐形（18% 故障率者被漏）。改进：把每格证据计数作为一等运营指标、对持续欠证据格触发定向审计、研究跨域等级迁移（用高证据域先验补低证据域）。第三，置信度基线是稻草人：$r = 0.04$ 是构造出的，所谓“击败基线”是空的。改进：用真实模型自评（对数概率或自洽采样）构造一个真有信息量的基线，否则相对优势永无法被证立。第四，评估只覆盖单模型、单域、单次运行、合成故障。改进：多摄入模型（族）、多域（法律/医学/历史）、多语言，并注入自然主义 LLM 错误（幻觉、张冠李戴）而非 OCR 噪声这类规则腐蚀。第五，独立性检查是结构三属性而非统计，无法发现相关性盲区。改进：从审计日志学习 narrator 误差相关结构，把佐证升档按估计有效独立数折扣。
未来方向
作者明列的未来工作：最高优先级是构建语义/LLM 后端的内容批判器；其次是真实生产环境的 live 部署（链在摄入时自动写入、注册表在真实查询负载下门控服务路径）；再次是把框架扩展到概率/暂定声明（用 valid_from/valid_until/superseded_by 给出不确定性语义而非只是取代）、在有机成因弱链上测试佐证、为人类贡献者设计治理（可争议的等级、透明标准）。基于成果可延伸：跨域等级迁移与可信度衰减模型、从审计日志学习佐证独立性、与密码学轨迹证明（如 Agent-Sentry）集成以堵住“托管模型权改变但版本号不变”盲点、把 mawdu‘ 隔离层接入智能体投毒防御文献（Chen 等 2024）、对 jarh–ta‘dil 循环做形式化收敛性与稳定域分析、以及用 Motzki 的 isnad-cum-matn 分析为框架提供跨链文本变体比对的学术化版本。
复现评估
复现性是本文相当扎实的部分。参考实现、§8 实验数据、分析脚本与结果以 Apache 2.0 开源，pip install isnad 即可安装，源码与语料在 github.com/alizahidraja/isnad，软件与论文记录均归档 Zenodo（doi.org/10.5281/zenodo.21216873 与 21211290）。测试套件 157 项全过，含强制“防火墙测试”（禁止任何分级/门控/路由代码 import 注入清单）和精确复现 §4.5 工作示例的集成测试。分析协议 ANALYSIS_PLAN.md 连同偏差日志进版本控制（虽非第三方预注册，但泄漏防火墙可独立验证）。20,000 条声明来自 CC BY 4.0（OpenStax）与 CC BY-SA（Crowell）开放教材，算力需求低（单摄入模型、分块 PDF）。保留：§6 案例跑在私有原型、不可从公开仓库复现；版本 bump 重置使 live 等级维护成本不低；标题性的“相对基线覆盖率优势”本就是不确定结论、无可复现。综合看，核心框架与机制级验证高度可复现，端到端生产优势尚未被复现。
论文图表
