LedgerMind：面向可审计多模态智能体轨迹的结构化证据运行时 LEDGERMIND: Provenance-Constrained Multimodal Agentic Reasoning with a Structured Evidence Ledger

完整流水线（FULLPIPE 分支）分三阶段。证据采集：先用纯问题文本生成任务计划（观察目标、推理方法、答案粒度约束），记为置信度 $\sigma=1.0$ 的 DERIVATION 条目；接着从图像中抽取最多 $N_{\max}$ 条观察声明（OCR/数字/物体等语义类别），每条作为 PERCEPTION 条目 $\sigma=0.92$，并构建文本池 $P_{oc}$；若是阅读/定位类问题，从九宫格选最相关区域做 2.5× 裁剪放大，用 SUPERSEDE 覆盖最低置信度条目，阅读类还触发 Dual-Read（两次独立读数 $v_1,v_2$，相对差 $\Delta_v\le0.15$ 则 $\sigma=0.97$，否则 $\sigma=0.65$）；知识类问题先以 OC 实体建查询做一轮搜索（$\sigma=0.85$），深度知识再触发第二轮精炼查询。接地推理：用 $[E]\to[I]\to[J]$ 三段链生成状态声明，每条非首声明必须引用账本 ID，空引用的非判断声明被丢弃、判断声明降级到 $\sigma=0.55$；每条判断过三层级联——支持覆盖 $\rho(c)$（去停用词后词级重叠比例）、实体一致性 ECC（结论非数值实体须出现在叶证据池或别名表）、数值一致性 NCC（每个数值须在类型容差 $\Delta_u$ 下匹配被引值，年份/计数/标签精确，连续读数 $\delta=0.15$ 相对容差），ECC 失败 $\sigma\to0.50$、NCC 失败 $\sigma\to0.52$，都低于验证阈值 $\sigma_{\text{verify}}=0.6$；若所有判断都偏弱且修复预算允许，把最强判断当可证伪假设做验证。决策与防御：决策时把图像连同账本一起重发给模型，对 $\hat{y}$ 过三道防线——实体复查（ECC 失败则只允许用可见文本重答）、数值复查（阅读类把答案吸附到 $\text{Num}(P_{oc})$ 中最接近的值）、视觉兜底（含不确定标记则强制直接看图答）。事件触发器 T1–T6（工具异常/陈旧引用/冲突/置信度跌落/决策无支撑/幽灵接地）按 locality-first 策略映射到修复算子，每次触发最多 $M_0=2$ 次修复。

技术新颖性体现在四个层面。第一，结构化证据账本作为多模态智能体轨迹的中心状态抽象是新的——虽然数据库溯源、分布式追踪在系统学里是老传统，但把它们操作性地用到多模态智能体的接地、自适应执行、受约束修复上是首次，作者也明确不主张「结构化追踪」孤立看是新东西。第二，把轨迹级忠实度形式化为溯源受限推理问题，并提出四种被准确率掩盖的失败模式（含把 RAG 引用正确性 vs 忠实性区分具体化为多模态轨迹上的 Phantom Grounding）是新的诊断视角。第三，三层接地协议（覆盖+ECC+NCC）把接地从「是否引用了」下沉到「被引证据是否真包含结论实体与数值」，并且对 DERIVATION 条目做透明递归解析到 PERCEPTION/RETRIEVAL 叶节点，避免了派生证据自我背书。第四，最关键的新颖点是类型化修复接口配合 Proposition 1 的溯源不放大保证——证明七类算子（DROP/REFRESH/RETRY/SWITCH/ACQUIRE/STOPANDANSWER/ABSTAIN）中，凡产生新条目的（REFRESH/RETRY/ACQUIRE）都必须经过工具调用与映射 $M$，从而在溯源层级上锁死「修复不能伪造无溯源内容」。这个保证并不声称工具输出一定事实正确，但保证任何残余错误都绑定了显式来源、保持可审计，这是 free-form 自反思做不到的。

第一，硬编码规则与阈值的脆弱性。复杂度分类器靠关键词（"how many"、"temperature"、中文拼音 na bu 等）和正则匹配选项字母，阈值 $\sigma_{\text{verify}}=0.6$、$\delta_{\text{read}}=0.15$、ECC/NCC 降级值 0.50/0.52 都是 50 题网格搜索的产物。这种规则在论文评测的分布上稳定，但遇到反讽、复杂改写、小语种或新领域（如医学影像）会失灵。改进方向：把分类器和阈值替换成轻量学习版（小模型或 LLM-as-router），并引入分布漂移检测自动回退到保守模式。第二，接地检查的语义盲区。ECC 靠实体集合包含加小别名表，NCC 靠数值匹配，但同义改写（"approximately 200" vs "around two hundred"）、单位换算、跨模态共指（图中「该公司」指向文字实体）抓不住。改进方向：接入更强的实体链接与单位归一化模块，或让 ECC 用轻量嵌入相似度做软匹配再人工复核。第三，对工具正确性的过度信任。Proposition 1 只锁溯源不锁事实，OCR 误识、检索返回错误事实都会被忠实记入账本并被接地判定为「合法」，可能系统性放大错误。改进方向：对工具输出做交叉验证（如 Dual-Read 已部分做），对高敏感数值引入多源投票或不确定性传播。第四，仅图文静态场景，未覆盖视频、具身、长时程。第五，裁判依赖单一外部模型（Gemini-3.1-Pro），S-RFA 结论可能受裁判偏差污染。

作者明确提了三条：把账本扩展到带持久记忆的长时程智能体（TTL 策略需重做）、把类型化修复机制泛化到视频与具身交互等其他模态、探索如何把账本级监督（grounded vs ungrounded 声明可在轨迹级区分）转成 MLLM 的训练信号。基于成果我额外延伸几条：一是把 Proposition 1 的溯源不放大保证形式化为可验证的运行时不变量，用模型检查器或类型系统在工程层强校验，而不是靠人读伪代码；二是学习型调度器与修复策略，用强化学习在轨迹级奖励（结合 R4R/WDG）上训练路由与修复选择，摆脱规则依赖；三是把账本与不确定性量化结合，给每条证据传播置信区间，让决策声明带显式概率而非硬阈值；四是跨模态实体链接研究，专门解决图像中指代与文字实体的对齐，强化 ECC 在真实世界场景下的覆盖；五是研究账本本身能否成为安全审计与合规的标准化接口（教育、医疗、法律场景的可解释性刚需）。

复现评估中等偏上。论文给出大量工程细节——11 字段账本 schema、四条生命周期操作（APPEND/MARKSTALE/SUPERSEDE/DROP）的伪代码、依赖图定义、ECC/NCC 的精确公式与阈值选择依据、复杂度分类器的关键词清单、动态答案粒度约束表 F(q)、OC 七类语义抽取指令、Dual-Read 的 $\Delta_v\le0.15$ 判据、知识搜索双引擎冗余（Serper.dev 主、SerpAPI 备）、不确定标记词表 U、T1–T6 触发条件与 $\Pi$ 修复策略映射、Algorithm 1/2 的完整两段伪代码、六款骨干与六个公开基准、Hard-200 的构造协议（候选池规模、vendor 级失败率公式、评分协议 $s_i\in\{0,0.5,1\}$）、各拓扑 MC-Search 全表。但有几个缺口：完整 prompt 模板只给「abbreviated」版，全文称「available in the supplementary code」但正文未见代码链接；外部裁判固定用 Gemini-3.1-Pro，无裁判一致性校验；六款骨干均为闭源专有模型（GPT-4o/GPT-5.5、Gemini-3-Flash/3.1-Pro、Claude-Sonnet-4.6/Opus-4.7、Kimi-K2.6），复现者需付高昂 API 费用且模型版本会变；账本与调度器的工程实现（数据结构、并发、TTL 时钟）未完全公开。算力上，因训练无关只跑推理，单题成本可控但 HARD-200+多骨干全表评测仍需可观 API 预算。整体看，思路与公式可复现，工程细节齐备，但缺开源代码与裁判校验是减分项。