AUDITFLOW：面向结构化财务报告验证的可执行符号化环境 AUDITFLOW: Executable Symbolic Environments for Structured Financial Reporting Verification
提出基于双图环境的多智能体框架，将搜索与确定性验证分离，显著提升XBRL审计准确性
前置知识
XBRL（可扩展商业报告语言）
XBRL是一种用于财务报告的标准化数字格式，每个报告数值都链接到会计概念、期间、单位和上下文。它通过结构化的标签系统，使机器能够解析和理解财务数据。XBRL文档不仅包含数值本身，还包含丰富的元数据，如数据类型、期间类型、维度信息等，这些信息对于验证报告的一致性至关重要。
本文研究的XBRL审计验证任务完全基于XBRL格式的财务报告，理解XBRL的结构和语义是理解验证任务的基础。
US-GAAP分类体系
US-GAAP（美国公认会计准则）分类体系是一个结构化的概念层次系统，定义了财务报告中使用的会计概念、它们之间的关系（如计算关系、展示关系、维度关系）以及约束条件。它包含概念的定义、数据类型、期间类型、余额属性等元数据，以及概念间的父子关系和计算链接。
US-GAAP分类体系提供了验证财务报告正确性的规则和约束，AUDITFLOW利用这些规则构建静态的分类图谱来实现确定性检查。
证据推理（Evidential Reasoning）
证据推理是一种不确定性推理框架，用于组合多个证据源的信念。它使用质量函数（mass function）表示每个假设的支持程度，包含一个无知状态来表示不确定性。组合规则允许合并多个证据源，产生融合后的质量函数，冲突质量表示证据间的矛盾程度。
AUDITFLOW使用证据推理来组合两个初级审计师的报告，处理审计师之间的分歧，并计算可信度分数，这是框架实现可追溯审计决策的关键技术。
DQC规则
DQC（Data Quality Committee）规则是XBRL美国联盟定义的一套数据质量检查规则，用于验证XBRL财务报告的常见错误。本文评估的三个DQC规则家族包括：DQC.US.0015（符号一致性）、DQC.US.0117（维度聚合一致性）和DQC.US.0126（计算树一致性）。这些规则覆盖了财务报告中不同类型的数值一致性验证。
DQC规则是AUDITFLOW执行的确定性检查的核心内容，理解这些规则的语义和应用方式是理解方法有效性的关键。
研究动机
现有的语言模型代理在结构化财务审计验证任务上表现不佳，核心问题在于正确性取决于结构化证据而非纯文本。在FinAuditing基准测试中，最强模型在数值一致性任务上的准确率仅为13.86%。这是因为验证一个报告数值不仅需要找到它，还需要判断它是否与相关的分类约束和相关事实一致。这涉及将报告事实链接到分类概念、遍历计算或维度关系、重新计算期望值，然后应用审计规则，这些操作都是对结构化工件的操作，而不仅仅是文本理解。
本文的目标是本文的目标是构建一个能够可靠执行XBRL审计验证的系统，使语言模型代理能够在正确性需要与结构化符号化环境交互时做出可靠决策。系统需要将报告事实链接到分类概念、遍历计算或维度关系、重新计算期望值，然后应用审计规则，最终产生可检查的审计决策、期望值、证据轨迹和可信度分数。
与已有工作不同的是，与现有工作相比，本文的独特切入点是将 filing 和 taxonomy 视为一个统一的可执行验证环境，而不是分离的检索对象。现有工作如工具增强代理、检索和图增强方法、神经符号方法和多智能体反思辩论框架虽然改进了基础性，但最终的计算、规则应用或信任判断仍然留在语言模型内部。AUDITFLOW则使这些验证步骤在结构化环境中可执行，明确分离了搜索和计算。
核心方法
AUDITFLOW的核心思想是将搜索与计算分离：LLM代理决定在哪里查找证据，而符号化环境执行事实检索、分类遍历、数值检查和规则评估。方法包含四个组件：第一，双图审计环境表示静态US-GAAP分类和动态XBRL文件证据；第二，类型化动作-观察接口通过确定性工具暴露环境；第三，三智能体审计协议让两个初级审计师从不同视角检查同一案例，高级审计师审查报告并在需要时发送案例返回进一步调查；第四，证据聚合步骤将基础报告融合为最终审计输出。
核心创新点是将验证的确定性部分（事实检索、分类遍历、数值检查、规则评估）从LLM的推理中分离出来，放入一个可执行的符号化环境中。这个环境通过类型化的确定性工具暴露给LLM代理，LLM负责引导搜索和决策何时使用哪些工具，但最终的验证结果由工具返回。这种设计确保了验证的可靠性，同时保留了LLM的灵活搜索能力。另一个关键创新是使用双图结构（静态分类图谱+动态文件图谱）和角色专门化的多智能体协作，实现了从监管视角和证据视角的双重验证。
方法步骤详情
AUDITFLOW的工作流程分为四个主要步骤。第一步是构建双图审计环境，从US-GAAP分类发布构建静态分类图谱，从XBRL文件包构建动态文件图谱，并通过桥接边链接报告事实到其分类概念。第二步是类型化动作-观察交互，两个初级审计师通过ReAct循环与环境交互，Compliance Auditor A1使用静态分类工具，从分类约束开始检查报告事实；Forensic Auditor A2使用静态和动态工具，从报告证据开始然后确认分类约束。第三步是必需工具门控，初级审计师必须完成必需的确定性检查（对于A1是check_sign、check_calc_tree和check_dim_consistency，对于A2还包括get_fact_history）才能最终确定或请求高级仲裁，环境会拒绝过早的最终化并返回缺失工具作为下一个观察。第四步是证据聚合和高级审计，如果两个初级审计师同意决策和触发的规则，高级审计师接受共识；如果不同意，高级审计师识别可能的冲突来源（如缺失事实、错误期间、不完整的计算邻域或未解决的维度上下文）并返回有针对性的反馈，初级审计师重新进入环境进行另一轮有界搜索，最终通过证据推理融合产生最终决策、报告值、期望值、证据路径和可信度分数。
技术新颖性
AUDITFLOW的技术新颖性体现在三个方面。首先，它提出了基于图的数值一致性验证任务定义，其中答案取决于文件事实、分类约束、数值检查和可检查证据，这扩展了传统的文本中心验证框架。其次，它构建了双图环境，将静态分类知识和动态文件证据分离但通过桥接边连接，支持从报告事实到分类概念、返回到收集验证所需事实的审计轨迹。第三，它实现了角色专门化的多智能体协议和证据推理聚合，使不同智能体从监管视角和证据视角进行互补搜索，并通过可追溯的证据融合处理分歧。最重要的是，AUDITFLOW使确定性检查成为权威的验证步骤，LLM不能通过自我反思覆盖检查结果，这是与现有工具增强代理的本质区别。
实验结果
实验结果表明，AUDITFLOW在所有主干模型上都实现了最佳的Joint ACC（联合审计准确率）。在GPT-5.5上达到82.09%，GPT-4o、Claude Sonnet 4.6和Qwen-397B上均达到80.60%，Qwen-27B上达到73.13%，Fino1-14B上达到31.34%。相比最强基线Single Agent，AUDITFLOW在GPT-5.5上提升14.93个百分点。移除确定性检查后准确率从82.09%下降到17.91%，无效输出从1.49%上升到35.82%，DQC.US.0117和DQC.US.0126的准确率降至0.00%，这清楚地证明了符号化环境不仅是检索底层，其规则特定的检查器执行了模型无法可靠替代的验证步骤。移除必需工具门控后Joint ACC下降到74.63%，无效输出上升到17.91%；移除ER融合后Joint ACC下降到77.61%。消融实验表明确定性检查承担了主要的验证负担，而门控和证据聚合有助于产生更稳定的审计工件。智能体行为分析显示，Compliance Auditor A1在每个模型上都专门使用静态分类工具，而Forensic Auditor A2始终混合静态和动态工具，证明了角色分割在不同主干模型上的保持。A2遵循证据优先、检查最后的策略，GPT-5.5在动态阶段停留时间最长，而Qwen-27B切换更早。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| XBRL审计验证（Joint ACC） | 联合审计准确率（%） | 82.09 (GPT-5.5) | 67.16 (Single Agent, GPT-5.5) | +14.93个百分点 |
| XBRL审计验证（Joint ACC） | 联合审计准确率（%） | 80.60 (GPT-4o) | 5.97 (FinAuditing, GPT-4o) | +74.63个百分点 |
| 判决准确率（VAcc） | 二元一致/违规准确率（%） | 95.52 (GPT-4o) | 65.67 (Herculean, GPT-4o) | +29.85个百分点 |
| DQC.US.0015规则验证 | 规则准确率（%） | 81.82 (GPT-5.5) | 72.73 (Single Agent, GPT-5.5) | +9.09个百分点 |
局限与改进
作者承认的局限性包括：评估仅限于FinAuditing中FinMR任务的67个实例子集和三个DQC规则家族，这些案例覆盖了重要的数值一致性验证形式，但不代表完整的XBRL审计规则、文件类型、公司或报告年度范围。AUDITFLOW假设XBRL文件和US-GAAP分类发布可以解析为可靠的结构化图谱，这适用于标记的公共公司文件，但不直接处理扫描报告、不完整标记或结构化程度较低的财务披露。尽管确定性工具执行负载验证，框架仍然依赖LLM主干来遵循工具协议并生成可用报告，较弱的模型可能在到达确定性检查之前失败。此外，评估遵循FinAuditing的LLM-as-a-judge协议，尽管配置固定并使用缓存，但仍可能引入评估者错误。观察到的局限性还包括：DQC.US.0117和DQC.US.0126规则涉及更复杂的维度聚合和计算树结构，即使有确定性检查，这些案例仍然更难；期望值重构是剩余的主要挑战，在较强主干上计算错误率（CER）仍然存在。
独立分析的弱点
独立分析的弱点包括：第一，框架对XBRL文件和US-GAAP分类的解析质量有较强依赖，对于不完整或非标准标记的文件，需要额外的提取和规范化步骤。第二，当前仅覆盖三个DQC规则家族，扩展到完整的XBRL审计规则集（如100+个DQC规则）需要扩展工具目录和确定性检查器，可能引入维护复杂性。第三，证据推理的冲突处理策略相对简单，当两个初级审计师存在重大分歧时，系统可能需要更多轮次的迭代，增加了计算成本。第四，框架对LLM主干的推理能力仍有要求，较弱的模型可能在工具协议遵循和证据轨迹构建方面失败，这限制了在资源受限环境中的部署。改进方向包括：开发更鲁棒的XBRL解析器以处理不完整标记；扩展工具目录以覆盖更多DQC规则家族；优化冲突处理策略以减少迭代轮次；开发轻量级的协议遵循检查器以支持较弱的主干模型。
未来方向
作者提出的未来工作方向包括：在更大数据集和更广泛的规则集上评估框架；扩展框架以处理扫描报告、不完整标记或结构化程度较低的财务披露。基于成果可延伸的方向包括：将AUDITFLOW应用于其他需要与结构化环境交互的验证任务，如法律合规检查、临床指南检查、供应链验证等；探索更复杂的多智能体协作模式，如引入专门的角色（如领域专家、数据验证员、合规分析师）；开发自动化的DQC规则到确定性检查器的转换工具，以降低扩展到新规则的成本；研究在联邦学习设置下的隐私保护审计，使多个组织可以在不共享原始财务数据的情况下协作训练审计模型；探索与现有审计和合规程序的集成，将AUDITFLOW嵌入到专业审计师的工作流中作为辅助工具而非替代品。
复现评估
复现评估方面：论文承诺发布代码和衍生数据，将包含对原始资源的引用并遵循源工件的使用条款。实验使用从SEC EDGAR检索的公共公司文件、从FinAuditing发布的基准元数据以及公开可用的US-GAAP分类发布。研究评估使用这些资源，不重新分发原始SEC文件包或专有模型输出。实验字段包含公司标识符、文件元数据、审计查询、分类概念、报告期间和数值真实答案，不包含私人个人信息或用户生成的冒犯性内容。公共SEC文件可能包含公开披露的高级人员或签署人姓名，但这些不作为预测目标或评估标签使用。软件栈包括Python实现，使用networkx构建图层，使用lxml解析XBRL文件，使用openpyxl处理表格文件工件，使用langgraph和langchain抽象实现智能体层，支持OpenAI、Anthropic、Together、Fireworks、OpenRouter、本地OpenAI兼容服务器和HuggingFace Transformers的提供商适配器。LLM调用使用包含角色、模型名称、系统提示、规范消息历史和排序工具名称的键在磁盘上缓存，判断器单独缓存。使用热缓存重放未更改的运行会在不进行额外LLM调用的情况下重现相同的审计工件和判断标签。主评估使用多达8个并发审计案例异步运行。本地模型实验在8个GPU节点上运行，配备两个NVIDIA A100 80GB GPU。复现难度中等，需要访问LLM API或本地GPU服务器、SEC EDGAR数据访问和US-GAAP分类文件。
论文图表
该图展示了财务审计验证的一个具体例子，说明单个审计规则可能需要链接分散的XBRL文档，遍历分类关系，重新计算期望值，并对结构化证据应用规则。图中展示了从报告事实到分类概念、通过计算或维度关系、到重新计算期望值、最终应用规则的完整流程，强调了这些操作是对结构化工件的操作，而不仅仅是文本理解。
这张图对理解论文至关重要，因为它直观地展示了XBRL审计验证任务的复杂性和为什么纯文本理解方法不足以解决这个问题。它为理解AUDITFLOW需要分离搜索和计算的设计动机提供了具体背景。
该表格列出了实验中使用的主干模型，包括专有API模型（GPT-5.5、GPT-4o、Claude Sonnet 4.6）和开源或托管模型（Qwen3.5-397B-A17B、Qwen3.6-27B、Fino1-14B）。对于专有模型，参数规模未公开披露；对于开源模型，报告了发布的模型规模。
这个表格对理解论文至关重要，因为它列出了实验中使用的主干模型，为理解backbone robustness分析和模型比较提供了完整清单。它为理解实验设置的细节提供了关键参考。
该表格报告了所有方法和主干模型组合的完整Joint ACC比较。AUDITFLOW在每个主干模型上实现最佳结果。在GPT-5.5下，AUDITFLOW达到82.09%，相比Single Agent的67.16%和Herculean的65.67%。相同的模式适用于GPT-4o、Sonnet 4.6、Qwen-397B、Qwen-27B和Fino1-14B。结果还显示了基于检索的基线和可执行工具基系统之间的清晰分离。GraphRAG和TreeRAG相比Direct LLM和Vanilla RAG有所改进，表明结构化上下文有用，但它们仍然低于智能体系统，因为最终验证仍然依赖模型自己的规则应用和数值推理。Single Agent通过使用与AUDITFLOW相同的双图环境和确定性工具进一步改进。AUDITFLOW通过在同一环境上添加角色专门化搜索和报告聚合给出最佳结果。
这个表格对理解论文至关重要，因为它提供了AUDITFLOW相对于所有基线方法在所有主干模型上的完整Joint ACC比较，为理解主要结果和backbone robustness提供了核心数据支持。
该表格报告了所有方法和主干模型组合的完整诊断错误率（SER、EER、CER）。Direct LLM和Vanilla RAG经常遭受较高的结构错误率，尤其是当输入上下文很长或组织松散时，表明这些方法往往在到达数值验证步骤之前就失败了。GraphRAG和TreeRAG为较强主干减少了结构失败，但它们仍然显示大量的计算错误，这意味着检索的结构本身并不能消除对可执行检查的需求。智能体系统具有较低的结构错误率和更好的Joint ACC，但它们的错误特征不同。Single Agent相比基于检索的方法减少了许多失败，但在最强主干下它的CER仍然高于AUDITFLOW。AUDITFLOW在大多数主干上将EER保持在接近零，表明它通常正确检索报告值。其剩余错误主要是CER，表明最难的情况是需要精确的期望值重构。
这个表格对理解论文至关重要，因为它详细分析了不同方法和主干模型的错误特征，揭示了性能差异的来源（结构错误、提取错误 vs 计算错误），为理解为什么AUDITFLOW表现更好提供了深入洞察。
该表格报告了Joint ACC的成对自举比较。GPT-4o、Claude Sonnet 4.6和Qwen3.5-397B-A17B在这个运行中在案例级别相同，与GPT-4o比较时给出Δ= 0和p = 1。GPT-5.5与GPT-4o仅相差1.5个百分点，对应于67个案例中的一个案例，成对自举区间包括零（[−8.8, +5.8]）。相比之下，从GPT-4o到Qwen3.6-27B的下降是显著的（+7.5个百分点，p = 0.032），到Fino1-14B的下降则大得多（+49.3个百分点，p < 0.001）。这些结果支持主论文中的backbone分析：能够的主干产生相似的审计结果，而较弱的主干表现出统计显著的退化。
这个表格对理解论文至关重要，它提供了成对统计检验的完整结果，证明了不同主干模型之间的性能差异在统计上的显著性，为理解backbone robustness分析提供了严格的统计支持。
该算法描述了AUDITFLOW的环境基础多智能体审计过程。输入是审计环境E = (GyT, GF, A, O)、查询和最大轮数K，输出是最终决策、报告值、期望值、动作路径、证据和可信度分数。算法首先从查询初始化共享审计状态并从GF检索报告值。然后对于每轮k=1到K，运行Compliance Auditor A1和Forensic Auditor A2在E上，在接受初级报告之前强制执行必需工具门控。如果A1和A2同意决策和触发的规则，返回AGGREGATE(A1, A2)；否则获取高级反馈并将其附加到共享审计状态。最终返回AGGREGATE(A1, A2)。该算法实现了有界细化循环，允许系统纠正常见错误，如使用错误的期间、缺失计算子节点、跳过必需的检查器或留下维度上下文未解决。
这个算法对理解论文至关重要，它提供了AUDITFLOW三智能体审计协议和有界细化过程的精确伪代码描述，为理解方法的技术细节和实现提供了关键参考。