Fanar-Sadiq:面向基于证据的伊斯兰问答的多智能体架构 Fanar-Sadiq: A Multi-Agent Architecture for Grounded Islamic QA
通过意图感知路由和多智能体工具架构,实现可靠的伊斯兰知识问答系统
前置知识
检索增强生成(RAG)
RAG是一种结合参数化生成和非参数化检索的技术。它通过外部知识库检索相关文档,然后将检索到的内容作为上下文输入到大语言模型中生成回答,从而减少模型幻觉并提高事实准确性。核心组件包括密集检索器(如DPR)和生成式阅读器(如FiD)。
本文提出的多智能体架构是对传统RAG的扩展,理解RAG的基本原理有助于理解作者为何要超越单一检索-生成流程。
法理继承(Faraid)
法理继承是伊斯兰教法中关于遗产分配的法律体系,基于《古兰经》和圣训的明确规定。它将继承人分为固定份额继承人和剩余继承人,通过复杂的规则体系确保遗产的公正分配。不同法学学派(如哈纳菲学派与大众观点)在特定案例上存在分歧。
本文的继承计算器是核心组件之一,需要理解伊斯兰继承法的规则体系,特别是固定份额、剩余继承人、awl和radd等概念,才能理解确定性计算的必要性。
意图分类
意图分类是将用户查询映射到预定义的意图类别(如信息检索、任务执行、计算等)的过程。在多智能体系统中,意图分类器作为路由器,决定将查询发送到哪个专门的模块。本文采用混合分类器,结合LLM和嵌入基原型方法,在LLM失效时提供回退机制。
意图感知路由是本文的核心创新点,理解意图分类的原理和挑战,有助于理解为什么伊斯兰问答需要将查询细分为九种不同类型,而不是统一处理。
LLM-as-a-Judge
LLM-as-a-Judge是一种使用大语言模型评估其他模型输出质量的方法。在问答任务中,评判LLM接收问题、模型答案和参考答案,然后给出正确、不正确或未尝试的判断。这种方法可以评估开放性问题的答案质量,但可能存在评判偏差。
本文在开放性问答基准上使用LLM-as-a-Judge进行评估,理解这种方法有助于解读实验结果,包括IslamicFaithQA和FatwaQA两个数据集的准确率指标。
研究动机
现有的大型语言模型在处理伊斯兰知识问答时存在严重的幻觉和来源归因错误。在宗教应用场景中,这些问题具有高风险——伪造的古兰经文、错误归属的圣训或未经证实的教法学主张都可能误导用户。传统的检索增强生成(RAG)虽然可以提高事实准确性,但单一的检索-生成流程无法满足伊斯兰问答的多样化需求。具体场景包括:需要逐字精确匹配的经文查询、需要基于规则的计算(如天课和继承)、需要处理法学学派分歧的教法学问答,以及需要引用规范化的裁决类问题。固定流程在这些异构意图下会导致可预测的失败模式,如错误引用经文、教法学主张缺乏依据、天课或继承计算的数值不一致等。
本文的目标是本文旨在构建一个可靠的双语(阿拉伯语-英语)伊斯兰问答系统,通过意图感知的多智能体架构,将不同类型的查询路由到专门的处理模块,确保每个查询都能获得最适合的执行方式。系统需要满足以下目标:提供基于经典经文的回答并附带可追溯的引用、确保经文引用的精确性和规范化、支持确定性的天课和继承计算并明确法学学派差异、正确处理不知道时的 abstention 情况、在开放性和计算型任务上都保持高可靠性。
与已有工作不同的是,本文的独特切入角度在于超越了传统的统一RAG流程,提出了意图感知执行的新范式。与现有的伊斯兰问答系统不同,作者认识到伊斯兰问答不是单一的语义检索任务,而是涵盖了精确查找、规则计算、时空推理和法学推理等多种异构意图的复合任务。作者设计的多智能体架构将这些意图明确分离,每个模块针对特定的失败模式——精确查找防止经文转述漂移、确定性计算防止数值错误、法学推理确保引用规范化。这种方法既不同于通用的工具调用框架(如ReAct、Toolformer),也专门针对伊斯兰知识领域的特殊性进行了深度定制。
核心方法
Fanar-Sadiq系统采用多智能体、工具增强的架构,核心思想是通过意图感知路由将用户查询发送到最合适的处理模块。系统首先通过混合查询分类器将查询分为九种意图类型:法学裁决、古兰经检索、一般伊斯兰知识、问候、天课计算、继承计算、祈祷词查询、伊斯兰历、祈祷时间。每种意图对应特定的执行路径,包括工具调用、确定性计算、文档检索问答或古兰经检索。系统强调透明度和可靠性,通过引用追踪和后生成验证确保所有主张都有据可依。这种设计将传统的单一检索-生成流程分解为多个专门化的子模块,每个模块针对特定的错误类型进行优化。
核心创新点在于意图感知的多智能体路由架构与确定性计算的结合。与标准RAG将所有查询统一处理不同,Fanar-Sadiq根据查询意图选择执行模式:经文查询使用精确查找防止转述漂移、计算查询使用确定性模块确保数值一致性、法学查询使用引用规范化增强可追溯性。另一个关键创新是继承计算器明确处理法学学派差异,在存在争议的案例中返回并行的分布而不是折叠为单一裁决。系统还集成了NL2SQL模块,将自然语言查询转换为精确的SQL查询,用于统计和完整章节检索,避免生成模型的算术和截断错误。
方法步骤详情
方法步骤完整描述如下。步骤一:混合查询分类。使用LLM作为主分类器,输出意图标签、置信度、推理说明、子问题分解和检索标志。当LLM置信度低于0.5或输出格式错误时,系统回退到基于嵌入的原型分类器,该分类器使用余弦相似度与预计算的意图原型进行匹配。步骤二:工具调用路径。对于问候、伊斯兰历、祈祷时间和祈祷词查询,系统调用确定性工具。问候工具返回文化适宜的伊斯兰问候语。伊斯兰历工具使用hijri-converter库进行日期转换,并包含月度滚动逻辑和重要事件查询。祈祷时间工具使用pyIslam库根据地理坐标计算五次礼拜时间,支持四种计算方法。祈祷词工具使用两阶段架构,先通过语义搜索匹配场合,再使用轻量级LLM过滤相关项,最后逐字返回经文、翻译和引用。步骤三:计算路径。天课计算器接收资产、负债和贵金属价格参数,计算净财富后应用2.5%税率。农业产品根据灌溉方式应用不同税率。牲畜根据圣训的时间表计算。继承计算器执行三阶段流程:第一阶段根据《古兰经》分配固定份额;第二阶段通过剩余继承人系统按优先级分配剩余遗产;第三阶段通过awl或radd确保算术一致性。当法学学派差异存在时,系统返回并行分布。步骤四:知识检索路径。对于法学裁决查询,系统检索50000+文档,使用Usul al-Fiqh系统提示词要求LLM明确说明裁决范围、分离裁决与证据、应用来源层次。对于一般伊斯兰知识查询,系统进行语义搜索并生成严格基于检索引用的回答以减少幻觉。步骤五:古兰经检索路径。古兰经查询分类器预测四种子类型。对于特定经文查询,工具解析引用并逐字返回经文。对于解释查询,系统检索相关经文和支持文档,使用受限的古兰经解释智能体生成基于证据的解释。对于完整章节和统计查询,系统使用NL2SQL模块生成SQL查询,从古兰经表中精确检索数据。步骤六:响应组装。所有模块返回标准化输出对象,最终响应组装器合并结果,添加引用块和URL,记录执行痕迹用于验证和调试。
技术新颖性
技术新颖性体现在三个方面:一是将工具调用范式与领域特定知识深度结合,不仅支持通用工具,还集成了伊斯兰知识领域的专用工具;二是设计了基于意图的细粒度路由系统,将伊斯兰问答分解为九种可操作的意图类型;三是引入了NL2SQL模块用于古兰经的结构化查询,解决了生成模型在计数和完整文本检索上的算术和截断问题。与通用的工具增强模型相比,本文的方法更加领域化,与现有的伊斯兰RAG系统相比,本文的系统超越了文本检索,包含了确定性的计算模块和经文精确查找。
实验结果
核心发现包括:在五个基准测试上的平均准确率为76.5%,显著优于开源基线ALLaM-7B的45.9%和Fanar-2-27B的62.4%,与强专有模型竞争。在开放性问答基准上,Fanar-Sadiq在IslamicFaithQA上达到65.4%,相比最强专有基线Gemini-3-Pro的56.6%提升了8.8个百分点;在FatwaQA上达到65.1%,接近Gemini-3-Pro的67.0%。这支持了意图感知路由的假设。在多选基准上,系统在PalmX上达到85.5%,在IslamTrust上达到94.2%,在QIAS任务1上达到72.2%。QIAS任务1仍然是最具挑战性的基准,差距部分源于MCQ格式引入的额外错误源。混合查询分类器在700个查询的手动标注数据集上达到90.1%的准确率。继承计算器在887个真实法特瓦案例上的评估中,90.83%的案例与法特瓦声明的分布匹配。系统已通过聊天界面和API使用约190万次,在6441个用户评价中,77.4%的用户表示满意。NL2SQL模块在分析/检索查询上达到100%准确率,在计数查询上使用5个示例时达到94.59%。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| PalmX(伊斯兰文化多选问答) | 准确率 | 85.5 | Gemini-3-Pro: 84.4, GPT-5: 82.3 | 超过Gemini-3-Pro 1.1个百分点,超过GPT-5 3.2个百分点 |
| QIAS T1(伊斯兰继承推理) | 准确率 | 72.2 | Gemini-3-Pro: 95.2, GPT-5: 94.7 | 低于专有模型,但这是最具挑战性的硬约束法学任务 |
| IslamTrust(伊斯兰价值观对齐) | 准确率 | 94.2 | Gemini-3-Pro: 95.6, GPT-5: 93.0 | 接近Gemini-3-Pro,超过GPT-5 1.2个百分点 |
| IslamicFaithQA(开放性伊斯兰问答) | LLM评判准确率 | 65.4 | Gemini-3-Pro: 56.6, GPT-5: 51.2 | 超过Gemini-3-Pro 8.8个百分点,超过GPT-5 14.2个百分点 |
| FatwaQA(法学问答) | LLM评判准确率 | 65.1 | Gemini-3-Pro: 67.0, GPT-5: 63.6 | 接近Gemini-3-Pro,超过GPT-5 1.5个百分点 |
局限与改进
作者承认的局限性包括:系统支持伊斯兰知识问答,但不替代合格的学者权威或发布具有约束力的法特瓦;响应依赖于检索语料库的覆盖范围和质量;路由错误可能将计算密集的查询发送到自由形式的法学问答;引用可能仍然不完整;确定性计算器也有范围限制;开放性评估部分依赖于自动化或基于LLM的评判。作者自己的观察包括:系统在QIAS风格的MCQ基准上表现相对较弱;系统的性能依赖于检索语料库的质量和覆盖范围;对于涉及法学学派分歧的复杂案例,系统可能返回多个并行的分布,这对普通用户可能造成困惑。
独立分析的弱点
独立分析的弱点包括:首先,系统的路由分类器虽然达到90.1%的准确率,但在实践中仍有近10%的路由错误。改进方向是增强分类器的鲁棒性,例如通过增加更多边缘案例的训练数据、引入后处理规则来检测明显路由错误,或者使用多轮对话澄清用户意图。其次,继承计算器虽然覆盖了主要的继承规则,但可能遗漏一些边缘案例或特殊的学派观点。改进方向是扩展继承规则的覆盖范围,增加更多学派的观点,并引入用户确认机制来处理复杂案例。第三,系统对于法学分歧的处理可能过于简略,返回多个并行的分布但没有深入解释分歧的来源和理由。改进方向是为分歧案例提供更详细的背景说明,引用支持每个观点的古典法学文献。第四,系统的引用规范化可能不完整,特别是对于圣训引用。改进方向是建立更全面的圣训引用数据库,支持多种编号系统的转换。第五,系统的计算输出虽然提供详细的分解和引用,但缺乏可视化或交互式界面。改进方向是引入可视化工具,如饼图显示继承分配、表格显示天课计算步骤。
未来方向
未来研究方向包括:作者提出的扩展法学覆盖范围,包括更多学派的观点;改进路由的鲁棒性;加强圣训集合的引用验证。基于成果可延伸的方向包括:将系统扩展到其他宗教传统;集成更多工具;改进分歧处理;增强用户交互;开发面向特定用户群体的定制化版本;建立更全面的评估基准;研究系统的公平性和偏见。
复现评估
复现评估:系统提供了API文档和Web应用,但论文没有明确说明代码和数据的开源情况。从论文描述来看,系统使用了多种组件,这些组件大多是开源的或提供API访问。评估使用的数据集大部分是公开的。论文提供了详细的实现细节,包括提示词、算法伪代码、配置参数、数据库模式,这些都有助于复现。然而,完整的复现可能需要访问专有的检索语料库和精炼的NL2SQL模型。算力需求方面,系统使用多个LLM,需要相当的计算资源。总体来说,系统的核心架构和方法是可复现的,但完全复现端到端系统可能需要相当多的工程工作和资源。难度评估:中等偏高。
论文图表
这个表格将Fanar-Sadiq与广泛认可的工具、智能体、RAG架构进行了比较。比较维度包括显式规则引擎、基于经文的检索、自然语言到SQL的转换、证据追踪、工具使用。Fanar-Sadiq在所有维度上都支持,而其他架构最多支持3个维度。
这个表格对理解论文很重要,因为它将Fanar-Sadiq与相关的方法进行了系统的比较,突出了系统的独特性。读者可以清楚地看到Fanar-Sadiq不仅支持通用的RAG和工具使用,还集成了伊斯兰知识领域的专用组件。