ArogyaSutra：印度语言多模态医疗推理的多智能体框架 ArogyaSutra: A Multi-Agent Framework for Multimodal Medical Reasoning in Indic Languages
提出Actor-Critic框架和ArogyaBodha数据集，解决7种印度语言医疗推理问题
前置知识
Actor-Critic架构
一种强化学习框架，Actor负责选择动作策略，Critic负责评估动作价值。Actor通过策略函数采样动作，Critic通过价值函数V(s)或Q(s,a)估计状态价值或动作价值。Critic的反馈用于更新Actor的策略，使策略不断改进。这种架构结合了策略梯度和价值函数的优势，既能处理连续动作空间，又能降低方差。
本文的ArogyaSutra框架核心就是Actor-Critic，Actor生成医疗推理步骤，Critic评估推理正确性并提供反馈，两者交互实现迭代优化。
多模态大语言模型(MLLM)
能够同时处理图像和文本输入的深度学习模型，通常由视觉编码器和语言解码器组成。视觉编码器（如CLIP ViT）将图像编码为特征向量，语言解码器（如LLM）基于这些特征生成文本。训练时通常使用视觉-语言对比学习（如CLIP）和视觉指令调优（如LLaVA）方法。
本文处理的医疗查询包含医学图像和印度语言文本，需要多模态理解能力。ArogyaSutra基于Qwen2.5-VL模型，这是一个强大的MLLM。
Chain-of-Thought(CoT)推理
一种提示方法，引导模型逐步推理而非直接给出最终答案。通过要求模型展示中间推理步骤，可以提升复杂问题的解决能力，提高推理透明度和可解释性。CoT蒸馏则是指将强模型生成的推理链作为训练数据，用于训练更小或更快的模型。
本文通过Critic生成修正的推理链，然后蒸馏给Actor，使Actor能够在推理时直接产生结构化推理步骤，而不依赖Critic。
研究动机
现有医疗多模态大语言模型在印度语言场景下表现严重不足，存在两个核心问题：逻辑保真度下降和语言行为不稳定。虽然跨语言迁移提供了部分缓解，但印度语系的开源多模态医疗推理仍然受制于这两个持续性的失败模式。现有的通过领域特定监督改进推理的方法进一步受到基准测试的限制，这些基准测试大多是单语言、以文本为中心、封闭式的，对多语言多模态推理和文化一致性提供的洞察有限。在医疗领域，这种问题在印度农村地区尤为严重，患者经常用本地印度语言表达复杂的医疗查询，并依赖医学图像等多模态输入，但现有以英语为中心的MLLM难以支持这类用例，限制了AI驱动的医疗援助的公平获取。
本文的目标是本文旨在解决低资源印度语言场景下的多模态医疗推理问题，具体目标是：第一，形式化印度语言多模态医疗推理这一新任务；第二，构建ArogyaBodha，一个大规模多语言多模态医疗推理数据集和基准，覆盖英语和七种主要印度语言；第三，提出ArogyaSutra，一个基于Actor-Critic的多智能体框架，结合基于工具的视觉基础和双记忆机制，实现逐步的多模态医疗推理；第四，通过跨语言、成像模态和临床领域的广泛实验，证明所提出方法的有效性和鲁棒性。
与已有工作不同的是，本文的独特切入角度在于关注低资源印度语言医疗推理这一被忽视的研究方向。与现有工作不同，本文不仅构建了专门的基准测试，还提出了一个能够区分语言理解错误和逻辑推理错误的智能体框架。大多数现有方法要么专注于高资源语言，要么局限于模态特定的设置。本文通过引入语言感知的反思推理，使框架能够动态确定何时需要代码切换，从而在印度语言的复杂临床软件交互中实现鲁棒性能。这是首个专门为印度语言医疗推理设计的多模态智能体框架。
核心方法
ArogyaSutra框架采用Actor-Critic架构作为核心决策模块，共同利用基于工具的感知基础和随时间积累的记忆。Actor和Critic都实例化自同一个多模态骨干模型Qwen-VL-2.5-7B，仅在功能角色上有所区分：动作提案与动作评估，以及输入条件的差异。框架集成了四个视觉工具用于增强医疗发现的感知基础：开放词汇对象检测、放大/裁剪、边缘检测和深度分析。双记忆机制包括短期记忆M_short捕获最近的错误，长期记忆M_long总结整个推理轨迹中积累的错误模式。当Actor产生错误预测时，Critic首先诊断失败来源，区分语言理解错误和推理链中的逻辑错误。如果是语言不稳定性导致，Critic用英语提供反思反馈以稳定和指导Actor的推理链；反之，如果失败源于错误推理，Critic用查询对应的印度语言发出反思，实现更具语境基础的纠正指导。
ArogyaSutra的核心创新在于将Actor-Critic框架与语言感知反思推理、工具基础和双记忆机制相结合。与现有方法的本质区别在于：第一，显式区分语言错误和逻辑推理错误，采用不同的反馈策略和语言；第二，集成轻量级视觉工具直接进入MLLM推理循环，而非依赖外部工具调用；第三，双记忆机制防止智能体重复过去的失败；第四，通过代码切换的推理链蒸馏，在推理时仅保留蒸馏策略，大幅降低推理开销。这种设计使ArogyaSutra能够在低资源印度语言场景下实现透明、医学基础和语言稳定的推理。
方法步骤详情
方法步骤如下：在推理步骤t，Actor观察到当前接口状态ot、任务目标g、感知上下文zt和记忆状态(MSt, MLt)，采样候选语义动作ut。Critic由参数psi参数化，通过估计标量置信度分数来评估提议动作。如果st_hat = 1，动作被接受，两个记忆模块都更新；否则，Critic触发语言分析反思并发出结构化纠正反馈Delta_t以指导后续推理链。训练时，通过模拟Actor-Critic轨迹，构建Critic优化的数据集D，其中ui_dagger表示Critic批准的动作，并附加相关工具输出和记忆上下文用于后续步骤。然后Actor使用监督学习进行微调，目标函数为LSFT = -1/N * sum(log pi_theta(ui_dagger | oi, gi, zi, MSi, MLi))。
技术新颖性
ArogyaSutra的技术新颖性体现在多个方面：首先，这是首个专门为低资源印度语言多模态医疗推理设计的Actor-Critic框架，填补了这一领域的空白。其次，框架提出了语言感知反思推理机制，能够根据错误类型动态切换反馈语言，这是医疗智能体研究中的创新。第三，将轻量级视觉工具直接集成到MLLM推理循环中，而非作为外部插件，实现了更紧密的模态融合。第四，双记忆机制将时间依赖性显式编码到推理过程中，防止重复错误。第五，通过代码切换的推理链蒸馏，将Critic的推理能力转移到Actor中，在推理时无需显式评估，大幅降低了计算开销。最后，框架在停止条件上设计了重试机制，如果连续两次重启周期都未达到正确答案，则从训练集中移除该数据点，确保训练数据质量。
实验结果
实验结果显示ArogyaSutra在所有七种印度语言上均显著优于基线模型。Qwen2.5-VL-7B变体在阿萨姆语、孟加拉语、印地语、马拉地语、旁遮普语、泰米尔语和泰卢固语上的准确率分别为47.69%、45.38%、42.30%、42.30%、43.07%、41.53%和41.53%，平均准确率达到43.40%，超过最强基线GPT-4.0（39.30%）4.1个百分点。相比其基座模型Qwen2.5-VL-7B-Instruct（34.21%），ArogyaSutra提升+9.2个百分点。与医疗特定模型相比，显著优于BioMistral-7B（平均26.35%）、MedGemma-4B-it（平均36.11%）和MedVLM-R1（平均23.79%）。在分布外数据集（西班牙MIR住院医师考试数据）上，ArogyaSutra(Qwen2.5-VL-7B)达到50.4%的准确率，超过其基座Qwen2.5-VL-7B-Instruct基线（35.0%）15.4个百分点，也超过了BioMistral-7B（36.9%）和MedGemma-4B-it（45.2%），展示了强大的泛化能力。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 多语言多模态医疗问答（7种印度语言） | 选择准确率(%) | 43.40 | GPT-4.0 | +4.1 |
| 多语言多模态医疗问答（7种印度语言） | 选择准确率(%) | 43.40 | Qwen2.5-VL-7B-Instruct | +9.2 |
| 分布外医疗问答（西班牙MIR考试） | 准确率(%) | 50.4 | Qwen2.5-VL-7B-Instruct | +15.4 |
| 印地语医疗问答 | 选择准确率(%) | 42.30 | GPT-4.0 | +2.2 |
局限与改进
作者承认的局限性包括：尽管ArogyaSutra表现强劲，但在罕见或非典型临床病例中仍可能产生推理错误或误解视觉证据，如果在现实世界决策中误用输出，会带来风险。ArogyaBodha虽然覆盖七种主要印度语言，但未涵盖印度完整的语言多样性，包括临床实践中常用的低资源方言和混合语言，在此类条件下性能可能下降。Actor-Critic框架依赖于基础视觉工具和基础多模态骨干的可靠性，感知或错误归因的失败可能会通过推理过程传播，即使有关键反馈也是如此。此外，由于测试集是从数据集构建的，可能存在数据泄漏风险，需要更独立的第三方评估。
独立分析的弱点
独立分析的弱点包括：第一，评估主要依赖选择准确率这一单一指标，缺乏对推理链质量、可解释性和临床实用性的评估。建议未来加入医疗专家对推理链的人工评估，包括逻辑连贯性、临床相关性和语言流畅性。第二，代码切换策略较为简单，仅在语言错误时切换到英语，未考虑更细粒度的语言混合策略。可以探索基于上下文感知的动态代码切换机制，例如根据医疗术语密度或句子复杂度调整语言。第三，视觉工具仅包含四个基础工具，对于复杂的医学图像分析（如病灶分割、病理分类）可能不够。建议集成更专业的医学图像分析工具。第四，停止条件中的重试机制可能增加推理时间和计算成本，可以设计更智能的早停策略。第五，数据集来源可能存在偏差，特别是考试题目的代表性可能不足真实临床场景。
未来方向
作者提出的未来工作方向包括：鼓励在值得信赖的多语言医疗AI和面向服务不足社区的临床基础多模态推理系统方面的未来研究。基于本文成果，可延伸的研究方向包括：第一，扩展语言覆盖，纳入更多低资源印度语言和方言，以及混合语言场景。第二，开发更复杂的代码切换策略，探索基于词汇级或短语级的语言混合。第三，集成更多专业的医学图像分析工具，如放射科报告生成、病灶检测和量化分析工具。第四，将框架扩展到其他医疗任务，如医学图像报告生成、临床决策支持和患者教育。第五，开发针对医疗智能体的专用评估基准，包括安全性、可靠性和伦理合规性的评估。第六，研究在真实临床环境中的部署策略，包括与现有医疗信息系统(EHR/PACS)的集成。
复现评估
复现评估：作者宣布源代码和数据集将在https://iitp-cse.github.io/ArogyaSutra/发布，这是积极的开源实践。训练使用NVIDIA A100 80GB PCIe GPU，在18k多语言多模态数据集上训练3个epoch，每次运行约需12-15小时。使用PyTorch、Hugging Face Transformers和Unsloth进行高效训练，学习率设为5e-4，预热100步，权重衰减0.01，每设备批大小为2，梯度累积4步。采用参数高效微调(PEFT)应用于语言、注意力和MLP投影层，LoRA rank r=16，LoRA alpha=16，dropout设为0。使用Unsloth以4位精度进行高效训练。这些配置和超参数提供了良好的复现基础，但A100 GPU的需求可能限制部分研究者的复现能力。建议作者同时提供在较小GPU（如RTX 3090或4090）上的配置和性能报告。
论文图表
该表格专门展示了Critic代理中图像基础和记忆利用的消融研究结果。配置包括：无图像基础且无记忆利用(26.86%)、仅有记忆利用(30.57%)、两者都启用(43.40%)。结果显示：单独使用记忆机制可以将准确率从26.86%提升到30.57%，提升+3.71个百分点。同时启用图像基础和记忆机制达到最佳准确率43.40%，相比无组件版本提升+16.54个百分点。这表明图像基础和记忆机制在多语言多模态医疗推理中起互补作用。
这个表格对理解论文很重要，因为它深入分析了Critic代理中两个关键组件——图像基础和记忆机制——的单独和组合效果。结果清楚表明这两个组件是互补的：单独使用记忆机制能够带来一些改进，但只有同时启用图像基础和记忆机制才能达到最佳性能。这支持了作者关于视觉工具基础提供感知上下文、记忆机制提供时间上下文，两者结合实现更全面推理能力的论点。表格的简洁性也使读者能够快速理解每个组件的贡献。