CarePilot：面向医疗保健长视野计算机任务自动化的多智能体框架 CarePilot: A Multi-Agent Framework for Long-Horizon Computer Task Automation in Healthcare

CarePilot的工作流程可以分为训练阶段和推理阶段。在训练阶段，系统通过模拟Actor-Critic交互来生成纠正轨迹。具体步骤如下：(1) 工具接地：在每个时间步 $t$，系统对当前截图 $I_t$ 运行四类感知工具，得到UI元素的边界框 $B_{out}$、放大视图 $I_{focus}$、文本-位置对 $T_{out}$ 和图标匹配结果 $M_{out}$，这些输出被聚合成统一的特征向量 $\phi_t$。(2) 内存更新：短期记忆 $MS_t = f_S(x_{t-1}, a_{t-1}, r_{t-1})$ 记录上一步的截图、动作和Critic反馈；长期记忆 $ML_t = f_L(ML_{t-1}, MS_t, \phi_t)$ 通过工具接地特征更新轨迹嵌入。(3) Actor预测：Actor接收输入 $(x_t, g, \phi_t, MS_t, ML_t)$，采样生成语义动作 $a_t \sim \pi_\theta(a_t | x_t, g, \phi_t, MS_t, ML_t)$。(4) Critic评估：Critic通过价值函数 $Q_\phi(x_t, g, a_t, MS_t, ML_t) \rightarrow \hat{r}_t \in [0, 1]$ 评估动作正确性，如果 $\hat{r}_t > \tau$ 则批准并更新内存，否则触发层级反思生成反馈 $\delta_t$。(5) 轨迹收集：成功的轨迹（所有步骤被Critic批准）被收集用于后续微调。在推理阶段，系统只保留Actor，给定当前GUI状态、指令和内存上下文，Actor直接预测下一个语义动作，无需Critic参与。这种设计使得推理时的计算开销大幅降低，同时保留了Critic的推理能力。

CarePilot的技术新颖性体现在以下几个方面。与Voyager、Reflexion等内存增强智能体相比，CarePilot的双内存设计更加精细——短期记忆专注于最近一步的即时反馈，长期记忆维护整个轨迹的紧凑表示，这种分离使得不同时间尺度的信息能够被有效利用。与UI-TARS、SeeAct等GUI自动化方法相比，CarePilot引入了专门的工具接地机制来解析医疗软件界面，而不是依赖VLM的原始视觉能力，实验表明这种设计对医疗领域的复杂UI元素至关重要。与传统的Actor-Critic强化学习方法相比，CarePilot的推理时蒸馏策略避免了推理时的双模型交互，既提高了效率又提升了性能。此外，CarePilot的层级反思机制不同于简单的自我反思（如Reflexion），它从动作、轨迹、全局三个层级进行诊断，并将不同层级的反馈分别存入不同的内存，这种设计使得错误诊断更加精准，学习信号更加丰富。

经过独立分析，我认为CarePilot存在以下几个弱点，每个都对应具体的改进方向。第一，工具接地模块的静态设计：当前的四类工具（目标检测、缩放、OCR、模板匹配）是在设计时固定的，无法根据具体任务动态调整。例如，在处理需要图像分割的任务时，如果能动态集成医学图像分割模型（如SAM-Med），可能会显著提升性能。改进方向是设计一个可学习的工具选择机制，根据当前任务和界面状态自动选择最相关的工具组合。第二，长期记忆的简单压缩：当前的长期记忆 $ML_t$ 通过简单的函数 $f_L$ 更新，可能丢失重要的历史信息。对于特别长的工作流（超过20步），这种压缩可能导致关键上下文的丢失。改进方向是引入基于注意力机制的记忆压缩，保留与当前任务最相关的历史信息。第三，缺乏显式的规划模块：CarePilot是纯粹的反应式决策（给定当前状态预测动作），没有显式的长期规划能力。对于需要回溯或重新规划的场景（如发现之前的操作有误），当前框架可能难以处理。改进方向是集成轻量级的规划器，能够在更高层级上规划任务执行策略。第四，训练数据的局限性：虽然论文声称训练集有735个任务，但没有讨论数据增强或合成数据生成的可能性。考虑到医疗软件的多样性，当前的训练数据可能不足以覆盖所有可能的界面配置。

基于本文的成果，我认为有以下几个值得探索的未来方向。第一，扩展平台覆盖：作者已经指出需要覆盖更多医疗软件平台，一个有前景的方向是研究跨平台迁移学习——在一个平台上训练的智能体能否快速适应新平台？这可以通过元学习或少样本学习来实现。第二，像素级接地：虽然当前框架预测语义动作，但许多实际任务需要精确的像素级操作（如在医学图像上标注病灶边界）。一个自然的扩展是让框架能够预测GUI坐标，并与现有的UI接地方法结合。第三，多智能体协作：当前的CarePilot是单智能体系统，但复杂的医疗工作流可能需要多个智能体协作（如一个负责导航，一个负责数据输入，一个负责质量检查）。将Actor-Critic范式扩展到多智能体设置是一个有趣的方向。第四，安全性增强：医疗软件的操作涉及患者数据和临床决策，安全性至关重要。未来的工作可以引入显式的安全检查模块，在执行敏感操作前进行额外的验证。第五，人机协作：在真实临床环境中，完全自动化的智能体可能不被信任。一个有价值的方向是设计人机协作模式，让智能体在不确定时寻求人类确认，或者让人类能够轻松纠正智能体的错误。

从复现评估来看，CarePilot的复现条件相对友好。首先，代码和数据集已经开源（论文中提到the code and dataset for this project are available at: Carepilot），这为复现提供了基础。其次，训练和推理的算力需求相对合理：所有实验在NVIDIA A100 (40 GB) GPU和Google Colab Pro+环境中进行，每个模型训练约5-6小时，这对于学术研究来说是可以接受的。框架使用PyTorch、Hugging Face Transformers和Unsloth实现，并采用LoRA高效微调（rank 2, lora_alpha 4），进一步降低了算力需求。推理时的平均时间约为90秒/任务，对于评估来说是可接受的。第三，基准数据集包含1,100个任务（训练735，测试315），数据规模适中。然而，复现也面临一些挑战。首先，需要访问特定的医疗软件（Weasis、3D Slicer、Orthanc、OpenEMR、OpenHospital）来设置评估环境，这些软件虽然都是开源的，但配置和使用需要一定的技术背景。其次，论文没有详细说明数据收集和标注的具体流程，复现者可能需要与医疗专家合作来验证或扩展数据集。第三，基线模型（如GPT-5）的访问可能需要付费API，这对于资源有限的研究者可能是一个障碍。总体而言，CarePilot的复现难度属于中等水平，具备开源代码和数据、合理算力需求、清晰的技术细节，但需要医疗领域知识和软件配置经验。