面向心理健康语言情感诊断的高效鲁棒多智能体指令优化框架 Towards Efficient and Robust Linguistic Emotion Diagnosis for Mental Health via Multi-Agent Instruction Refinement
将提示优化建模为POMDP,用五角色多智能体协作提升心理健康情感诊断准确性与鲁棒性。
前置知识
自动提示优化(APO)
自动提示优化是一类通过程序化方法搜索最优提示词的技术。传统做法分为两大范式:生成-搜索(generate-and-search)方法先让LLM生成候选提示,再通过局部搜索或进化算法筛选;元提示(meta-prompt)方法设计高层指令模板来引导LLM自动生成任务提示。两者都试图在不修改模型权重的前提下,通过调整输入指令来最大化下游任务性能。近年来,APO已从token级离散搜索(如AutoPrompt)发展到语义级自然语言优化(如APE、OPRO),逐步具备了自我反思和迭代改进的能力。
APOLO的核心贡献就是提出了一种针对情感诊断场景定制的APO方法,理解通用APO框架的范式和局限是理解本文创新点的前提。
部分可观测马尔可夫决策过程(POMDP)
POMDP是马尔可夫决策过程(MDP)的扩展,其核心区别在于智能体无法直接观测到环境的真实状态,只能通过部分可观测信息进行推断。形式化定义为一个五元组 $(S, A, T, O, R)$:$S$ 是状态空间(真实但隐藏的环境状态),$A$ 是动作空间,$T$ 是状态转移函数,$O$ 是观测函数(将隐藏状态映射为可观测信号),$R$ 是奖励函数。智能体需要维护对当前状态的信念分布(belief state),基于不完全信息做出决策。这种建模方式特别适合诊断类任务——患者的内心状态是隐藏的,医生只能通过语言表达这一部分观测来推断。
本文将提示优化过程建模为POMDP,这是理解APOLO框架设计哲学的关键——优化过程中的每一步都对应一次不确定状态下的决策,而非简单的文本编辑。
苏格拉底式对话(Socratic Dialogue)
苏格拉底式对话是一种通过提问引导对方自主发现真理的教学方法,核心是不直接给出答案,而是通过连续追问暴露思维中的矛盾和盲点。在AI领域,这种模式被引入多智能体协作框架中:Teacher角色提出启发性问题,Student角色基于问题进行反思和改进,Critic角色评估对话质量并纠正偏离。这种教学-反思-评估的闭环机制能够促使LLM进行更深层次的推理,而非停留在表面的模式匹配。
APOLO的Socratic模块是其性能提升的核心驱动力,消融实验表明移除该模块会导致Macro F1平均下降7.19%,理解苏格拉底式对话的设计理念对理解论文至关重要。
情感共病(Emotional Comorbidity)
在心理健康领域,情感共病指多种情感状态同时出现且相互交织的现象。例如,抑郁症患者常同时经历焦虑、内疚、无价值感等多种情绪,这些情绪之间可能存在层级或因果关系——例如“我感到内疚,害怕自己会崩溃”同时表达了内疚和恐惧。传统的单标签分类方法无法捕捉这种多维度、共现的情感模式,导致诊断不完整。在本文的语境中,情感共病不仅是被诊断对象的特征,也是对诊断方法的核心挑战。
情感共病是本文要解决的两大核心问题之一,也是APOLO设计多标签推理和层级化优化策略的直接动机。
链式思维提示(Chain-of-Thought Prompting)
链式思维提示是一种通过在提示中引导模型逐步推理来提升复杂任务性能的技术。典型做法是在提示末尾加入“Let’s think step by step”或提供包含推理步骤的示例。CoT促使模型将复杂问题分解为多个中间推理步骤,每一步的输出作为下一步的输入,形成推理链。这种显式的中间推理过程有助于模型处理需要多步逻辑推理的任务,但也存在局限性:推理路径的初始设计仍然是固定的,无法根据具体任务动态调整。
CoT是论文实验中的重要基线方法,同时APOLO的Socratic模块可以看作是对CoT的一种动态化、多智能体化的升级。
研究动机
在心理健康领域的语言情感诊断任务中,大语言模型虽然展现出强大的情感推理能力,但面临两个根本性挑战。首先是情感共病问题:疾病相关的情感往往以交织共现的形式出现,如焦虑伴随抑郁、创伤伴随内疚、快感缺失伴随自我指责。一句话可能同时表达多种情感状态,它们之间存在层级或因果关系。例如“我感到内疚,害怕自己会崩溃”同时表达了内疚和恐惧,但固定模板的提示只能捕捉到主导情绪,遗漏次要但同样重要的情感维度。其次,现有自动提示优化方法存在低效探索问题。生成-搜索方法倾向于在提示空间的有限区域内做局部搜索,容易过早收敛;元提示方法依赖固定的优化模板,无法动态适应不同的任务上下文。两者都缺乏全局规划、不确定性建模和交互式反馈机制,这对于高维提示空间中的有效搜索至关重要。这种低效不仅限制了优化性能,还增加了不稳定性,在安全敏感的医疗应用中尤为关键。
本文的目标是本文的目标是提出一个系统化的提示优化框架APOLO,能够在心理健康情感诊断场景中同时解决情感共病和低效探索两大问题。具体目标包括:第一,提高诊断的完整性,使模型能够识别出一句话中所有共存的情感状态,而不仅仅是主导情绪;第二,提升诊断的鲁棒性,确保在不同LLM骨干模型(GPT-5-mini、DeepSeek-V3、Qwen3-32B)和不同数据集上都能稳定获得改进;第三,控制计算成本,使优化过程在合理的token消耗和迭代次数内收敛;第四,提供可解释的优化轨迹,使临床专业人员能够理解模型的推理过程。
与已有工作不同的是,本文的独特切入角度在于将提示优化建模为一个部分可观测决策过程,而非简单的文本编辑问题。现有方法要么将提示优化视为搜索问题(生成候选然后筛选),要么视为模板填充问题(在固定结构中填入任务特定内容),但都忽略了情感诊断任务的内在特性:诊断过程中的状态是部分可观测的(患者的内心情感是隐藏的),决策需要考虑临床风险(遗漏自杀意念等高危信号),且优化需要在不确定性和成本约束下进行。APOLO抓住了这个被忽视的关键点——提示优化应该模仿真实临床推理的过程,通过不确定性感知的状态转移来逐步演化提示,而非直接修改文本。此外,论文还引入了风险感知和成本约束的轨迹规划,这在现有APO方法中是缺失的。
核心方法
APOLO的核心思路可以用一个临床诊断的类比来理解:想象一个实习医生(Student)在资深医师(Teacher)的指导下学习诊断抑郁症患者。Teacher通过苏格拉底式提问引导Student思考“患者是否同时存在焦虑?”“这句话的隐含情感是什么?”,Critic评估诊断过程的质量,Planner规划整个教学路径,Target则用真实病例来检验诊断效果。在技术实现上,APOLO将提示优化建模为POMDP $(S, A, T, O, R)$:状态 $S$ 反映从患者叙述中推断的潜在诊断线索和不确定性,动作 $A$ 对应Teacher-Critic智能体生成的临床干预(如探查共病信号或澄清模糊情感),转移 $T$ 更新内部诊断假设,观测 $O$ 将潜在状态表达为可执行的指令,奖励 $R = f(\pi_{tar}(x | O(s)), Y)$ 量化诊断效用。整个框架由五个LLM智能体角色组成:Planner生成风险感知和成本约束的优化轨迹,Teacher提出情感感知的探查问题,Student基于反馈迭代改进提示,Critic评估交互质量,Target评估最终性能并决定是否继续优化。
APOLO与已有方法最本质的区别在于三个层面的创新。第一,将提示优化从文本编辑问题提升为决策问题——提示的演化通过不确定性感知的状态转移来实现,而非直接修改文本内容,这使得系统能够像临床推理一样考虑隐含的情感共现和风险信号。第二,引入风险感知和成本约束的轨迹规划:传统APO方法优化目标仅仅是最大化任务性能,但APOLO在优化目标中加入了风险惩罚项 $\text{Risk}(S_T)$ 和成本惩罚项 $\text{Cost}(S_T)$,前者防止系统遗漏关键的临床信号(如自杀意念),后者控制计算开销,确保优化过程的实用性。第三,设计了苏格拉底式多智能体协作机制:Teacher-Critic-Student三方互动不仅提供任务反馈,还通过结构化的伪梯度更新逐步改进提示质量。这三个创新共同作用,使APOLO能够在更广泛、更细粒度的提示空间中进行有效搜索,同时保持临床安全性和计算效率。
方法步骤详情
APOLO的优化流程分为五个阶段。第一阶段,Planner接收任务目标 $g$、输入文本 $x$ 和初始提示 $p_0$,生成一组候选轨迹 $\{S_T^{(k)}\}_{k=1}^K$。每条轨迹包含一系列子目标 $S_T = [st_1, \ldots, st_n]$,每个 $st_i$ 指定一个局部推理焦点(如识别候选情感、探查不确定性、澄清临床细节)。Planner通过优化正则化目标 $\pi_{plan}(g, x, p_0) = \arg\max_{S_T} \mathbb{E}_h[\log P - \gamma_r \text{Risk} - \gamma_c \text{Cost}]$ 来选择最优轨迹,其中 $\gamma_r$ 和 $\gamma_c$ 分别控制对安全风险和计算约束的敏感度。第二阶段,Socratic模块沿Planner生成的轨迹进行迭代细化。在每步 $i$,Teacher基于子目标 $st_i$ 和历史交互序列 $H_{<i}$ 提出探查问题 $q_i$,Critic从清晰度、诊断相关性和安全性三个维度评估并返回结构化反馈 $c_i$,Student整合 $(q_i, c_i)$ 更新工作提示 $p_i$。第三阶段,联合策略优化——Teacher、Critic、Student形成联合策略 $\Pi = \{\pi_t, \pi_c, \pi_s\}$,通过优化目标 $\max_\Pi \mathbb{E}[(R(\Pi) - \lambda \sum_{i=1}^n \mathcal{L}_{align}(q_i, c_i), st_i)]$ 来学习,其中 $\mathcal{L}_{align}$ 惩罚与Planner子目标的偏离。第四阶段,Target智能体在测试集上评估最终提示 $p_\ell$,计算奖励 $R^{(t)} = \sum_{(x,Y) \in D_{test}} f(\pi_{tar}(x; p_\ell^{(t)}), Y)$。第五阶段,自适应早停:当连续迭代间的边际收益 $\Delta R^{(t)} = R^{(t)} - R^{(t-1)} \leq \delta$ 或达到最大迭代次数 $I$ 时,优化终止。
技术新颖性
APOLO的技术新颖性体现在三个维度。首先,在建模范式上,它是首个将提示优化形式化为POMDP的情感诊断框架。现有方法要么将其视为离散搜索问题(如AutoPrompt、APE),要么视为强化学习问题(如RLPrompt),但都忽略了情感诊断任务中状态的部分可观测性——患者的内心情感状态是隐藏的,诊断只能基于语言表达这一部分观测。POMDP建模使得优化过程能够显式地处理这种不确定性。其次,在优化策略上,APOLO引入了风险感知和成本约束的联合规划,这在现有APO方法中是缺失的。传统方法只关注任务性能,但在医疗场景中,遗漏关键信号(如自杀意念)的代价远高于多消耗一些计算资源。第三,在协作机制上,Teacher-Critic-Student的苏格拉底式三方互动提供了结构化的伪梯度反馈,相比单智能体自我反思(如APE)或简单的生成-评估循环(如OPRO),这种机制能够更深入地挖掘提示空间中的高质量区域。论文还提供了理论分析,证明了APOLO的改进有界性:$E[R(p_n)] - R(p_0) \geq \sum_{i=1}^n A_i - \frac{\sigma^2}{2\lambda} - \gamma_r B_r - \gamma_c B_c$。
实验结果
APOLO在六个基准数据集上进行了全面评估,使用三个不同的LLM骨干模型(GPT-5-mini、DeepSeek-V3、Qwen3-32B),结果表明其在所有配置下都取得了最优性能。在聚合指标上,APOLO实现了平均Macro F1 49.25%和Micro F1 64.72%,分别超越最强基线OPRO 2.96%和3.40%。在多标签任务DepressionEmo上,APOLO将精确匹配率(EMR)提升至28.70%(基线OPRO为24.28%),部分匹配准确率(PMA)达到93.78%(基线为86.75%),表明其在捕捉复杂情感共现方面具有显著优势。在单标签数据集如DailyDialog上,GPT-5-mini骨干下的Macro F1达到34.11%(基线OPRO为31.25%),Qwen3-32B骨干下更是达到35.24%。跨模型鲁棒性方面,APOLO在三种骨干模型上的平均Macro F1改进分别为+2.94%、+2.94%和+3.00%,表明其优化机制独立于模型架构和训练流程。消融实验揭示了各组件的重要性:移除Socratic模块导致Macro F1平均下降7.19%、Micro F1下降8.69%、EMR下降11.22%、PMA下降12.07%;移除Planner导致Macro F1下降3.75%、Micro F1下降4.90%;移除Critic导致Macro F1下降2.00%、Micro F1下降3.00%。收敛分析表明APOLO在前1-4次迭代内快速提升(约5%-10%),随后在6-10次迭代内平滑稳定,比OPRO更单调稳定。计算效率方面,在相同token消耗(约24.4\times10^5)下,APOLO比OPRO高出约7%的Micro F1;达到相同性能时,OPRO需要多生成约7\times10^5个token。初始提示鲁棒性测试表明,六个不同风格的初始提示经APOLO优化后,最终Micro F1的标准差仅为0.6647。数据效率方面,仅使用1个样本的APOLO已超越使用50-100个样本的基线方法。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| DailyDialog(日常对话情感识别) | Macro F1 / Micro F1 | GPT-5-mini: 34.11% / 82.34%; DeepSeek-V3: 31.02% / 57.21%; Qwen3-32B: 35.24% / 83.51% | OPRO (最强基线): GPT-5-mini: 31.25% / 79.12%; DeepSeek-V3: 28.31% / 53.19%; Qwen3-32B: 32.33% / 80.21% | Macro F1提升约+2.86~+2.91%,Micro F1提升约+3.21~+4.02% |
| EmoryNLP(多参与者对话情感检测) | Macro F1 / Micro F1 | GPT-5-mini: 48.01% / 54.22%; DeepSeek-V3: 46.55% / 54.89%; Qwen3-32B: 49.21% / 55.50% | OPRO: GPT-5-mini: 45.15% / 50.83%; DeepSeek-V3: 43.95% / 50.83%; Qwen3-32B: 46.52% / 52.33% | Macro F1提升约+2.60~+2.69%,Micro F1提升约+3.17~+4.06% |
| PELD(人格-情感联合数据集) | Macro F1 / Micro F1 | GPT-5-mini: 53.15% / 69.23%; DeepSeek-V3: 53.48% / 62.50%; Qwen3-32B: 54.41% / 70.62% | OPRO: GPT-5-mini: 50.23% / 66.00%; DeepSeek-V3: 50.35% / 59.13%; Qwen3-32B: 51.46% / 67.37% | Macro F1提升约+2.92~+3.13%,Micro F1提升约+3.25~+3.37% |
| RECCON(情感因果识别) | Macro F1 / Micro F1 | GPT-5-mini: 44.52% / 51.89%; DeepSeek-V3: 53.61% / 58.03%; Qwen3-32B: 45.72% / 53.18% | OPRO: GPT-5-mini: 41.77% / 48.75%; DeepSeek-V3: 50.59% / 54.72%; Qwen3-32B: 42.71% / 49.88% | Macro F1提升约+2.75~+3.02%,Micro F1提升约+3.14~+3.31% |
| EmotionX(社交媒体多方对话情感识别) | Macro F1 / Micro F1 | GPT-5-mini: 39.21% / 55.02%; DeepSeek-V3: 38.84% / 45.99%; Qwen3-32B: 40.42% / 56.42% | OPRO: GPT-5-mini: 36.63% / 51.89%; DeepSeek-V3: 36.21% / 42.96%; Qwen3-32B: 37.75% / 53.19% | Macro F1提升约+2.58~+2.67%,Micro F1提升约+3.04~+3.23% |
| DepressionEmo(抑郁症多标签情感分类) | Macro F1 / Micro F1 / EMR / PMA | GPT-5-mini: 70.11% / 82.45% / 28.92% / 91.17%; DeepSeek-V3: 77.23% / 88.08% / 27.15% / 96.80%; Qwen3-32B: 71.55% / 83.89% / 30.02% / 93.38% | OPRO: GPT-5-mini: 66.45% / 78.70% / 24.28% / 86.75%; DeepSeek-V3: 73.69% / 84.66% / 22.96% / 94.04%; Qwen3-32B: 67.82% / 80.02% / 25.61% / 89.85% | Macro F1提升约+3.54~+3.73%,Micro F1提升约+3.42~+3.87%,EMR提升约+4.19~+4.41%,PMA提升约+2.76~+4.42% |
局限与改进
论文的局限性可以从多个维度来分析。首先,在评估范围上,所有实验都在英文数据集上进行,缺乏跨语言验证——心理健康情感表达在不同语言和文化背景下存在显著差异(例如东亚文化中情感表达更为含蓄),APOLO在中文、日文等语言场景下的效果尚不确定。其次,在数据集规模上,六个基准数据集相对较小(DailyDialog测试集仅1000段对话),且标注方案各异,这使得跨数据集的性能比较存在一定的不公平性。第三,在计算成本方面,虽然论文强调了APOLO的计算效率优势,但每次优化仍需要多次LLM推理调用,在实际部署中成本仍然可观——论文未提供具体的时间和费用数据。第四,在理论分析上,式(11)的改进界依赖于多个假设条件(如累积风险和成本有界、Advantage值有界方差等),这些假设在实际场景中是否成立需要进一步验证。第五,在情感共病的处理上,虽然APOLO在DepressionEmo多标签任务上表现优异,但论文未深入分析其在不同共病模式(如焦虑+抑郁、创伤+内疚等特定组合)上的诊断准确性差异。此外,作为方法论层面的局限,APOLO的所有智能体都使用同一个骨干模型,不同智能体使用不同模型(如更强的模型做Critic、更轻的模型做Student)的效果尚未探索。
独立分析的弱点
从独立分析的角度看,APOLO存在以下几个值得关注的弱点。第一,苏格拉底式对话机制的可扩展性存疑——当子目标数量 $n$ 增大时,历史交互序列 $H_{<i}$ 的长度线性增长,这可能导致上下文窗口溢出或注意力分散。改进方向可以是引入记忆压缩机制,只保留与当前子目标最相关的历史信息。第二,风险评估模块的定义相对粗糙——$R_{emo}$ 和 $R_{safety}$ 的具体实现细节在论文中描述不够充分,且使用固定权重 $\gamma_r$ 和 $\gamma_c$ 无法适应不同患者群体的风险特征。改进方向是设计自适应的风险权重,根据患者文本中的危机信号强度动态调整。第三,五个智能体使用同一骨干模型的假设过于简化——在实际临床场景中,诊断的准确性要求远高于提示生成,应该允许使用更强的模型作为Target和Critic,而用更轻量的模型作为Student以降低成本。第四,论文未讨论对抗性鲁棒性——恶意用户可能通过精心构造的文本来绕过APOLO的安全检查机制,这在实际部署中是一个重要风险。第五,优化过程缺乏人机协作接口——临床医生无法在优化过程中注入领域知识或纠正错误的优化方向,这限制了框架在实际医疗场景中的可信度。
未来方向
基于论文的成果,未来研究可以沿以下几个方向延伸。首先,跨语言和跨文化扩展是最直接的方向——将APOLO应用到中文、日文等非英语心理健康数据集上,验证其POMDP建模和Socratic机制是否具有语言无关的普适性。其次,多模态融合是另一个重要方向——当前框架仅处理文本信号,但真实临床场景中医生会综合考虑患者的语调、面部表情、生理指标等多模态信息,将APOLO扩展到多模态诊断框架可以显著提升临床实用性。第三,引入人机协作的交互式优化——允许临床医生在优化过程中提供反馈,形成“AI提议-医生审核-AI改进”的闭环,提升框架的可信度和可接受性。第四,探索不同智能体使用不同骨干模型的异构架构,以在性能和成本之间取得更灵活的平衡。第五,将APOLO的POMDP建模思想推广到其他需要处理不确定性的NLP任务,如法律文本分析、金融风险评估等。
复现评估
从复现的角度看,APOLO具有较好的可复现性,但也存在一些挑战。论文使用了三个公开可用的LLM骨干模型(GPT-5-mini为闭源API,DeepSeek-V3和Qwen3-32B为开源模型),这使得大部分实验可以被复现。六个基准数据集(DailyDialog、EmoryNLP、PELD、RECCON、EmotionX、DepressionEmo)均为公开数据集。论文的Algorithm 1提供了完整的优化流程伪代码,Table 5给出了所有智能体的系统提示词,这些都大大降低了复现难度。然而,实际复现需要注意以下几点:第一,GPT-5-mini是2025年发布的模型,API调用成本需要考虑;第二,论文的解码温度统一设为0.6,最大迭代次数为10,早停阈值 $\delta = 0.01$,这些超参数的具体设置对结果有影响;第三,论文未开源代码,需要根据论文描述自行实现POMDP建模和多智能体交互逻辑。总体复现难度为中等,预计一个有经验的团队在1-2周内可以完成基本复现。
论文图表
展示了同一段疾病相关文本在三种提示策略下的诊断结果对比。Zero-shot提示只识别出一种情感,CoT提示识别出两种,而APOLO成功识别出所有共存的情感状态。图中用不同颜色标注了各种识别到的情感及其遗漏情况。
这张图直观地展示了情感共病问题和现有提示策略的局限性,是理解论文动机的最佳入口——读者可以立刻看到为什么需要APOLO。
给出了Planner、Teacher、Student、Critic和Target五个智能体的完整系统提示词,以及Target智能体的最终优化提示示例。展示了APOLO如何通过精确的元提示设计来定义每个智能体的角色、约束和通信协议。
这些系统提示词是APOLO可复现性的关键组成部分,也是理解各智能体行为规范的直接依据。