情感支持对话的技能发现与自演化框架

提出基于干预单元的情感支持技能银行，通过多轮模拟交互实现技能自演化

前置知识

情感支持对话(ESC)

情感支持对话是指支持者与寻求帮助者之间的多轮互动，支持者旨在提供情感上合适的干预措施，促进寻求帮助者的建设性情感变化。与传统对话生成不同，ESC的核心在于响应质量由其对寻求帮助者的情感效果决定，而非流畅性或相关性。ESConv数据集包含910个成功对话和196个失败对话，覆盖18种场景类别和15种情感状态。

理解ESC的基本定义和评估标准对于理解本文的干预驱动框架至关重要，因为论文将ESC建模为干预过程而非响应生成任务。

干预单元(Intervention Units, IUs)

干预单元是本文提出的核心形式化概念，定义为$IU_t = (s_t, a_t, s_{t+1})$的三元组，其中$s_t$表示干预前的寻求帮助者情感状态，$a_t$表示应用的支持干预动作，$s_{t+1}$表示干预后的结果情感状态。IU捕获了局部化的状态-行动-结果动态，论文从ESConv和FailedESConv中提取了17,858个IU，包括10,181个关键IU（9,697个正向和484个负向实例）。

IU是论文整个方法的基础形式化，理解IU结构对于理解技能银行构建和自演化机制至关重要。

SAGE评估框架

SAGE（Sentient Agent as a Judge Evaluation）是一个可再现的模拟寻求帮助者评估框架，用于评估多轮情感支持对话的长期效果。SAGE使用100个预定义的寻求帮助者档案初始化模拟寻求帮助者，通过跟踪对话过程中的情感分数、情感状态变化和寻求帮助者的内心想法来评估支持效果。主要指标包括平均情感分数（Avg. Score）、成功对话数（Final Score > 100）和失败对话数（Final Score < 10）。

SAGE是论文对话级评估的核心工具，理解其评估指标和机制对于理解实验结果和技能验证过程至关重要。

技能银行(Skills Bank)

技能银行是可执行的情感支持技能库，每个技能以SKILL.md格式表示，包含技能概述、激活条件、推荐动作、避免陷阱和代表性示例等结构化字段。论文从258个技能原型构建初始技能银行$B_0$，包含27个技能；通过自演化精炼得到最终技能银行$B^\star$，包含34个技能，分为元技能（4个）、对话阶段技能（4个）、技术技能（12个）和场景/情感状态技能（14个）。

技能银行是论文的核心创新，理解其结构和组成对于理解方法的可解释性和可控性优势至关重要。

研究动机

现有情感支持对话系统存在关键局限性。首先，如图1左侧示例所示，尽管支持者提供了表面上有用的建议（制作优缺点列表），但未能识别寻求帮助者的潜在自我怀疑和失败恐惧，导致持续的反思和情感缓解有限。其次，现有方法主要依赖端到端响应生成或粗粒度的策略监督，将咨询专业知识嵌入在模型参数或固定的提示方案中，缺乏显式的、可编辑的表示形式。第三，从静态语料库诱导的技能可能包含不完整的指导或隐藏的失败模式，因为情感支持有效性因寻求帮助者特征和对话情境而异。实验数据显示，静态技能银行$B_0$在SAGE上导致平均情感分数从66.4下降到61.1，失败对话数从14增加到19，揭示了静态指导与动态长时程交互之间的不匹配。

本文的目标是本文的目标是构建一个以技能为中心的情感支持对话框架，能够显式表示、验证和持续改进干预知识。具体而言，目标包括：(1)通过干预单元形式化情感支持作为局部化的状态-行动-结果干预动力学；(2)从成功和失败的ESC对话中构建可执行的情感支持技能银行，捕获有效的干预模式以及失败易发的反模式；(3)引入多配置自演化精炼框架，通过基于模拟的验证持续改进技能银行的鲁棒性和适应性；(4)提供更可解释和可控的支持行为，同时提高响应级质量和对话级情感结果。

与已有工作不同的是，本文的独特切入角度在于将ESC重新定义为干预驱动的交互过程，而非响应生成任务。与现有工作不同，论文：(1)引入干预单元捕获局部化的状态-行动-结果动力学，而非仅仅预测全局策略；(2)构建显式的、可编辑的技能银行，将专业知识作为模块化表示而非嵌入模型参数；(3)通过多配置模拟交互和生成-验证精炼循环实现技能自演化，而非一次性生成或人工设计；(4)首个为ESC开发的自演化可执行技能框架，使得技能能够在LLM骨干之间迁移而无需微调。根据作者所述，将咨询专业知识表示为可迁移的模块化技能银行在ESC研究中尚未被探索。

核心方法

ESC-Skills框架整体分为三个阶段：技能银行构建、多配置自演化精炼和应用。首先，通过多维度注释（18种对话级场景标签、15种话语级寻求帮助者状态、17种支持者干预动作、14种响应变化标签）将ESConv和FailedESConv对话标注为干预单元。其次，从17,858个IU中提取258个技能原型，通过聚类和生成27个初始技能$B_0$。第三，使用500个RLVER寻求帮助者档案在SAGE框架下进行多轮ESC模拟，通过交互分析识别缺失技能、不安全干预和配置特定失败模式，通过生成-验证精炼循环改进技能，最终得到34个技能的$B^\star$。整个框架强调干预效果的可验证性和持续改进。

核心创新点是将情感支持专业知识表示为可执行的、可演化的技能银行，通过干预单元捕获局部化干预动力学，并通过基于模拟的验证实现持续改进。与现有方法将技能表示为可执行代码、工具使用程序或提示级启发式不同，ESC-Skills的技能是基于寻求帮助者情感状态的行为干预知识。关键创新包括：(1)干预单元形式化$IU_t = (s_t, a_t, s_{t+1})$捕获状态-行动-结果动态；(2)从成功和失败对话中诱导技能，同时捕获有效模式和风险模式；(3)生成-验证精炼循环，每个候选技能必须通过至少15个挑战性寻求帮助者档案的模拟验证才能被接受；(4)技能以SKILL.md格式表示，包含明确的决策规则、失败模式库和特定场景指导，提供高可解释性。

方法步骤详情

方法步骤完整描述如下：(1)数据收集与注释：使用ESConv训练集（910个对话）作为成功ESC对话示例，FailedESConv（196个对话）作为失败示例。通过Claude-Opus进行多维度注释，生成17,858个IU。(2)技能原型生成：按（寻求帮助者状态，支持动作）元组对关键IU分组，保留包含至少5个IU的组，得到258个技能原型。(3)技能银行构建：将258个原型聚类为27个可执行技能，每个技能由Claude-Opus基于原型有效性统计、响应变化分布和代表性对话片段生成，表示为SKILL.md格式。(4)对话模拟：使用500个RLVER寻求帮助者档案在SAGE框架下进行模拟，记录情感分数、情感状态、评估者分析和寻求帮助者内心想法等回合级信号。(5)交互分析：Claude-Opus分析每个模拟对话，确定干预是否促进建设性情感转换，识别需要精炼的现有技能或需要添加的新技能。(6)技能生成与验证：对于每个选定的精炼技能，Claude-Opus作为技能生成器基于原始SKILL.md、最多两个问题对话和最低分档案分析报告生成更新版本。对于每个候选新技能，提供预定义技能模板、代表对话和分析报告。每个技能必须在最多3次尝试内通过15个挑战性档案的SAGE验证，否则被拒绝。(7)迭代精炼：重复步骤(4)-(6)直到收敛，最终得到34个技能的$B^\star$。

技术新颖性

技术新颖性体现在多个方面。首先，干预单元形式化是ESC领域首个将情感支持建模为局部化状态-行动-结果干预动力学的工作，与传统的策略预测然后生成范式有本质区别。其次，技能银行构建同时从成功和失败对话中学习，论文报告关键IU包括9,697个正向实例和484个负向实例，这种双向学习使得技能能够捕获有效干预模式和风险模式。第三，生成-验证精炼循环是ESC领域首个自演化可执行技能框架，每个技能必须通过严格的基于模拟的验证，技能接受条件要么所有验证对话达到Success状态，要么在最多3次尝试内实现平均情感分数的严格改进。第四，技能表示以结构化SKILL.md格式，包含YAML前言、强制性决策规则、核心原则、特定场景指导和反模式库，提供了比传统提示级技能更高的可解释性和可控性。根据消融研究，只有完整的生成-验证精炼循环才能实现最佳性能，B^\star在SAGE上将平均情感分数从66.4提高到72.1，成功对话数从13增加到31。

Figure 2: Overview of the ESC-Skills Bank construction and Multi-Profile Self-Evolutionary Skill Refinement framework

**Figure 4**: An abridged SKILL.md for esc-strategy-switching

实验结果

核心发现包括：ESC-Skills在多个LLM骨干上一致提高响应级质量和长时程情感支持结果。在ESConv测试集上，Qwen3.6-Plus的策略预测准确率从11.50%提高到23.56%，提升了12.06个百分点；BLEU-4从0.58提高到0.90，ROUGE-L从8.92提高到10.22，METEOR从14.96提高到20.32，BERTScore从83.73提高到84.24。特别值得注意的是，相对较弱的模型如Claude-Haiku-4.5的BERTScore从69.13显著提高到84.03，表明显式情感支持技能为底层LLMs提供了有效的行为指导。在SAGE基准测试上，Qwen3.6-Plus的平均情感分数从66.4提高到72.1，成功对话数从13增加到31，失败对话数从14减少到12。类似改进在Gemini-3.1-Flash（成功对话数从4增加到7）和Claude-Sonnet-4.6（平均情感分数从58.2提高到63.6）上也被观察到，表明所提出的技能在长时程多轮情感支持交互中保持有效。消融研究揭示了关键洞察：静态技能可能损害动态性能（B0在SAGE上导致平均情感分数从66.4下降到61.1），没有验证的演化是不充分的（B^\rightarrow仅部分恢复对话级退化），生成-验证精炼循环是决定性因素（B^\star实现最佳整体性能）。人工评估显示ESC-Skills一致提高人类评分，Claude-Haiku-4.5的Overall评分提升最大（ΔOverall = +0.44），Fleiss' κ = 0.54表明中等标注者间一致性，二次加权Cohen's κw = 0.65表明人类Overall评分与GPT-Judge评分之间的高度一致性。

**Table 1**: Performance comparison on the ESC test set and the SAGE benchmark

**Table 2**: Performance comparison of different skill-based baselines

**Table 3**: Multi-faceted evaluation on three representative model pairs

**Table 11**: Composition of the final skill bank B^\star

**Table 4**: List of the 18 scenario labels used in the dialogue-level annotation

**Table 5**: List of the 15 seeker emotional states used in the utterance-level annotation

**Table 6**: List of the 17 supporter intervention actions used in the utterance-level annotation

**Table 7**: List of the 14 seeker response-change labels used in the utterance-level annotation

**Table 8**: Structure of an Intervention Unit (IU)

**Figure 3**: Ablation study on Qwen3.6-Plus

查看结构化数据

任务	指标	本文	基线	提升
ESConv策略预测	准确率(ACC)	23.56%	11.50%	+12.06个百分点
ESConv响应质量	METEOR	20.32	14.96	+5.36
SAGE长时程支持	平均情感分数	72.1	66.4	+5.7
SAGE长时程支持	成功对话数	31	13	+18（+138%）
SAGE长时程支持	失败对话数	12	14	-2（-14%）
人工评估Overall	Claude-Haiku-4.5	3.91	3.47	+0.44

局限与改进

作者承认的局限性包括：评估范围有限，遵循ESC研究标准实践，使用SAGE可再现模拟寻求帮助者而非真实用户研究，虽然SAGE提供受控的大规模比较，但不捕获真实人类情感反应的完全变异性。领域和语言覆盖有限，当前ESC-Skills实例化针对英语情感支持咨询，演化框架本身与领域无关，但尚未在其他支持对话设置（如同伴健康支持、多语言场景）上验证。技能审查缺失，当前流水线通过生成-验证精炼循环反馈自动执行技能生成和验证，不包括人工专家审查阶段，对于临床或高风险设置部署，需要将持牌咨询师监督集成到演化循环中。基模型要求，ESC-Skills在强指令遵循LLMs上展示，调查演化技能如何迁移到更小或开源权重模型，以及技能复杂性是否应适应模型能力，仍是一个开放且有趣的方向。在线适应，演化技能银行B^\star在部署时是固定的人工制品，启用连续、安全的在线演化以从实时交互信号更新技能而不回归是一个有前景但非平凡的扩展。用户自己观察的额外局限性包括：技能质量高度依赖初始注释质量，论文使用Claude-Opus进行多维度注释，但注释错误的传播可能影响最终技能质量；模拟验证的局限性，SAGE模拟寻求帮助者可能无法完全捕获真实人类情感的复杂性和不可预测性；技能演化可能陷入局部最优，依赖生成器LLM的创造性和验证配置的多样性。

独立分析的弱点

独立分析的弱点包括：(1)技能演化计算成本高昂，论文使用500个RLVER寻求帮助者档案进行模拟，每个候选技能需要通过15个挑战性档案的验证，这在计算上是昂贵的。改进方向：开发更高效的采样策略或主动学习方法，减少需要验证的档案数量；使用更轻量的模拟器或代理模型进行初步筛选。(2)技能银行规模膨胀风险，随着持续演化，技能银行可能包含重叠或冗余技能，影响检索效率和应用性能。改进方向：引入技能去重和合并机制，定期审计技能银行；开发技能层次化组织，将通用技能和特化技能分层管理。(3)跨域泛化能力未知，当前技能针对英语情感支持咨询训练，未验证在其他语言或支持对话设置上的有效性。改进方向：扩展到多语言场景，验证技能的可迁移性；研究领域自适应机制，使技能能够快速适应新领域。(4)技能解释性与复杂性权衡，虽然SKILL.md格式提供了高可解释性，但复杂技能可能变得冗长（如论文中461行的esc-strategy-switching技能），影响应用效率。改进方向：开发技能摘要和索引机制，支持快速检索和应用；研究技能分解和组合方法，将复杂技能分解为可重用子技能。(5)模拟到现实的鸿沟，SAGE模拟寻求帮助者可能无法完全捕获真实人类情感的复杂性和不可预测性，特别是在危机干预或临床决策场景。改进方向：引入真实人类评估作为补充验证；开发更复杂的情感模型，模拟更真实的人类反应模式。

未来方向

未来研究方向包括作者提出的和基于成果可延伸的方向：(1)扩展到其他支持对话设置和多语言场景，作者明确指出将B^\star扩展到其他领域（如同伴健康支持）和语言是直截了当的计划中的未来工作。延伸方向：研究跨语言技能迁移机制，验证技能在不同文化背景下的有效性；探索其他支持对话领域，如教育咨询、职业指导等。(2)集成人工专家审查到演化循环，作者建议对于临床或高风险设置部署，需要将持牌咨询师监督集成到演化循环作为额外安全层。延伸方向：开发人机协作的技能演化框架，将人类专业知识与自动化验证相结合；研究不同专家审查策略对技能质量的影响。(3)启用连续安全的在线演化，作者指出启用连续、安全的在线演化以从实时交互信号更新技能而不回归是一个有前景但非平凡的扩展。延伸方向：研究在线学习算法，支持技能从实时反馈中持续更新；开发安全机制，防止在线演化导致技能退化。(4)调查技能如何迁移到更小或开源权重模型，作者提出这是开放且有趣的方向。延伸方向：研究模型能力与技能复杂性的匹配关系；开发技能压缩和蒸馏方法，使技能能够在资源受限模型上运行。(5)研究技能的层次化和组合机制，当前技能银行是扁平化的34个技能，缺乏层次化组织。延伸方向：开发技能层次化表示，将通用技能和特化技能分层管理；研究技能组合推理，使系统能够动态组合多个技能处理复杂场景。(6)探索更复杂的情感建模和干预效果预测，当前IU仅捕获单轮干预效果。延伸方向：研究多轮干预的累积效应建模；开发干预效果预测模型，支持前瞻性的技能选择。

复现评估

复现评估方面，论文承诺发布代码、提示和ESC-Skills Bank于https://github.com/aliyun/qwen-dianjin。论文附录G详细列出了关键提示，包括ESC Agent系统提示、技能演化分析提示、技能更新提示、技能创建提示、CoT引导自生成基线提示、LLM-as-Judge评估提示。论文将发布演化超参数、采样回合索引和聚合评估分数以支持复现，而无需重新公开ESConv中已有的寻求帮助者话语。数据方面，论文使用公开发布的ESConv语料库（Liu et al., 2021）及其原始研究使用许可，语料库包含匿名的同伴支持对话，不收集或发布额外的个人身份信息。LLM使用方面，论文依赖第三方LLM API用于智能体和评估者，所有API调用符合提供商的服务条款，不发布模型权重，只发布技能银行（B^\star）和评估代码。算力要求方面，论文未明确报告具体算力消耗，但从方法描述可以推断需要大量计算资源进行模拟和验证（500个档案，每个候选技能15个验证档案）。难度评估：方法概念清晰，论文提供了详细的算法描述和示例，但实现复杂度高，需要多个LLM调用（Claude-Opus用于注释、分析和生成，GPT-5.4用于评估）和大规模模拟。总体而言，复现难度为中等到高，主要挑战在于计算资源和LLM API访问。

情感支持对话的技能发现与自演化框架 ESC-Skills: Discovering and Self-Evolving Skills for Emotional Support Conversations