面向情感支持对话的单轮多策略建模

首次系统证明在情感支持对话中,一个支持者回复可以同时包含多种支持策略,并提出两种生成方法结合认知推理与强化学习。

前置知识

情感支持对话(ESC)

情感支持对话(Emotional Support Conversation)任务由Liu et al.(2021)基于Hill的帮助技能理论形式化,目标是通过自然语言为处于情绪困扰中的求助者(seeker)提供理解、共情和应对建议。ESConv是该任务的代表性数据集,每条支持者回复都被标注为8种支持策略之一(Question、Restatement、Reflection of feelings、Self-disclosure、Affirmation and Reassurance、Providing Suggestions、Information、Others)。

本文的研究对象就是ESC任务,且明确指出其数据集ESConv的策略标注体系是构建多策略回复监督信号的基础,不理解策略分类就难以把握论文的核心改动。

LoRA与SFT

LoRA(Low-Rank Adaptation)是一种参数高效微调方法,通过在Transformer的线性层旁添加低秩矩阵$A \in \mathbb{R}^{d \times r}$和$B \in \mathbb{R}^{r \times k}$(秩$r \ll d$)实现高效适配。SFT(Supervised Fine-Tuning)即在带标注数据上对模型进行有监督训练。本文使用LLaMA-3.1-8B-Instruct作为基座,All-in-One方法用LoRA rank=8、scale=16,One-by-One方法用rank=16、scale=32。

论文方法中的SFT阶段完全依赖LoRA,理解rank与scaling factor的作用是阅读实验设置和复现的前提。

GRPO(Group Relative Policy Optimization)

GRPO是一种强化学习算法,由DeepSeekMath提出(Shao et al., 2024)。它对同一prompt采样一组候选输出,通过组内相对奖励(减去均值除以标准差)估计优势函数,无需训练额外的价值网络。本文使用VERL框架实现GRPO,batch size=1024、rollout size=16、KL系数=0.01、lr=1e-6、训练7 epoch。

GRPO是本文提升策略选择质量的核心RL算法,只有理解其组内对比的思想,才能看懂奖励函数设计与训练曲线(图3)的意义。

Levenshtein Ratio(LR)与EMR

Levenshtein Ratio定义见原文公式(4):$LR(s_y, s_r) = 1 - \frac{\text{Levenshtein Distance}(s_y, s_r)}{\max(\text{len}(s_y), \text{len}(s_r))}$,度量预测策略序列与参考序列的归一化编辑距离相似度。EMR(Exact Match Rate)要求策略序列完全匹配才记为1。这两者是评估多策略预测质量的关键指标。

本文核心贡献之一就是多策略预测,LR和EMR是策略预测质量的直接度量,直接出现在奖励函数和评估表中。

认知推理链(Context-Cognition-Emotion-Support Plan)

本文采用Zhu et al.(2025)设计的4节点推理结构。Context节点描述外部情境和求助者的情感线索;Cognition节点刻画求助者的内部信念/自我评估;Emotion节点推断其情绪状态;Support Plan节点制定具体支持策略。该结构在prompt中被显式列出,模型必须先在标签中输出该推理链,再在标签中给出最终回复。

认知推理是本文相对基础方法最关键的一层增强,直接决定策略选择与回复质量,理解四节点分工才能看懂消融实验中+Reasoning带来的提升来源。

研究动机

现有的情感支持对话(ESC)研究自Liu et al.(2021)发布ESConv以来,几乎所有工作(Tu et al. 2022; Peng et al. 2022; Cheng et al. 2022; Hao and Kong 2025; Chen et al. 2025等)都默认采用「一轮一策略」的简化假设——即每个支持者回复只对应一个支持策略。然而,作者通过对ESConv数据集中15,325条支持者回复的统计分析发现,有2,427条(15.8%)实际同时使用了2种策略,256条使用了3种策略,34条使用了3种以上策略,合计17.7%的回复属于多策略回复(详见Table 1)。这意味着真实的情感支持沟通中,人类会自然地在同一段话里同时运用自我披露(self-disclosure)、情感肯定(affirmation and reassurance)、提问(question)等多种技巧(如图1所示,一段回复中连续出现3种策略)。简化假设迫使模型必须在本来连贯的回复中人为割裂策略,也使得单策略模型在多策略场景下EMR为0(见Table 3)——直接导致「次优」的支持质量。

本文的目标是本文的目标是重新形式化ESC任务,将其视为「多策略回复生成」(multi-strategy utterance generation),即支持者的每条回复 $u_{sys}^t = \{r_{sys,1}^t, \ldots, r_{sys,N_t}^t\}$ 可以包含 $N_t \geq 1$ 个(策略, 回复) 对,每个 $r_{sys,i}^t$ 对应一个支持策略 $s_{sys,i}^t$,目标是生成与人类真实沟通模式更接近的整体回复。为实现该目标,作者设计了 All-in-One(一次性端到端生成全部策略-回复对)与 One-by-One(迭代式逐步生成,并显式预测终止标志 $f_{sys}^i$,上限 $K=3$)两种生成机制,并都通过四教师蒸馏(Context/Cognition/Emotion/Support Plan)的认知推理链和 GRPO 强化学习进行增强。论文希望系统性地回答一个之前未被充分讨论的开放问题:「在ESC中允许一条回复包含多个策略是否可行且有益」,并通过 utterance-level 与 dialogue-level 两层评估给出答案。

与已有工作不同的是，Bai et al.(2025)虽然也提出过多策略生成,但仅做初步探索,未系统设计生成机制、推理与RL增强。本文是首个提出两种明确的多策略生成机制(All-in-One一次性、One-by-One迭代式)、引入显式认知推理链监督、并通过GRPO联合优化策略选择与回复质量的工作。它从「任务重定义—方法设计—推理蒸馏—强化学习—双层评估」形成完整闭环,弥补了现有工作「只在推理阶段做CoT增强、却仍受限于单策略生成假设」这一空白。

核心方法

本文的整体思路分四层推进。第一层是任务重定义,把支持者回复从「单标签+单回复」改为「有序多(策略,回复)序列」。第二层设计两种生成机制:All-in-One在一次解码中端到端生成所有(策略,回复)对(见公式1的自回归训练目标),One-by-One则逐步迭代生成单个(策略,回复)对并在每步后预测终止标志$f_{sys}^i$(见公式2)。第三层是认知推理蒸馏,从DeepSeek-R1、Qwen3-235B-A22B-Instruct-2507、GPT-5、Gemini-2.5-Flash四个大模型蒸馏出4节点(Context/Cognition/Emotion/Support Plan)推理链作为额外监督,并以......的形式注入训练数据(见公式3)。第四层是GRPO强化学习,为All-in-One设计格式奖励$r_{fmt}$+Levenshtein Ratio奖励$LR(s_y, s_r)$(公式5),为One-by-One额外加入终止标志奖励$r_{flag}$(公式6),通过相对组内排序优化策略选择与终止判断。

核心创新在于将多策略生成从「标注约束」变成「显式生成目标」,并通过认知推理作为中间规划层。All-in-One把整个支持者回复结构化为$y_{sys}^t = \text{concat}(s_{sys,1}^t, r_{sys,1}^t, \ldots, s_{sys,N_t}^t, r_{sys,N_t}^t)$,每个策略紧贴其对应回复,模型可以一次性学会策略间的衔接。One-by-One则模仿人类「想一句说一句」的节奏,每步额外预测一个二进制标志,实现可控的迭代生成。两者都用4节点认知推理显式规划策略选择,并用Levenshtein Ratio这种「软匹配」度量替代严格EMR,使RL信号能更好地区分「部分正确」与「完全错误」。这与已有CoT增强方法(Chen et al. 2025; Zhu et al. 2025)的本质区别在于:本文是第一个把「多策略」这一任务结构与「认知推理」这一规划层在SFT+RL两阶段都系统结合的工作。

方法步骤详情

完整方法流程如下:(1)数据准备:对ESConv的1,300个对话(10,679条支持者回复)做策略切分,得到「(上下文, 多策略回复序列)」训练对。One-by-One的SFT数据扩展到12,759条,因每条多策略回复被拆成多个(策略,回复,标志)序列。(2)认知链蒸馏:用GPT-5、DeepSeek-R1、Qwen3-235B-A22B-Instruct-2507、Gemini-2.5-Flash四个模型为每条训练数据生成4节点JSON格式的推理链,合并去重后形成SFT w/ reasoning数据(All-in-One共42,222条,One-by-One共51,035条)。(3)SFT阶段:用LLaMA-Factory框架,All-in-One用LoRA(r=8, α=16),One-by-One用LoRA(r=16, α=32),在4张A100 80GB上训练5个epoch,学习率3e-5,per-device batch=4,grad accum=2,目标为自回归负对数似然(公式1/2)。(4)RL阶段:用VERL框架跑GRPO,7个epoch,batch=1024,rollout=16,lr=1e-6,KL系数0.01,奖励按公式5/6计算。为平衡奖励分布,对单策略样本做了下采样。(5)推理阶段:All-in-One一次性自回归生成完整序列;One-by-One迭代生成直到$f_{sys}^i$为停止或达到$K=3$上限(因验证集几乎无超过3策略的样本)。

技术新颖性

技术新颖性体现在三个层面:第一,任务形式化层面,把ESC目标从「预测一个(策略,回复)」变成「预测有序多对」,并明确区分「utterance(整条回复)」与「response(策略对应的片段)」两个粒度,这一概念细分在之前工作中被忽视。第二,生成机制层面,One-by-One的终止标志设计借鉴了程序合成与多步推理的思路,但首次将「是否继续说话」作为一个显式监督信号进入GRPO奖励(公式6的$r_{flag}$),让模型学会「什么时候该停」。第三,多教师蒸馏层面,作者用四个不同家族的大模型同时生成认知推理链,Table 5显示任何单一教师(DeepSeek-R1单用EMR 28.46、GPT-5 BLEU-4 3.72、Gemini ROUGE-L 19.97)都只在某一维度占优,只有四者联合(EMR 29.72、BLEU-4 3.98、ROUGE-L 20.10、BERTScore 19.98)取得最稳定的全面提升,验证了认知信号的多样性是性能上限的关键。

**Figure 2**: Illustration of the All-in-One and One-by-One methods for generating multi-strategy supportive utterances.

实验结果

Table 2的utterance-level结果揭示三条关键发现:(1)所有微调后的LLaMA-3.1-8B模型(#4–#10)都显著优于GPT-5、DeepSeek-R1、Qwen3等指令遵循型大模型——以EMR为例,GPT-5仅0.67,DeepSeek-R1为12.85,Qwen3为15.15,而最弱微调模型Single Strategy都有25.21,验证了任务专用微调的必要性。(2)允许多策略的All-in-One基础版EMR为23.61略低于单策略基线25.21(因多策略预测空间更大带来噪声),但加入认知推理后跃升至29.72(+6.11),再叠GRPO达29.97,最终在BLEU-1/2/4和ROUGE-1上分别达到18.75/8.62/4.07和25.68;One-by-One + Rea. + RL在EMR(33.53)、LR(37.97)、BLEU-1(18.75)、BERTScore(21.11)等核心指标上取得全文最高分,验证了「分解为序列预测+认知推理+RL」组合的有效性。(3)One-by-One在所有强化指标上系统性优于All-in-One,说明迭代式生成对「先思考后决策」更友好。Table 3的细粒度分析进一步表明,在452条多策略样本上,Single Strategy基线EMR为0(无法建模),而One-by-One + Rea. + RL达到13.36,BLEU-4从1.32升到2.75;在1,937条单策略样本上,One-by-One + Rea. + RL也以EMR 38.24、BLEU-4 4.05全面超越基线的31.09和3.71,显示多策略方法在两类样本上都有增益。Table 4进一步证实:基线All-in-One仅2.7%、One-by-One仅1.1%的输出含多策略,加认知推理提升到6.3%/3.6%,再叠RL到8.4%/7.7%,尽管仍低于ESConv的18.9%参考分布,趋势明显。Table 6的dialogue-level结果更具说服力:GPT-5/DeepSeek-R1/Qwen3全部0%成功率(10轮内无法解决求助者问题),Single Strategy为13.85%,All-in-One基础版17.69%,+ Rea. + RL跃至34.62%,One-by-One + Rea. + RL达到最优的40.00%,平均轮数也从9.56降到8.46,显示多策略+认知推理+RL让对话更高效、成功率更高。Table 7的人工评估在Identification、Comforting、Suggestion、Overall四个维度上(分数越低越好),All-in-One + Rea. + RL以1.90/1.84/1.62/1.66全面领先,One-by-One + Rea. + RL以1.92/1.92/1.98/2.00紧随其后,Single Strategy为2.18/2.24/2.40/2.34,佐证人类也偏好多策略回复。图3的RL学习曲线则显示:训练前4步多策略比例和成功率都略有下降,之后策略使用率从7.05%上升到12.50%、SR从32.31%上升到34.62%,说明RL让模型逐步学会「何时该用多策略」。

**Table 1**: Statistics of ESConv supporter utterances categorized by the number of strategies applied.

**Table 2**: Utterance-level evaluation results on the ESC test set.

**Table 3**: Results on utterances with single and multiple strategies.

**Table 4**: Percentage (%) of predicted utterances containing two or more strategies.

**Table 5**: Performance comparison on the ESC test set when distilling reasoning from different LLMs.

**Table 6**: Dialogue-level evaluation results on the ESC test set.

**Figure 3**: Performance comparison across RL training steps.

**Figure 4**: Example conversations from DeepSeek-R1.

查看结构化数据

任务	指标	本文	基线	提升
ESC多策略回复生成(ESConv utterance-level)	EMR(Exact Match Rate,策略序列精确匹配率)	One-by-One + Rea. + RL = 33.53	Single Strategy = 25.21; GPT-5 = 0.67	相对Single Strategy提升+8.32(+33.0%),相对GPT-5提升+32.86(近50倍)
ESC多策略回复生成(ESConv utterance-level)	LR(Levenshtein Ratio)	One-by-One + Rea. + RL = 37.97	Single Strategy = 28.28; All-in-One base = 28.63	相对单策略基线+9.69(+34.3%),相对All-in-One base+9.34(+32.6%)
ESC多策略回复生成(ESConv utterance-level)	BERTScore	One-by-One + Rea. + RL = 21.11	Single Strategy = 18.16; DeepSeek-R1 = 15.03	相对单策略+2.95(+16.2%),相对最强指令LLM DeepSeek-R1 +6.08(+40.5%)
ESC多策略回复生成(ESConv utterance-level)	BLEU-4	One-by-One + Rea. + RL = 4.07	Single Strategy = 3.01; GPT-5 = 1.06	相对单策略+1.06(+35.2%),相对GPT-5+3.01(+284%)
ESC多策略回复生成(ESConv utterance-level)	ROUGE-L	One-by-One + Rea. + RL = 20.71	Single Strategy = 18.06; Qwen3 = 13.51	相对单策略+2.65(+14.7%),相对Qwen3+7.20(+53.3%)
多策略样本(452条)EMR	EMR on multi-strategy subset	One-by-One + Rea. + RL = 13.36	Single Strategy = 0.00	从0提升到13.36,提升+13.36(无限大相对增益),是核心优势场景
ESC dialogue-level(自博弈成功率)	Success Rate(SR)	One-by-One + Rea. + RL = 40.00%	Single Strategy = 13.85%; GPT-5/DeepSeek-R1/Qwen3 = 0%	相对单策略+26.15pp(+188.8%),从0%到40%是质的飞跃
ESC dialogue-level	Average Turn(AT,越少越好)	One-by-One + Rea. + RL = 8.46	Single Strategy = 9.56; All-in-One + Rea. + RL = 8.80	相对单策略少1.10轮(-11.5%),多策略让对话更高效
人类评估(Overall维度,分数越低越好)	Overall Rank(3点评分)	All-in-One + Rea. + RL = 1.66	Single Strategy = 2.34	改善-0.68(-29.1%),人类评估者也更偏好多策略回复

局限与改进

作者在Limitations部分明确承认三点不足。第一,模型生成的多策略回复比例(All-in-One 8.4%, One-by-One 7.7%)仍显著低于ESConv参考分布的18.9%,说明RL虽能提升但仍未充分释放多策略潜力,可能限制回复的多样性和丰富度。第二,dialogue-level评估依赖GPT-5模拟的seeker和critic,虽然10次采样取均值缓解了随机性,但模拟用户无法完全捕捉真实人类情绪的细微变化;此外自博弈评估受reward hacking风险(模型可能学会讨好GPT-5 critic而非真正帮助seeker)。第三,所有实验只在ESConv一个数据集上做,未在其它ESC数据集(如ExTES, EmotionalDarmen等)上验证,泛化性存疑。本人的额外观察:1)RL训练数据量相对SFT较小(All-in-One仅3,696条),这可能是多策略比例难以继续提升的瓶颈;2)K=3的硬上限可能在某些长多策略样本上过早截断,缺少对真实$N_t > 3$样本(34条)的处理讨论;3)认知推理链是离线的蒸馏产物,无法保证推理与最终回复的因果一致性,RL信号也没有直接针对推理质量设计奖励。

独立分析的弱点

独立分析三个具体弱点及改进方向。弱点一:多策略生成比例显著低于参考分布(8.4% vs 18.9%),根源在于SFT阶段单策略样本占82.3%造成的数据不平衡,即便在RL阶段做下采样(原文3.3节)也难以彻底扭转;改进方向是采用课程学习(curriculum learning),先在SFT阶段人为过采样多策略样本(比如把所有多策略样本复制2-3倍),或在RL奖励中加入「多策略比例奖励」$r_{multi} = \mathbb{1}[N_t^{pred} \geq 2] \cdot \lambda$直接鼓励多策略输出。弱点二:K=3的硬截断可能丢失真实的4策略以上样本(34条),且One-by-One的终止标志在长链上误差累积严重;改进方向是改用soft stopping机制(预测停止概率$p_{stop}$,低于阈值才继续)或允许动态K,例如根据验证集分布自适应设定上限。弱点三:认知推理链是离线SFT蒸馏的固定模板,RL阶段没有针对推理正确性的奖励;改进方向是引入「推理-回复一致性奖励」$r_{cons} = \text{sim}(\text{plan}, \text{response})$,用语义相似度度量计划与实际回复的契合度,这样RL可以直接优化推理质量,而不只是最终BLEU。

未来方向

作者没有专门单列Future Work一节,但可从其Discussion延伸出几个方向。第一,把多策略建模推广到多模态情感支持,比如结合求助者的语音语调、面部表情做策略选择,这是当前ESC研究的明显空白。第二,引入受试者反馈(RLHF)而非仅靠模拟seeker,用真实人类标注者提供支持质量的偏好信号,缓解reward hacking。第三,把多策略生成与个性化结合,根据seeker的画像(年龄、文化背景、问题类型)动态调整策略组合,论文表6显示不同emotion type(anxiety等)下模型行为差异较大,个性化是合理延伸。第四,探索多策略的可解释性,例如用归因方法分析每个策略对最终回复的具体贡献,帮助心理辅导师理解AI建议。第五,文中Figure 4的DeepSeek-R1案例显示,即便用GPT-5作critic,长对话(10轮)仍被判失败,说明critic的判别能力本身需要进一步研究。

复现评估

论文明确承诺「All code and data will be publicly available at GitHub」(摘要末句),为复现提供基础。训练开销方面,SFT阶段在4块NVIDIA A100 80GB GPU上每个epoch约数小时(LoRA微调8B模型),RL阶段用VERL+GRPO跑7个epoch,单次实验估计1-2天A100时;加上DeepSeek-R1、Qwen3-235B-A22B、GPT-5、Gemini-2.5-Flash四模型蒸馏的API调用(论文附录B披露总成本约800美元),整体复现门槛在中等水平。数据方面,ESConv是公开数据集(1,300个对话),论文表8详细列出了SFT w/o reasoning(10,679/12,759条)、SFT w/ reasoning(42,222/51,035条)、RL(3,696/12,759条)的训练实例数,关键超参如LoRA rank、batch size、学习率、KL系数(0.01)、GRPO batch=1024 rollout=16等都完整报告(附录B)。复现难度:中等偏低——主结构清晰、关键模块(All-in-One/One-by-One的生成逻辑、认知推理prompt、GRPO奖励)都在正文+附录E的prompt中给出;潜在难点在于:1)四模型蒸馏的认知链若作者未完全开源,只能自行用同等规模LLM重现;2)RL训练对超参敏感,需要复现者有一定调参经验;3)GPT-5作self-play seeker和critic引入了对商业API的依赖,若API版本变化可能影响对话级结果。

面向情感支持对话的单轮多策略建模 Modeling Multiple Support Strategies within a Single Turn for Emotional Support Conversations