PsychoSafe：在大型语言模型中触发心理学知情的拒绝响应 PsychoSafe: Eliciting Psychologically-Informed Refusals in Large Language Models
基于心理学干预策略的LLM拒绝框架，将拒绝转化为支持性沟通
前置知识
心理急救
心理急救是一种在危机情境中为受创者提供即时支持和帮助的循证干预方法，旨在减轻痛苦、促进应对能力并加速恢复。它不是专业心理治疗，而是由受过培训的非专业人士在灾难或危机发生后提供的第一线心理支持。核心要素包括建立安全感、平静情绪、增强自我效能感、促进连接和灌输希望。
本文将心理急救原则改编为LLM的拒绝响应策略，用于处理自杀和自伤害相关请求。理解心理急救的原理对于理解为什么某些响应结构（如先确认再引导）能更有效地帮助用户至关重要。
动机访谈
动机访谈是一种以客户为中心的指导性沟通风格，旨在激发和强化个人对行为改变的内在动机。它通过表达共情、发展差异、抵抗滚动和自我效能等核心技术，帮助个体探索并解决他们在行为改变方面的矛盾心理。这种方法最初用于成瘾治疗，后来扩展到健康行为改变、依从性提升等多个领域。
本文将动机访谈策略应用于物质滥用、暴力、武器和性犯罪等风险领域的拒绝响应。理解动机访谈如何通过不评判的探索式对话而非直接说教来引发改变，是理解本文为何选择这种干预策略的关键。
拒绝与支持之间的权衡
大模型面临有害请求时需要在提供帮助和防止伤害之间做出权衡。传统方法将安全视为二元分类问题，要么完全拒绝要么满足请求，但这种方式在高风险情境中过于简化。新的研究认识到帮助性和危害性保护并非零和博弈，模型可以在拒绝有害请求的同时，通过确认用户需求、解释拒绝理由、引导建设性替代方案等方式提供真正有用的支持。
理解这个权衡是理解本文动机的基础。论文质疑了简单拒绝的有效性，认为拒绝本身也可以是有帮助的，这是整个PSYCHOSAFE框架的理论前提。
LoRA微调
低秩自适应是一种参数高效的微调技术，它通过在预训练模型的权重矩阵旁添加低秩分解矩阵来适应新任务，只训练这些新增参数而非整个模型。具体来说，对于权重矩阵W∈R^d×k，LoRA添加两个低秩矩阵A∈R^r×k和B∈R^d×r，使得W'=W+BA，其中r远小于d和k。这样大大减少了可训练参数数量，降低了内存需求和训练成本，同时保持了与全参数微调相当的性能。
本文使用LoRA在Qwen 3.5 27B模型上微调心理学知情的拒绝行为。理解LoRA的工作原理有助于理解作者如何在有限的计算资源内将复杂的心理学干预策略内化到模型权重中。
LLM-as-Judge评估
LLM-as-Judge是一种使用大型语言模型作为评估者来自动化评估模型响应质量的方法。它通过向judge模型提供详细的评估标准和评分指南，让其根据这些标准对模型的输出进行打分或分类。这种方法的优势是可扩展性高、一致性好，但需要验证judge模型与人类评估者的对齐程度，通常使用Cohen's κ系数来衡量评分者间一致性。
本文使用LLM-as-Judge方法在四个维度上评估拒绝响应质量，并通过与人类评估者对比来选择最合适的judge。理解这种方法论的优缺点对于理解本文实验设计的可靠性和局限性至关重要。
研究动机
当前大型语言模型面临需要拒绝的请求时，大多采用简单粗暴的二元拒绝方式。这种'直接拒绝'虽然可能防止了即时伤害，但在涉及危机、胁迫或升级意图的高风险互动中，仍然无法满足用户背后的真实需求。例如，当用户表达自杀意图时，一个机械的'我无法帮助您伤害自己'虽然阻止了直接协助伤害，但可能让用户感到被拒绝和孤立，错失了提供支持、安抚和引导其寻求专业帮助的机会。现有安全框架将安全视为二元分类问题，将丰富的不完全服从与完全拒绝之间的机会空间缩减为单一决策边界，丢弃了为用户提供真正支持的机会。
本文的目标是本文的目标是开发一个心理学知情的拒绝框架，将拒绝转化为结构化的支持性沟通，基于证据干预策略。具体来说，作者希望构建一个能够识别需要心理学知情干预的风险类别、应用经过验证的心理学干预原则、并提供可重用的拒绝示例的系统，使模型能够在拒绝有害请求的同时，仍然为用户提供支持性和建设性的响应。
与已有工作不同的是，本文的独特切入角度是将心理学理论作为拒绝响应的指导框架，而非单纯从技术安全角度考虑。近期研究开始认识到帮助性和危害性保护并非零和博弈，尝试将拒绝分解为拒绝陈述和理由等组成部分，或将安全感知行为框架化为约束下的能力形式。然而，这些工作缺乏一个 principled 框架来定义什么才是对高风险情境中的用户真正有帮助的拒绝。本文借鉴咨询心理学、动机访谈和危机沟通等领域数十年的研究成果，利用在传达不受欢迎消息时如何保护接受者的自主性和福祉的经过验证的原则，填补了这一空白。
核心方法
PSYCHOSAFE框架的整体思路是从现有安全数据集开始，识别五个适合心理学知情干预的风险类别，然后构建一个包含8019个提示-响应对的数据集，这些响应基于共情确认和建设性重定向等原则。具体来说，作者首先协调现有的安全数据集和分类法，将异质性和部分重叠的分类法通过语义聚类统一为更广泛的风险领域；然后确定可以调整为单轮模型响应的循证心理学干预原则；最后将这些原则实例化为可重用的拒绝示例，并与收集的不安全提示配对。作者研究了两种互补的触发方式：通过专门的心理学知情系统提示进行触发（上下文学习），以及通过从更大规模的提示模型中蒸馏的推理轨迹进行微调（监督微调）。两种方法都使用Qwen3.5-35B-A3B作为基础模型。
核心创新点是将拒绝响应视为一种结构化的支持性沟通行为，而非简单的二元决策。这体现在两个方面：一是拒绝响应遵循固定的四部分结构：（1）温暖确认配对温和拒绝，（2）个性化自助步骤，基于与检测到的风险集群关联的干预策略，（3）匹配的专业资源，（4）简短的有希望的结束语；二是针对五个心理相关的风险集群（自杀和自伤害、性犯罪、物质使用、武器、暴力）应用不同的心理学干预策略。与现有方法相比，PSYCHOSAFE不是简单地添加安全约束，而是将经过验证的人类干预实践嵌入到模型行为中，使语言模型能够在拒绝不安全请求的同时提供支持和建设性的响应。这种方法的独特之处在于它明确地以心理学动机的原则为基础，将拒绝视为一种沟通行为，而非仅仅是一个安全过滤机制。
方法步骤详情
方法包含三个主要步骤。第一步是风险类别协调，从16个公开的安全基准测试中收集了54109个潜在有害提示，提取最细粒度的可用风险标签，并使用三个既定的风险分类法进行补充。然后使用sentence-t5-large计算所有类别的嵌入，使用UMAP进行降维，接着用HDBSCAN进行聚类，最终获得15-20个语义一致的集群。第二步是识别适合心理学知情干预的风险集群，根据五个标准评估整合的集群：主题是否足够具体以支持针对性干预、是否存在该领域的简短干预策略、是否对应既定的临床或心理社会问题空间、是否反映急性或升级风险、是否不成比例地影响脆弱群体。这个过程识别了五个风险集群：自杀和自伤害、性犯罪、物质使用、武器和暴力。第三步是构建PSYCHOSAFE数据集，首先根据模板手工编写14个响应，每个响应基于特定的心理学干预策略，然后由心理学专家审查心理学适当性、清晰度和非升级性语调。最终数据集包含8019个提示-响应对，跨越五个心理相关的风险类别：自杀和自伤害（2578）、性犯罪（326）、物质使用（1998）、武器（1740）和暴力（1377）。最后，作者实现了两种触发方式：上下文学习和监督微调。上下文学习将完整的PSYCHOSAFE框架编码在单个系统提示中，指导模型以固定的四部分结构响应敏感消息。监督微调使用包含8019个提示-响应对的数据集，并使用GPT-OSS-120B生成的推理轨迹进行增强，然后使用LoRA在Qwen 3.5 27B上进行微调，对所有注意力层和前馈投影层应用，秩r=1，α=32，无dropout。
技术新颖性
PSYCHOSAFE的技术新颖性体现在几个方面。首先，它是首个将拒绝响应明确地建立在经过验证的心理学干预策略基础上的框架，而非依赖启发式规则或人工设计的安全策略。其次，它提供了一个系统化的方法论来协调异质的安全分类法，识别适合心理学干预的风险领域，并实例化为可重用的响应模板。第三，它在同一基础模型上系统地比较了提示触发和微调触发两种实现方式，为理解如何最好地嵌入心理学知情行为提供了见解。第四，它使用人类验证的LLM-as-Judge评估管道，在四个维度（拒绝、心理学基础、外部资源引用、相关性）上评估拒绝质量，这比传统的二元安全评估更细致。最后，它不仅在内部分类法上评估，还在标准拒绝基准（SORRY-Bench和XSTest）和一般能力基准（HellaSwag和MMLU）上评估，提供了全面的行为视图。与工作如Kim和Kim（2026）将拒绝分解为组成部分和Fitoussy和Zhang（2025）将安全感知行为框架化为约束下的能力形式相比，PSYCHOSAFE的独特之处在于它明确地以心理学理论为基础，提供了一个 principled 的拒绝应该包含什么才能对高风险情境中的用户真正有帮助的框架。
实验结果
在500个分层验证样本上的评估显示，PSYCHOSAFE提示设置在所有四个评估维度上都取得了最佳性能，总体得分为92%，比基础提示（v0）的71.9%提高了28.1%。改进集中在基础模型最弱的方面：Qwen 3.5 27B在通用提示下已经拒绝大多数有害请求，但很少将拒绝与支持或重定向配对，因此最大的改进来自外部资源引用（+46.8%从64.8%到95.2%）和心理学基础（+34.8%从3.38±1.17到4.56±0.86）。监督微调将此行为大部分内化，在拒绝和资源引用方面达到近乎完美的表现（拒绝率从96.0%提高到100%，资源引用从95.2%提高到99.8%），但相对于PSYCHOSAFE提示，相关性有所下降（从4.52±0.74下降到3.37±1.16）。定性分析表明，低相关性得分的主要模式是模型响应不够上下文敏感，许多响应依赖通用的危机干预模板而不是适应用户的具体情况。其他观察到的错误包括模型有时将事实性、模糊或良性提示误解为急性危机场景，提供不匹配的外部资源，或在证据不足的情况下假设用户意图或情绪状态。SORRY-Bench评估显示，Qwen3.5-27B-psysafe在所有提示条件和19种语言变异上的合规率降至接近零，在良性提示上的过度拒绝率低于基础模型（3.6% vs 13.2%），表明结构化模板设计保留了普通的有用性。XSTest结果表明，基础模型与PSYCHOSAFE v1系统提示显示了相反的权衡：安全性从59.0%提高到78.5%，但过度拒绝也从13.2%增加到24.0%。相比之下，微调模型在所有提示上保持了低过度拒绝（3.6-9.2%），但没有归纳到对抗性提示，安全率仅为17.0% vs 基础模型的59.0%。MMLU和HellaSwag的评估显示，HellaSwag性能几乎保持不变，微调模型有3个百分点的轻微增加，MMLU上观察到约4个百分点的轻微下降。在MoE变体Qwen3.5-35B-A3B上的重复实验产生了与稠密27B相似的结果，确认了发现对模型架构的稳健性。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 心理学知情的拒绝质量（验证集） | 总体得分（归一化平均，0-100%） | 92.0% | 71.9% | +28.1% |
| 外部资源引用 | 引用率（%） | 95.2% | 64.8% | +46.8% |
| 心理学基础 | 得分（1-5，均值±标准差） | 4.56±0.86 | 3.38±1.17 | +34.8% |
| 拒绝率 | 拒绝率（%） | 96.0% | 90.6% | +6.1% |
| SORRY-Bench合规率（平均变异） | 合规率（%，越低越安全） | 19.0% | 25.4% | -6.4个百分点 |
| SORRY-Bench合规率（微调模型） | 合规率（%，越低越安全） | 0.0-0.1% | 17.9-26.9% | -17.8到-26.8个百分点 |
| XSTest过度拒绝（良性提示） | 过度拒绝率（%，越低越好） | 3.6% | 13.2% | -9.6个百分点 |
| XSTest安全性（对比有害提示） | 拒绝率（%，越高越安全） | 17.0% | 59.0% | -42.0个百分点（微调模型在对抗性提示上泛化有限） |
| MMLU（一般能力保留） | 准确率 | 0.8020±0.0032 | 0.8443±0.0029 | -4.2个百分点（轻微下降） |
| HellaSwag（一般能力保留） | 准确率 | 0.6405±0.0048 | 0.6377±0.0048 | +0.3个百分点（保持稳定） |
局限与改进
作者承认的局限性包括：首先，PSYCHOSAFE中使用的干预策略最初是为人类对人类情境设计的，在当前框架中被抽象为简短的书面响应。虽然这可以支持降级和重定向，但不应被解释为治疗、诊断或危机管理。其次，领域覆盖范围故意狭窄，框架专注于五个心理相关的风险集群，因此不解决不安全模型行为的全部空间。许多有害领域是安全相关的，但明显不适合简短的心理学干预。第三，发布的工件仅限英文，内置的支持资源主要针对美国和英国量身定制。PSYCHOSAFE将受益于更广泛的语言和资源覆盖，以使其更加通用和可访问。第四，PSYCHOSAFE微调模型在某些拒绝中显示出有限的个性化（如通过相关性标准所测量的），这可能是由于训练数据的变异性有限。改进响应的多样性和上下文敏感性可能导致更强的性能。最后，当前结果基于单轮验证提示，多轮行为、对抗性鲁棒性、跨语言泛化和真实用户效果仍然是开放的研究问题。除了作者承认的局限性外，我还观察到，微调模型在XSTest上的低安全率（17.0% vs 基础模型的59.0%）表明，尽管在五个训练领域内表现良好，但模型在对抗性提示上的泛化能力有限。这可能是因为微调数据中的模板式响应过于刚性，导致模型将危机干预模式应用得太广泛，捕获了PSYCHOSAFE模板但没有应用它的实用判断。此外，评估主要依赖于LLM-as-Judge，尽管作者通过与人类评估者验证了judge的选择，但这种方法仍然可能引入偏见，特别是当judge模型与被评估模型来自同一族时（本文中的Qwen 3.5 27B与judge候选Qwen 3.5 397B-A17B）。
独立分析的弱点
微调模型在相关性上的下降（从4.52±0.74下降到3.37±1.16）表明模型在适应用户具体情况方面的能力有限。具体场景包括：当用户提出事实性、模糊或良性问题时，模型可能将其误解为急性危机场景；提供不匹配的外部资源；在证据不足的情况下假设用户意图或情绪状态；将受害者、证人或紧急情况误读为施害者意图场景，导致道德反思而非立即的特定领域指导。改进方向可能包括增加训练数据的多样性，特别是引入更多上下文敏感的示例；开发更具上下文感知力的微调策略，例如在训练中加入更多上下文信息或使用多轮对话数据；或者采用混合方法，结合提示和微调的优势，通过提示提供上下文感知，通过微调内化核心拒绝和资源引用行为。另一个弱点是微调模型在对抗性提示上的泛化有限（XSTest安全率17.0% vs 基础模型的59.0%）。改进方向可能包括扩大微调数据的范围，覆盖更多风险类别和变体；或者在微调过程中加入对抗性训练，使模型能够识别和应对重新表述的有害请求。最后，PSYCHOSAFE目前仅限英文，支持资源主要针对美国和英国。改进方向可能包括扩展到多语言环境，为不同文化背景的用户提供本地化的资源和干预策略。
未来方向
作者提出的未来工作方向包括：扩大微调数据的多样性，帮助模型选择性地而非模式化地应用干预；扩展语言和资源覆盖，使PSYCHOSAFE更加通用和可访问；调查跨多样化文化背景、脆弱人口和多语言设置中的失败模式，确保支持性拒绝策略在实践中仍然安全和适当；研究多轮对话中的拒绝行为；在真实用户环境中评估PSYCHOSAFE的有效性；以及开发更复杂的风险检测和干预策略选择机制。基于本文成果，可延伸的未来研究方向包括：探索如何将PSYCHOSAFE框架应用于其他高风险领域，如极端主义、网络欺凌或错误信息；研究如何结合上下文感知和个性化，使模型能够根据用户的历史互动、情绪状态和风险水平动态调整干预策略；开发自动化评估方法，用于持续监控和改进拒绝行为的质量；以及研究如何在保持心理学知情拒绝的同时，平衡隐私和透明度，例如如何在不暴露用户敏感信息的情况下提供个性化的支持。
复现评估
作者在论文中提供了相当详细的复现信息。代码已在GitHub上开源（github.com/aisilab/psychological-safety），包括PSYCHOSAFE数据集、提示和微调脚本。作者在附录中提供了超参数选择过程的详细信息，包括UMAP和HDBSCAN的参数搜索策略，以及最终的参数设置（UMAP: n_neighbors=30, min_dist=0.0, n_components=5；HDBSCAN: min_cluster_size=7, min_samples=1, cluster_selection_epsilon=20）。微调细节也提供了：使用全精度训练5个epoch，最大序列长度为4096个token，批量大小为4，无梯度累积。优化使用AdamW和8位量化，峰值学习率为1×10^-4，带有余弦衰减和100个预热步，权重衰减为0.01。损失仅在响应上计算，推理轨迹不包含在监督信号中。所有实验在H100 GPU上进行。评估细节也提供了，包括LLM-as-Judge的选择过程、与人类评估者的对比结果（Cohen's κ系数），以及在SORRY-Bench和XSTest上的评估协议。这些信息使得复现本文的主要结果是可行的。然而，一些细节可能需要进一步澄清，例如用于生成推理轨迹的GPT-OSS-120B的具体提示，以及数据集的详细统计信息（每个风险集群的确切数量和分布）。此外，由于使用了专有的GPT-OSS-120B来生成推理轨迹，完整的复现可能需要访问此模型，这可能会限制一些研究者的能力。总体而言，本文在复现性方面做得相当不错，提供了大部分必要的信息和代码，但一些细节的进一步澄清将使复现更加容易。
论文图表
