大语言模型有多可控？跨行为粒度的统一评估 How Controllable Are Large Language Models? A Unified Evaluation across Behavioral Granularities
提出SteerEval基准，系统评估LLM在不同粒度级别的可控性
前置知识
转向方法（Steering Methods）
转向方法是一类在推理时干预大语言模型行为的技术，旨在引导模型输出符合特定目标概念（如情感、个性）。这些方法主要分为两类：基于提示的转向（通过在输入前添加概念提示来引导生成）和基于激活的转向（在前向传播过程中修改中间激活值）。基于激活的方法包括PCA、DiffMean和RePS等，它们通过学习或估计概念方向向量来调整模型的内部表示。
理解转向方法是本文评估的核心对象，论文系统比较了不同转向方法在不同粒度级别上的表现，揭示了它们的优缺点和适用场景。
Marr的分析层次理论
Marr的三个分析层次是认知科学中的经典框架，将信息处理系统分为三个层次：计算层（目标是什么）、算法层（如何实现目标）和实现层（如何具体执行）。这个框架帮助理解行为从抽象意图到具体实现的层次结构，每个层次都有其特定的关注点和分析方法。
本文借鉴Marr的层次理论来组织转向目标，将行为控制分为L1（计算层：表达什么）、L2（算法层：如何表达）和L3（实现层：如何实例化），为评估提供了系统化的框架。
概念分数（Concept Score）
概念分数是评估模型输出是否准确表达了目标概念的指标，采用0-4分的评分标准。0分表示概念完全缺失，1分表示关键词存在但含义错误或只是逐字复制，2分表示概念存在但只是次要细节，3分表示概念清晰但不是主要焦点，4分表示概念是输出的核心主题。
这是本文评估转向效果的核心指标，用于量化模型对目标概念的表达程度，与其他指标（指令分数、流畅度分数）一起构成综合评估体系。
研究动机
大语言模型在社交敏感领域的部署日益广泛，但其不可预测的行为（如意图不对齐、情感不一致、个性表达不稳定）带来了显著风险。现有的转向基准测试存在明显局限性：要么只针对特定行为（如个性、情感或安全），缺乏跨领域可比性；要么概念定义异质，数据格式不统一，难以进行公平的跨方法比较。例如，AXBENCH虽然部分解决了跨方法比较问题，但其概念来源于稀疏自编码器的特征描述，缺乏明确的行为定义，且没有按领域或粒度组织，评估提示也不是针对特定概念设计的。
本文的目标是本文旨在提出一个系统化、可解释、可操作的基准测试框架SteerEval，用于评估大语言模型在不同行为领域和不同粒度级别上的可控性。具体目标包括：建立覆盖语言特征、情感和个性三个领域的评估体系；设计L1-L3三个层次的粒度结构，连接高级行为意图到具体文本输出；提供概念定向的偏好数据和评估集；揭示现有转向方法的性能边界和失败模式。
与已有工作不同的是，本文的独特切入角度在于将行为控制问题层次化，借鉴Marr的认知科学理论，将转向目标组织为从抽象意图到具体实现的层次结构。与现有基准不同，SteerEval不仅提供标准化的评估框架，还通过自动化数据合成管道生成高质量的对比数据，支持系统的跨领域、跨粒度评估。这种设计使得能够诊断转向方法在哪个层次开始失效，为方法改进提供明确方向。
核心方法
SteerEval的整体思路是将行为控制视为一个层次化问题，从抽象的领域意图到具体的文本实现，每个层次都有不同的控制要求和评估标准。技术路线包括：首先设计三个行为领域（语言特征、情感、个性）和三个粒度级别（L1-L3）的层次结构；然后构建自动化数据合成管道，生成概念层次、问题和对比答案对；最后使用多维度评估指标（概念分数、指令分数、流畅度分数）系统评估不同转向方法。
核心创新点在于提出层次化的转向评估框架，将行为控制分解为三个递进的粒度级别：L1（计算层）定义高级转向意图，不约束表面实现；L2（算法层）指定实现策略，约束表达方式；L3（实现层）施加原子级、可验证的表面约束。与已有方法的本质区别在于，这种层次结构能够诊断转向方法在哪个抽象层次开始失效，而不仅仅是评估整体转向效果。例如，某些方法在L1级别表现良好，但在L3级别完全失效，这揭示了它们无法实现精细控制的局限性。
方法步骤详情
方法步骤包括：1）层次概念合成：用户提供或随机采样领域名称，LLM生成领域描述，然后合成L1-L3概念层次结构；2）问题生成和优化：为每个概念生成多样化的问题，并通过概念转换重写问题以减少概念泄露；3）对比答案生成：为每个重写的问题生成匹配和不匹配的答案对，要求最小词汇级编辑以最大化结构重叠；4）质量保证：两阶段质量控制，包括自动化验证（格式和大小一致性）和人工审核（语义保真度和标签准确性）；5）系统评估：使用GPT-4.1-mini作为评判器，在三个维度上评分，并计算调和平均值。
技术新颖性
技术新颖性体现在多个方面：首先，将Marr的认知科学理论引入LLM转向评估，建立了从抽象意图到具体实现的层次化框架；其次，设计了完全自动化的数据合成管道，能够扩展到新领域和概念；第三，提出概念转换重写技术，通过将问题转向相关但不同的概念来减少概念泄露；第四，采用最小编辑对比答案设计，隔离概念差异；第五，建立了多维度评估体系，包括概念准确性、指令遵循和语言流畅度的综合评估。
实验结果
实验结果揭示了几个关键发现：首先，基于提示的转向整体上优于基于激活的转向，在Gemma-2-9B-Instruct上，Prompt (0/3-shot)的调和平均值达到3.10/3.12，远高于激活方法（PCA 1.11, DiffMean 1.98, RePS 2.56）。其次，激活方法对概念粒度高度敏感，随着目标规范变得更精细（L1→L3），性能急剧下降。以Gemma-2-9B-Instruct为例，激活方法的调和平均值从L1的1.67/2.76/2.94下降到L3的0.05/0.07/1.72。第三，基于提示的方法在所有粒度级别上都保持稳定，调和平均值维持在3.0左右。第四，激活方法在粗粒度级别（L1）可以匹配甚至超越提示方法，这与先前研究的发现相反，但在L2和L3级别显著落后。第五，领域分析显示激活方法存在明显的领域依赖性，在个性领域表现最好（约2.43），情感领域次之（约2.37），语言特征领域最差（约2.25）。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 语言特征控制 | 调和平均值（HM） | RePS: L1=2.82, L2=2.16, L3=2.00 | Prompt (3-shot): L1=2.60, L2=3.14, L3=3.19 | L1级别RePS优于提示方法，但L2/L3级别显著落后 |
| 情感控制 | 调和平均值（HM） | RePS: L1=3.21, L2=2.53, L3=1.64 | Prompt (3-shot): L1=3.35, L2=3.24, L3=2.71 | 激活方法在L1接近提示方法，但随粒度增加差距扩大 |
| 个性控制 | 调和平均值（HM） | RePS: L1=3.04, L2=3.48, L3=2.12 | Prompt (3-shot): L1=3.10, L2=3.27, L3=3.47 | 个性领域激活方法表现相对较好，但L3仍显著落后 |
局限与改进
本文的局限性包括：1）概念和领域覆盖有限，虽然管道可扩展，但未涵盖多轮对话、工具使用、长上下文交互或安全关键领域；2）实验设置仅研究单轮提示和单概念控制，未测试多轮对话、多概念组合或顺序/迭代转向；3）方法调优依赖特定选择（层、数据配对），虽然搜索了强度参数，但未声称对每个概念（特别是L2/L3）都达到最优调优；4）依赖LLM作为评判器，可能存在偏见且对提示敏感，分数应视为近似信号而非确定性真实值；5）数据集通过LLM合成，虽然经过人工验证，但仍可能存在合成偏见。
独立分析的弱点
独立分析的弱点包括：1）激活方法在精细粒度控制上的系统性失败，特别是L3级别几乎完全失效，这表明当前基于激活的转向技术无法处理原子级约束；2）基于提示的方法虽然稳定，但在L3级别的性能仍有提升空间，特别是当需要精确的词汇级控制时；3）评估依赖GPT-4.1-mini作为评判器，可能引入系统性偏见，特别是对于边界案例的评分；4）数据集的合成过程虽然有人工验证，但94.1%的通过率意味着仍有约6%的数据可能存在质量问题。改进方向包括：开发专门针对精细粒度控制的激活方法，设计更鲁棒的自动评估指标，以及建立更严格的人工验证流程。
未来方向
未来研究方向包括：1）扩展到多轮对话和工具使用场景，测试转向方法在更复杂交互中的表现；2）研究多概念组合控制，探索如何同时控制多个行为维度；3）开发专门针对L3级别精细控制的新方法，可能需要结合符号推理或约束满足技术；4）探索转向强度的自适应调整，根据概念粒度动态优化干预强度；5）将框架扩展到安全关键领域，评估转向方法在风险场景中的可靠性；6）研究转向方法的可解释性，理解为什么某些方法在特定粒度级别失效。
复现评估
复现评估显示本文具有良好的可复现性：代码和数据集已在GitHub开源（https://github.com/zjunlp/EasyEdit/blob/main/examples/SteerEval.md），数据集采用MIT许可证发布；实验使用三个公开可用的模型（Gemma-2-9B-Instruct、Qwen-2.5-7B-Instruct、Llama-3.1-8B-Instruct）；自动化数据合成管道有详细的提示模板和流程说明；实验设置（层选择、转向因子搜索）有明确记录。主要复现挑战包括：需要相当的计算资源（三个NVIDIA A800 GPU运行一周），自动评估依赖GPT-4.1-mini API，以及人工验证需要专业标注人员。
论文图表
该图展示了数据集在三个领域和三个粒度级别上的分布情况，每个概念包含70个训练样本、30个测试样本和5个验证样本，总计7,560个样本。
这张图提供了数据集的统计概览，帮助读者了解评估的规模和平衡性，理解实验设计的覆盖范围。