LoSoNA：面向群聊中局部社交规范适配的基准

评测LLM能否仅从聊天先例推断并遵循群组隐藏的局部社交规范

前置知识

局部社交规范（Local Social Norm）

指特定小型群体在长期互动中自发形成的、未被明文陈述的回应惯例，比如某群组对坏消息习惯给实际建议而非安慰、对yes/no问题只回答'是/否'。

这是本文评测对象的精确定义，区分于社会共享的全局礼貌规则，是LLM社会能力评测的新维度。

Theory of Mind（心智理论）

指推测他人信念、意图、欲望等心理状态的能力，从第一人称视角出发而非回答关于他人心理的客观题。LLM的ToM评测近年受到批评。

LoSoNA将局部规范识别视为ToM的一种表现，并采用近期'第一人称、动态、用户中心'的评价范式。

LLM-as-a-Judge（模型评判）

用一个固定的大语言模型作为评判器，对其他模型的输出按指定标准打分。文中使用 Gemini 3.1 Pro Preview 在 temperature=0 下做单点判断。

这是本文实验自动化的关键，但单一模型的判断会引入家族偏好偏差，是 LoSoNA 的核心局限之一。

Majority Accuracy over K（K次多数准确率）

对同一scenario采样 $K$ 次（文中 $K=3$），当合规标签占多数时记为 1，否则记 0，用于抵消单次随机波动。

这是 LoSoNA 的主要指标 accuracy-at-3，配合合规率与一致性共同刻画模型表现。

研究动机

现有 LLM 社会能力评测普遍依赖显性目标或第三人称叙述型判断。Sotopia 系列对话是二人形式且给每个 agent 私目标，SocialIQa/ToMBench/FANToM 等则让模型以旁观者身份答题。多数评测并不考察模型能否以群成员第一人称视角，仅从聊天先例反推一个未明文陈述的本地行为准则并据此回应，这在聊天机器人实际部署中却是常见却未被独立测量的能力。换言之，我们既不知道 LLM 在无目标、仅看先例时能否识别规范，也不知道它们识别出来后会不会真的改口回应。

本文的目标是构建一个聚焦群聊场景、仅从对话先例推断并遵守隐藏本地规范的评测基准 LoSoNA，覆盖 17 类事件（如考试出分、bug 报告、人际冲突）和 22 类规范（如只答'是/否'、禁止直接回答、必须指路而非答出、非附属支持等）下的 38 道人工筛选题；用 naive/elicitor_only/style_adaptation/norm_informed 四种提示条件刻画 8 个主流模型在'懂不懂此地规矩'上的差异，并把'显性提点'与'隐式先例'两条信号解耦。

与已有工作不同的是，现有基准与本文有三处显著差别：第一，本研究是多人而非二人对话，群组局部规范在二人对话中既不易形成也难以测得；第二，不给任何私目标，模型只能从聊天先例反推规则；第三，评估的是'反应是否符合本群本地规范'的当次回应合规性，而非完成叙述任务或追逐对话目标，这正是第一人称视角下 ToM 在群聊中的实际形态，与 Wang 等人(2025) 'first-person, dynamic, user-centered' 的呼吁呼应。

核心方法

直觉上，每道题就像让一个新人混进群聊并马上要发第一条消息——他必须从前面的发言里读出这个群特有的反应模式，否则即使话说得漂亮也会被视为不合群。技术上，作者构建一个静态评测对象，固定群设定、参与者描述、聊天记录与终止诱发轮，对每道题用四种提示条件渲染主体模型，再用一个固定的 Gemini 3.1 Pro 评判器按单一目标规范判定每次回应是否合规。整个流程强调'对比同题同模型不同提示'的可控性，而不是让对话再继续演化。

与 Sotopia 等交互式基准相比，LoSoNA 把对话在终止诱发轮处冻结，避免后续多轮脚本化反应带来的噪声；同时通过'无示范控制'在构造阶段筛掉用普通助手默认行为就能通过的题目，让规范合规成为真正可区分的信号。核心创新是把能力解耦成两问：'在没有任何提示时模型能不能识别规范'，以及'给了提示后能不能稳健遵循'，再以 $K=3$ 次多数准确率刻画模型判断的稳定性，并把'恢复失败'与'引入回退'拆开独立评估，恰好能识别 Mistral Medium 3.1 这种'被提示反而搞砸'的退化模型。

方法步骤详情

方法分四步：第一步，设定事件类型 $e$ 与本地规范 $n$ 的二元组 $\tau = (e, n)$，由适用性过滤 $A(n)$ 形成 353 个有效单元；第二步，scenario 生成器在选定场所下，先确定隐藏的虚构终局目标（例如确认某个 bug 原因），再生成含 2-3 次规范示范的多人聊天与诊断式诱发轮；第三步，用 Gemini 3 Pro Preview 在 naive 提示下回答相同诱发轮，若默认合规则剔除，保证题目有区分度；第四步，把通过的 38 道题在 naive/elicitor_only/style_adaptation/norm_informed 四种提示下各采样 3 次，由同一个 Gemini 3.1 Pro 评判器按主提示语句判定每次回应是否合规。

技术新颖性

技术上同时具备三个新意：其一，评测对象是'单次回应的局部一致性'而非'多回合目标完成'，与 Sotopia-$\pi$ 训练型社会智能体互补；其二，用无示范控制与四档提示梯度把'显性提点'与'隐式先例'解耦，方便定位模型是真学会还是被提示带飞；其三，把规范按 22 类做人工组织，并报道'恢复失败'与'引入回退'这一对配对指标，因而可以分别看提示帮助了多少题、又把多少原本能做对的题做错，是提示工程价值的细粒度评估。

实验结果

在 naive 提示下多数模型低于 37%，最低 Qwen2.5-72B 与 Gemma 3-27B 仅 21-24%，最高 Claude Fable 5 达 47.4%，八模型平均仅 33.2%。引入 norm_informed 提示后，平均跳到 46.1%，但效果极不均衡：Gemini 3.1 Pro 升至 84.2%（+47.4pp，95% CI [31.6, 63.2]），Claude Fable 5 达 81.6%（+34.2pp），Claude Opus 4.8 与 Gemma 3-27B 各 +10.5pp，Llama 3.3-70B +7.9pp，GPT-5.5 仅微涨 +2.6pp，Qwen2.5-72B 不变，Mistral Medium 3.1 反降 -10.5pp。配对分析显示 Gemini 3.1 Pro 恢复了 24 道 naive 失败题中的 18 道（75%）且无回退，Claude Fable 5 恢复 14/20（70%）也无回退，Mistral Medium 3.1 仅恢复 8% 却回退 38% 的原本成功题。

**Table 1**: Full LoSoNA results by model and prompt condition

**Table 2**: Event taxonomy used by LoSoNA.

**Table 3**: Norm taxonomy and number of accepted scenarios in the current 38-scenario set.

**Table 4**: Accepted scenario distribution by event.

**Figure 2**: Majority accuracy over three sampled responses for each subject model and prompt condition.

**Figure 3**: Paired effect of the norm_informed prompt relative to naive, measured in accuracy-at-3 percentage points over the same 38 scenarios.

**Figure 4**: Recovered failures and introduced regressions for norm_informed relative to naive, counted using accuracy-at-3 at the scenario level.

查看结构化数据

任务	指标	本文	基线	提升
LoSoNA 全集（38 场景，四种提示）	accuracy-at-3 / 合规率 / 一致性	norm_informed 下 Gemini 3.1 Pro 84.2% / 84.2% / 89.5%；Claude Fable 5 81.6% / 80.7% / 86.8%	naive 提示下 Gemini 3.1 Pro 36.8% / 37.7% / 86.8%；Claude Fable 5 47.4% / 47.4% / 78.9%	Gemini +47.4pp；Claude Fable +34.2pp
norm_informed vs naive 配对差（恢复 vs 回退）	恢复失败数 / 引入回退数	Gemini 3.1 Pro 18 恢复、0 回退；Claude Fable 5 14 恢复、0 回退	Mistral Medium 3.1 仅 2 恢复、却 5 回退	净改善 net +18 vs net -4

局限与改进

作者指出四点局限：其一，38 道题样本量小导致分类级拆分不稳定；其二，构造阶段用 Gemini 3 Pro Preview 跑无示范控制，判别对 Gemini 家族模型偏宽或偏严的方向未定；其三，评判器与最优主体模型同为 Gemini 3.1 Pro，存在家族自偏好风险，作者用人工复核 100 条（85% 一致，判断偏保守）和 Claude Opus 4.8 重打分做双重 sanity check；其四，合成、单语、单轮场景无法刻画多规范并存、长期记忆和群内制裁修复。

独立分析的弱点

第一，'局部规范'被一次性单一事件 + 单一目标规则刻画，与真实群聊中多规范并行冲突相距甚远，且 22 类中 9 类只覆盖 1 道题。第二，norm_informed 提示直接告诉模型'可能有规范'，等于是把测评想要的能力做了提示泄漏，naive 与 norm_informed 之差不能完全归因于'模型自身能力'。第三，提示条件间缺乏形式化对照，例如 style_adaptation 与 norm_informed 都强调适配但用词不同，难以判断是关键词还是语义起作用。第四，单一固定评判器只看目标规范，碰到边界 case 易果断却粗糙。改进方向：扩到多规范、多轮、引入跨家族或集成评判、做提示词消融、引入'规范存在先验概率'的可控变量。

未来方向

作者提出的方向包括：(1) 把场景扩展到同步存在的多条规范、长时段记忆与道歉/沉默等制裁机制；(2) 发展评估者可观察被惩罚后自我修复的动态版本；(3) 用非 Gemini 或多模型池替换构造期筛选器和评判器；(4) 跨语言与来自真实群聊的、需要同意与隐私的样本；(5) 探索借助 LoSoNA 的恢复/回退配对指标来设计更稳的训练目标。基于结果可延伸：把 LoSoNA 当作'规范敏感度探针'用于提示工程与 RLHF 偏好数据筛选，并研究冷漠型回复（如 deadpan_literalism）与生硬型回复（如 banned_enthusiasm）对人类感知的对比。

复现评估

复现门槛中等。38 道题与目标规范在 Hugging Face 数据集 huggingface.co/datasets/Humalike-ai/LoSoNA 公开，prompt 模板与评判器 prompt 在论文附录 C 完整给出。但依赖 8 个被评测模型（多数为闭源，且部分如 GPT-5.5、Claude Fable 5、Gemini 3.1 Pro Preview、Mistral Medium 3.1 等为该基准特定版本）和固定 Gemini 3.1 Pro Preview 评判器，API 变动或下架会破坏可复现性；每题每条件采样 3 次，38 题 8 模型 4 条件共 3648 次生成，量级可控但调用成本与提供商默认采样设置波动需注意。

LoSoNA：面向群聊中局部社交规范适配的基准 LoSoNA: A Benchmark for Local Social Norm Adaptation in Group Conversations