粒度轴：语言模型中社会角色从微观到宏观的潜在方向 The Granularity Axis: A Micro-to-Macro Latent Direction for Social Roles in Language Models
在 LLM 隐藏层发现的微观-宏观社会粒度轴：对齐 PC1、跨模型可迁移、可因果引导。
前置知识
激活引导 (Activation Steering)
在 LLM 前向生成时，对某层隐状态 $h^{(\ell)}_t$ 加上与目标概念对齐的方向向量乘以强度 $\alpha$，即 $\hat{h}=\hat{h}+\alpha g$，不改变权重即可改变输出。是表征工程的核心操作。
本文的因果验证（criterion iii）完全依赖激活引导：只有粒度轴能稳定地、可预测地改变输出粒度，才能说明它不只是描述性方向，而是真正的表征原语。
对比式潜在方向 (Contrast-based Latent Direction)
借鉴 Assistant Axis 的做法：把目标概念两端样本的隐状态分别取均值再相减，$g^{(\ell)} = \bar{v}_{\text{macro}} - \bar{v}_{\text{micro}}$。得到的方向被假设编码从一端到另一端的语义差。
这是本文方法的核心构件。值得注意的是，仅用两端构造的方向若能恢复中间层级的单调排序，就能说明它学到了真实的有序潜变量，而非仅记忆端点。
LLM 隐状态与 token 级表示
Transformer 每层输出 $h^{(\ell)}_t \in \mathbb{R}^d$ 是 token 在第 $\ell$ 层的激活。角色级表征先对回复内 token 做 mean-pooling，再对 (prompt, question) 平均，得到角色向量。
本文全部的 PCA、cosine、Spearman 分析都建立在这种“角色向量”聚合上。理解 token→响应→角色 的三层聚合，是看懂实验统计量的前提。
主成分分析 (PCA) 与 PC1 主导性
对 75 个角色向量做 PCA，第一主成分 $w_1$ 是数据中方差最大的方向。如果某条对比轴 $g$ 与 $w_1$ 的余弦接近 1、且 PC1 解释了一半以上方差，就说明该方向“几乎就是”角色空间的骨架。
本文最关键的数字——Qwen3-8B 上 $\cos(g, w_1) = 0.972$、PC1 解释 52.57% 方差——直接论证了粒度不是众多因素之一，而是占主导地位的几何轴。
角色提示 (Role Prompting / Role Conditioning)
在 system prompt 或 user prompt 中显式指定模型扮演某个社会角色（如“你现在是一位焦虑的家长”），从而让模型在风格、视角、信息粒度上发生系统性变化。
这是粒度轴的输入端：若没有角色提示的多样性（75 个角色、5 个 prompt 变体），就无法观察到连续的粒度谱。本文用它构造了 91,200 条回复。
研究动机
当前 LLM 越来越多被用作社会行为仿真器（多智能体辩论、政策推演、市场模拟），其核心机制是“角色提示”（role conditioning）：通过 prompt 让模型扮演“焦虑的家长”“社区组织者”“医院院长”“央行行长”等不同身份。研究者和从业者通常默认这些角色在表征层面是不同的视角，但这一假设从未被直接验证。一个关键隐患是“粒度混淆”（granularity confusion）：若央行行长的回复与焦虑家长的回复在隐藏层共享同一“角色扮演先验”，那么名义上的多视角仿真在表征上其实是单视角的，但文本层面又显得“很有立场”，这种失败模式恰恰是多利益相关方仿真最容易掩盖的。最近的可解释性工作（如 Assistant Axis）虽然发现了与 persona 相关的低维方向，但没人系统回答过：LLM 是否真正区分了被提示角色的“社会粒度”——也就是从个人体验到机构/国家/超国家推理这一光谱？
本文的目标是本文要回答一个具体且可证伪的假设：LLM 内部是否存在一个单一的、有序的、跨模型可迁移的方向 $g^{(\ell)}$，它能 (i) 在表征层面对 75 个分属 5 个粒度等级的社会角色形成单调排序，(ii) 与角色表征空间的主成分（PC1）高度对齐，(iii) 在激活引导下因果地、可预测地改变输出粒度。最终将“社会粒度”从一个风格表面现象重新定位为 LLM 的一个表征原语，并演示它如何被用于审计和调控多智能体仿真。
与已有工作不同的是，与已有工作的三点本质差异：(a) Assistant Axis 等工作关注“是否偏离默认助手 persona”，是离散的二极对比；本文关注“微观-宏观”这一连续的有序属性，构造上必须用 5 个等级并验证单调性。(b) 已有研究多在单一模型上展示效果，本文显式跨两个 8B 指令微调模型（Qwen3-8B、Llama-3.1-8B-Instruct）做迁移性验证。(c) 已有工作常把“表征有意义”和“行为可控”混为一谈，本文用 §4.1 明确强调——一个方向可能在表征上非常稳健但在行为上很脆弱，可控性取决于模型默认工作点是否还有 headroom，这是过去 steering 论文几乎不讨论的。
核心方法
直觉上，可以把 LLM 的隐藏层想象成一个高维“语义地图”，每个被提示的社会角色都会在这张地图上占据一个点。本文想检验：这些点是不是沿着一条从“个人”到“国家”的轴线有序排列？技术上，先用 75 个覆盖 5 个粒度等级的角色、5 种 prompt 模板、240 个共享问题生成 91,200 条回复，对每条回复按 token 做 mean-pooling 再按 (prompt, question) 求平均，得到每个角色在每层的 75 个 d 维向量；接着用对比法定义粒度轴 $g^{(\ell)}$（宏观角色均值 − 微观角色均值），然后用 PCA 检验它是否与角色空间主轴对齐、用 Spearman/Pearson 检验它是否对 5 个等级形成单调排序、最后在第 18 层用 $\hat{h}^{(\ell)}_t = h^{(\ell)}_t + \alpha g^{(\ell)}$（$\alpha \in \{-4, 0, +4\}$）做激活引导，看输出是否真的被推向宏观/微观端。
本文最核心的创新是“用两端定义、用中间验证”的可证伪构造：粒度轴只由 L1+L2（微观）和 L4+L5（宏观）这 30 个角色的均值差定义，刻意把 L3（meso）这个 15 个角色排除在构造过程之外。然后去检验 L3 的角色向量在 $g^{(\ell)}$ 上的投影是否正好夹在 L2 和 L4 之间。如果是，就证明这条轴学到的不是端点记忆，而是一个真正有序的潜变量。这是与 Assistant Axis 等已有对比方向工作的本质区别——后者通常只验证端点的差异，未要求在 hold-out 中间等级上呈现单调性。第二个关键点是把“表征稳健”和“行为可控”解耦：本文用 §3.2 的 PCA/Spearman 证明表征层面的强信号，用 §3.3 的引导实验承认行为层面的部分、模型依赖的可控性，并用 §4.2 提出“headroom gate”假说来解释两模型差异（Qwen 默认已偏宏观，所以 +α 无空间；Llama 默认偏中性，所以可移动幅度大但也更容易退化）。
方法步骤详情
Algorithm 1 分 5 阶段。**阶段 1 响应收集**：对每组 (角色 $u$, prompt 变体 $s$, 问题 $q$)，采样 $r_{u,s,q} \sim M(\cdot | u, s, q)$，共 $75 \times 5 \times 240 = 90{,}000$ 角色回复 + 1,200 默认助手回复 = 91,200 条。**阶段 2 角色级表征**：对每条回复在每层 $\ell$ 对 $T$ 个 assistant token 隐状态做 mean-pooling 得 $v^{(\ell)}_{u,s,q}$，再对 (s, q) 求平均得角色向量 $v^{(\ell)}_u \in \mathbb{R}^d$。**阶段 3 对比式粒度轴**：$U_{\text{micro}} = \{u: y(u) \in \{1,2\}\}$、$U_{\text{macro}} = \{u: y(u) \in \{4,5\}\}$，$g^{(\ell)}$ 取宏观与微观均值之差。**阶段 4 几何验证**：75 个角色向量堆成 $V^{(\ell)}$，中心化后 PCA，报告 $\cos(g, w_1)$、PC1 方差比、Spearman $\rho$、Pearson $r$。**阶段 5 因果探针**：生成时对每个 token 加 $\alpha g^{(\ell^*)}$（$\alpha \in \{-4, 0, +4\}$，$\ell^*=18$），gpt-5.4-mini 主裁判，3 位研究生人工校准。
技术新颖性
技术新颖性体现在三方面。(1) **可证伪的对比构造**：把“端点对比”和“中间验证”分离成可独立检验的两步，比 Assistant Axis 那种只验证端点差异的对比方向更严格，也更容易被未来工作复现/反驳。(2) **跨模型迁移性是协议而非结果**：在 Qwen3-8B 上做主实验、在 Llama-3.1-8B-Instruct 上做完整复刻，并显式报告两模型“控制风格”的差异（Qwen 稳定但保守、Llama 灵敏但易退化），这在之前 steering 论文中几乎是缺位的。(3) **headroom gate 概念**：把“为什么同样的 $\alpha$ 在不同模型上效果差别巨大”归因于默认工作点是否还有可移动空间，并提出用微目标 prompt 集来“打开”被饱和掩盖的信号——这是一种诊断协议上的创新，而不只是又一个新方向。
实验结果
**表征层面**（Table 1, 2, Figure 2, 3）。Layer 18 下，Qwen3-8B 粒度轴与 PC1 余弦 0.9720、PC1 解释 52.57% 方差、Spearman $\rho = 0.9472$；Llama-3.1-8B-Instruct 对应 0.9596、42.46%、0.9459。两模型 $\rho$ 均 > 0.93，Qwen PC1 占比更高说明对粒度表征承诺更强。**饱和**：L1→L5 平均投影先升后饱和——Qwen 0.54→22.61→23.26、Llama -0.88→3.21→3.34，在 ~7 倍绝对尺度差下共享形态，提示 L4（机构）与 L5（国家）已合并为一个表征区。**引导**（Table 3, 4）。微目标集 $\alpha=+4$ 下，Llama 2.00→3.17（$\Delta_{+4}=+1.17$），Qwen 2.17→2.67（$\Delta_{+4}=+0.50$）。Llama $\alpha=-4$ 时 4.53→3.13，但伴随 0.425 退化率——大移动 ≠ 干净控制。**人工与稳健性**（Table 5）。4 cell 配对率均 > 0.5（0.639-0.903），Likert 与裁判 Spearman $\rho \in [0.58, 0.79]$；Qwen 8-35 层、Llama 6-31 层均单调；端点变体下 $\cos(g, \text{PC1}) \geq 0.93$。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 角色表征几何对齐（Qwen3-8B, Layer 18） | cos(g, PC1) / PC1 方差占比 / Spearman ρ / Pearson r | 0.9720 / 52.57% / 0.9472 / 0.9414 | Assistant Axis 在同模型上未报道此类指标；random direction 几乎不对齐（论文 Appendix 给出） | 相比 random direction，cos 从接近 0 升到 0.972；PC1 单独解释超过一半的角色空间方差 |
| 角色表征几何对齐（Llama-3.1-8B-Instruct, Layer 18） | cos(g, PC1) / PC1 方差占比 / Spearman ρ / Pearson r | 0.9596 / 42.46% / 0.9459 / 0.9373 | 同模型上无直接对照；random direction 仍接近 0 | 跨模型迁移得到与 Qwen 同量级的对齐和单调性，证明粒度轴是家族级而非模型特异的表征 |
| 激活引导因果探针（Llama-3.1-8B-Instruct, 微目标 prompt 集, α=+4） | judge 1-5 粒度分（granularity_overall） | 3.167 ± 0.241 | 2.000 ± 0.000（无引导） | +1.167（绝对），对应一个完整粒度级 |
| 激活引导因果探针（Qwen3-8B, 微目标 prompt 集, α=+4） | judge 1-5 粒度分 | 2.667 ± 0.256 | 2.167 ± 0.112（无引导） | +0.500，方向正确但幅度受默认宏观工作点限制 |
| 激活引导负方向（Llama, 通用 prompt 集, α=-4） | judge 1-5 粒度分 + 退化率 | 3.125 ± 0.161，退化率 0.425 | 4.525 ± 0.088（无引导） | Δ = -1.400，但伴随 42.5% 退化，说明响应性 ≠ 干净控制 |
| 人工配对方向性评估（4 个 cell 平均） | 人类选择 α=+4 比 α=-4 更宏观的比率 | 0.639 / 0.750 / 0.903 / 0.861（Generic-Qwen / Micro-Qwen / Generic-Llama / Micro-Llama） | 随机水平 0.5 | 所有 cell 高于随机；最大 +0.403（Llama Generic），最小 +0.139（Qwen Generic，靠近天花板） |
局限与改进
作者明确承认的局限：(1) 训练/分析范围被圈定在两个 8B 指令微调模型上，更大/更小或非指令微调模型是否仍保持该结构未知；(2) 75 个角色的分类是手工构造的，可能存在粒度归属争议（比如 NGO Director 应在 L4 还是 L3）；(3) 主体评估用 LLM-as-Judge（gpt-5.4-mini），尽管有人工校准和第二模型交叉，仍可能带系统偏差；(4) L4-L5 的饱和意味着“机构 vs 国家”在表征上几乎不可分，限制了进一步细分应用。我自己观察到的额外问题：(5) Qwen 的 role holdout 略脆（paper 提到），说明“角色身份”和“粒度”在表征中部分纠缠，单一方向无法完全解耦；(6) 微目标 prompt 集只有 12 条、通用集 40 条，规模偏小，泛化性需要更大集合验证；(7) 论文没有报告每条 steering 后回复的语义一致性、事实性、是否有幻觉等下游质量指标——粒度对了不代表回答仍然合理。
独立分析的弱点
**弱点 1：单对比轴无法分离相关维度**（论文 §4.3）。scale、time horizon、authority、formality 可能塌缩到同一条轴上：当 NGO Director 强调“长期系统性影响”时，他/她同时在粒度、time horizon、formality 三维度偏宏观，单凭 $g^{(\ell)}$ 余弦无法判断是哪个维度被推动。改进方向：在 $g^{(\ell)}$ 投影残差上重跑 PCA，检验次级结构，若存在则报告多轴而非单轴。**弱点 2：headroom gate 限制可见信号**。Qwen 默认已偏宏观，通用集 $\alpha=+4$ 几乎无可观察移动。改进方向：先做基线分布归一化，把 steering 强度归一化到该模型基线在粒度轴上的分位后再扫 $\alpha$。**弱点 3：评测体系单一**。仅用 1-5 granularity_overall 打分，judge 与 steering 同属 GPT/Gemini 系。改进方向：引入“事实保持度”和“角色一致性”正交维度，用开源强模型（DeepSeek、Qwen2.5-Max）做交叉验证。**弱点 4：role holdout 在 Qwen 上略脆**。改进方向：构造保证无共现的角色集，报告按 holdout 类型分层的 $\rho$。
未来方向
**作者明确提出**：(i) 多智能体仿真“粒度混淆审计”——检测名义上不同角色的 agent 在隐藏层是否塌缩到粒度轴同一端；(ii) 部署期动态调控社会粒度——personal-support 压向 L1、policy reasoning 抬到 L4-L5；(iii) 把“对比-投影”协议推广到其它有序社会维度：formality、time horizon、risk aversion。**基于成果可延伸**：(iv) 多轴联合建模——把上述维度同时对比提取，构成“社会角色表征坐标系”并研究轴间相关性是否随模型家族/规模变化；(v) 训练时干预——把粒度轴的正交投影作为正则项加入 SFT/DPO，看能否降低粒度混淆而不损害通用能力；(vi) 跨语言/跨文化复刻——推广到日语/阿拉伯语角色集，检验粒度轴是否仍是基底方向；(vii) 与 mechanistic interpretability 结合——用 sparse autoencoder 把 $g^{(\ell)}$ 分解为可命名的特征。
复现评估
**开源情况**：作者明确说明代码与数据已开源（脚注“Code and data are available at Granularity-Axis”）。**数据与角色集**：75 角色清单和 240 个共享问题来自 Lu et al. (Assistant Axis) 扩展集，复现门槛低；5 个 prompt 模板公开在 Figure 4。**算力需求**：8B 模型在单卡 A100/H100 上即可完成全部 91,200 条推理（vLLM 约几十到上百 GPU 小时）；representation analysis 几乎不耗算力；steering 在 52 条 prompt 上扫 3 个 $\alpha$，可忽略。**复现难度**：中等，预算 2-3 张 A100 跑 1-2 天即可。**易踩坑点**：(1) Layer 选择需在 6-31（Llama）/ 8-35（Qwen）做 layer sweep；(2) judge prompt 严格按 Figure 6 实现；(3) prompt 模板中“scale/time-horizon emphasis”变体若被替换，identity-only 变体相关性会下降。
论文图表
