价值的几何学：用任务向量组合实现语言模型的伦理偏好对齐 Geometry of Values: Task Vector Composition for Ethical Preference Alignment in Language Models
将伦理价值偏好从指令方向中正交分离，用任务向量反转实现免重训的价值立场切换
前置知识
LoRA（低秩适配）
LoRA 是参数高效微调（PEFT）方法：冻结预训练权重，在每层投影矩阵（如 $W_q, W_k, W_v$）旁挂一个低秩可训练增量 $\Delta W = BA$，秩 $r$ 远小于原维度，训练完可合并回基座权重。本文用它以极少参数让 Llama-3.2-1B/3B 学会价值立场（1B 用 $r=4,\alpha=8$，3B 用 $r=16,\alpha=16$）。
本文所有微调实验都基于 LoRA，任务向量 $\Delta = \theta_S - \theta_0$ 正是合并后的适配器增量与基座的差，不懂 LoRA 就无法理解任务向量从何而来、为何算力开销小。
DPO（直接偏好优化）
DPO 不训练显式奖励模型，而是相对固定参考模型直接最大化策略给偏好回答高于被拒回答的对数几率，损失形如 $\mathcal{L} = -\log\sigma\left(\beta \log \frac{\pi_\theta(y_+|x)}{\pi_{ref}(y_+|x)} - \beta \log \frac{\pi_\theta(y_-|x)}{\pi_{ref}(y_-|x)}\right)$。本文用成对困境 $(x, y_+, y_-)$ 训练价值立场，$\beta=0.1$。
DPO 是论文的第二种对齐训练法，与 SFT 互为对照，用于交叉验证模型学到的是价值偏好本身而非输出格式记忆。
任务向量与任务算术
任务算术（Ilharco et al., 2023）把微调模型与基座模型的权重差 $\Delta = \theta_{ft} - \theta_0$ 视为编码该任务的方向向量，可加、可减、可缩放地作用于其他检查点（如 $\theta_0 + \lambda\Delta$）。已知问题是向量间干扰会破坏组合性，后续工作用正交基/奇异向量分解缓解。
本文核心方法就是把伦理偏好表示为任务向量，再做正交分解与反转，这是全文的方法论根基。
正交投影
向量 $a$ 在向量 $b$ 上的正交投影为 $\alpha b$，其中 $\alpha = \frac{a \cdot b}{\|b\|^2}$；从 $a$ 中减去该投影即去掉 $a$ 沿 $b$ 方向的分量，得到与 $b$ 正交的剩余部分。两向量余弦相似度接近 0（夹角接近 90°）即近似正交。
Algorithm 1 第三步用这个操作从偏好任务向量中剥离指令遵循方向，是『只翻价值、不动指令』的数学核心；夹角 >80° 的观测也是解释传递性失败的关键证据。
价值多元主义
价值多元主义认为人类社会存在多个不可互相还原的正当价值（诚实、正义、自主等），它们会真实冲突，对齐系统应支持不同优先级排序，而非坍缩到模型厂商设定的单一轴。伦理困境（两个都是美德的选项被迫二选一）是探测价值排序的标准实验范式。
这是论文的问题出发点：任务向量方法让『按需切换价值排序』成为无需重训的运行时操作，是价值多元主义的一条工程落地路径。
位置偏差
位置偏差指模型不依据内容而依据选项呈现顺序做选择（例如倾向总选第一个选项），是选择题评估中的经典混淆源，会掩盖模型的真实推理能力，通常通过随机化选项顺序来检测与规避。
论文把『位置偏差是否被消除』作为小模型真正学到价值偏好的旁证，也是理解 Llama 零样本基线为何近随机的关键。
研究动机
LLM 已被嵌入内容审核、政策起草、个人建议等需要道德判断的系统，但即使是前沿模型也存在隐藏的价值偏好和脆弱的指令遵循，且这些偏差随语言变化。Agarwal et al. (2024) 已发现 LLM 在伦理任务上存在显著的语言依赖偏差，能力在高资源语言之外急剧下降。然而此前的多语言伦理研究集中在文化刻板印象与毒性检测，『诚实 vs 正义 vs 自主』这类普适道德原则之间的直接冲突基本未被系统测试；小型开源模型（1B–3B）的伦理行为与跨语言稳健性更是近乎空白——本文实测 Llama-3.2-1B/3B 零样本下近乎随机且带强位置偏差（多数情况直接选第一个选项）。与此同时，上下文提示引导并不可靠：GPT-5-MINI 在印地语 Task AB 上，即便系统指令明确要求偏好诚实，选择诚实项的比例仍从无政策时的 64.5% 降到 61.8%，说明表面指令无法稳定覆盖模型内嵌的价值倾向。
本文的目标是本文的具体目标分三层。第一，形式化『伦理立场』为价值偏序 $S = (v_i \succeq v_j \succeq \dots)$，并构建首个多语言平行伦理困境基准：12,000 条两选项困境，覆盖诚实 vs 正义（AB）、正义 vs 自主（BC）、自主 vs 诚实（CA）三个价值对，并翻译为印地语、阿拉伯语、西班牙语、中文共 5 种语言。第二，验证紧凑模型（1B–3B）能否在不显式告知立场的情况下，仅从数据中学到稳定的价值偏好：用 LoRA SFT 与 DPO 微调 Llama-3.2-1B/3B，并在独立的人工撰写金标集上检验模型是否摆脱了模板词面相关性的伪学习。第三，也是核心的理论问题——模块化偏好：对齐学到的价值偏好能否作为权重空间中的向量被分离与复用，从而在不重训的前提下按需切换价值排序，为价值多元主义（不同用户/文化应有不同优先级）提供工程路径。
与已有工作不同的是，本文的独特切入是把『价值偏好』当作权重空间中的几何对象，而非提示词层面的行为。任务算术（Ilharco et al., 2023）把微调权重差 $\Delta$ 视为可加减的任务向量；后续工作（Ortiz-Jimenez et al., 2023；Gargiulo et al., 2025）发现向量间干扰会破坏交换律与传递性，并提出投影到任务特定正交基来缓解。本文首次把这套工具引入伦理对齐：将价值偏好微调得到的任务向量分解为『通用指令遵循方向』与『价值偏好方向』两个近似正交的分量，只对后者做缩放与反转。另一个独特之处是把负结果变成了发现：偏好反转可行，但传递性组合（由 $A \succ B$ 与 $B \succ C$ 合成 $A \succ C$）失败，因为不同价值对的偏好向量在权重空间中余弦夹角超过 80°、近似正交——说明『价值的几何』是局部的而非全局线性的，为线性任务算术的能力边界给出了定量刻画。
核心方法
直觉上，小模型在伦理困境数据上微调同时学到两件事：按格式输出 A/B 的指令遵循能力，与偏好哪个价值的立场。直接取反整个任务向量（$\Delta_{\tilde S}=-\Delta_S$）会连指令能力一起破坏、输出乱码，故必须先分解再操作。按 Algorithm 1：先算偏好检查点与基座之差 $\Delta_{S_1}=\theta_{S_1}-\theta_0$；再用一对相反立场微调模型（如 BC 与 CB）的平均差估计纯指令方向 $\Delta_{instr}=\frac{1}{2}(\Delta_{S_2}+\Delta_{\tilde S_2})$，相反偏好相消、指令成分保留；然后把 $\Delta_{S_1}$ 沿指令方向正交投影并减去，得纯偏好向量 $\Delta^{\text{pref-only}}=\Delta_{S_1}-\alpha\Delta_{instr}$；最后合成 $\theta_{\tilde S_1}=\theta_0+\gamma_1\Delta_{instr}-\gamma_2\Delta^{\text{pref-only}}$。系数在 dev 集网格搜索，最优区间 $\gamma_1\in[0.3,0.8]$、$\gamma_2\in[0.3,0.7]$。
核心创新是『减去指令方向、只反转偏好方向』的外科手术式权重操作，与已有方法的本质区别有三点。与提示词引导相比：偏好被写入权重而非上下文，摆脱了上下文指令的跨语言脆弱性（GPT-5-MINI 在印地语上引导即失效）与措辞、示例顺序敏感性。与朴素任务向量取反相比：直接取反 $\Delta_{\tilde S} = -\Delta_S$ 连格式遵循能力一起翻转，导致输出乱码；本文借用 Gargiulo et al. (2025) 的任务正交基思想，但估计指令方向的方式是新设计——用一对偏好完全相反的微调模型（$S_2$ 与 $\tilde S_2$）的向量平均，使偏好分量相互抵消、指令分量因同向而保留。与一般模型合并研究相比：本文给出了『抽象价值可以表示为与训练模板措辞解耦的模型特定向量』的实证证据，并用余弦相似度（不同立场偏好向量夹角 >80°）解释了为什么反转容易、传递组合困难，把线性任务算术的能力边界讲清楚了。
方法步骤详情
流程四步。第一步数据构建：手工设计 20 类社会场景，用 GPT-4o 对每个价值对 × 立场 × 场景生成 200 条两选项困境，三个价值对共 12,000 条，按 3200/400/400 划分；Gemini 校验器修订 4,055 条；Google Translate 译为印地语、阿拉伯语、西班牙语、中文；6 名同伴另写 60 条人工金标困境，每条 2 人标注。第二步训练与基线：GPT-5-MINI 走 API 零样本；Llama-3.2-1B/3B 挂 LoRA 于各层 $W_q,W_k,W_v$（1B：$r=4,\alpha=8$；3B：$r=16,\alpha=16$），学习率 2e-4、batch 8、5 epoch、seq 512；DPO 同配置且 $\beta=0.1$。第三步执行 Algorithm 1：提取偏好向量、正交化去除指令成分、按网格搜得的 $\gamma_1,\gamma_2$ 合成反转模型。第四步评估：提示只含困境并要求『只答 A 或 B』，立场不入提示；取首个独立 A/B 字符判定，指标为按立场的准确率，另统计选项位置比例追踪位置偏差，选项顺序随机化以防 reward hacking。
技术新颖性
技术新颖性体现在四个层面。数据层面：首个覆盖普适价值对冲突的多语言平行伦理困境基准（12,000 条 × 5 语言）加独立的人工撰写金标集，把『价值冲突』从模糊的提示词产物变成受控的监督信号。方法层面：将 Gargiulo et al. (2025) 的任务正交基思想首次迁移到偏好对齐场景，并提出用相反立场模型对的平均差作为指令方向的免标注估计器，实现『只翻价值、不动指令』的定向编辑。实证层面：证明偏好方向确实可分离、可缩放移植——任务向量模型在 3B 上保留 ≥97% 的全量微调准确率（仅印地语 AB 为 85%），且在人工金标集上复现，说明这不是对合成模板的过拟合技巧。理论层面：用近正交性（余弦夹角 >80°）定量解释传递性组合的失败，支持『有限模块化』而非『完全线性价值几何』的结论；这是一个带信息的负结果，为后续价值表示研究划定了可检验的假设空间，也提示简单线性算术足以做局部反转、不足以做价值关系的链式推理。
实验结果
四组实验。(i) 零样本基线（Table 1）：GPT-5-MINI 无政策时在 BC（正义 vs 自主）上五语言一致偏正义，67.5%–73.5%；CA 上偏诚实，仅 27.2%–30.0% 选自主项；AB 弱偏诚实（56.8%–64.5%）。Llama-3.2-1B/3B 零样本近随机且强位置偏差。(ii) 提示引导（Table 2）：给立场后英语各任务 72.8%–99.2%，可反转默认偏差；但印地语 AB 被要求偏诚实时反而从 64.5% 降到 61.8%。(iii) LoRA SFT/DPO（Fig 2/3/5/6）：合成测试集所有语言×任务 ≥98%；人工金标集 ≥90%（1B 英语 AB 85.8%/72.8% 稍低，3B CA 达 95%–100%），位置偏差消除；DPO 相当、略低。(iv) 任务向量迁移（Fig 4/8）：1B 保留 BC ≥93%、AB/CA ≥80% 的微调性能；3B 两任务 ≥98%，仅印地语 AB 85%；金标集与测试集结果相当，说明泛化。传递性实验：大量网格搜索后仍近随机，不同价值对偏好向量余弦夹角 >80°、近似正交，解释了组合失败。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 伦理困境立场遵循（合成测试集，Llama-3.2-1B/3B，LoRA SFT） | Accuracy | 所有语言 × 任务 ≥98%（多数 0.99–1.00） | 零样本 Llama-3.2 ≈随机且强位置偏差 | 从约 50% 水平提升到 ≥98%，且位置偏差消除 |
| 人工金标集泛化（60 条人写困境） | Accuracy | SFT ≥90%（3B CA 任务 95%–100%），DPO 相当 | 零样本近随机 | 证明学到的立场泛化到人工撰写叙述，非模板过拟合 |
| 任务向量偏好反转（Llama-3.2-3B） | 相对全量 LoRA 微调准确率的保留率（%） | 多数任务 ≥97%，两任务 ≥98%，仅印地语 AB 为 85% | 朴素整向量取反：输出乱码（完全失败） | 从不可用提升到 ≥96% 保留，且无需重训即可切换立场 |
| 任务向量偏好反转（Llama-3.2-1B） | 保留率（%） | BC ≥93%，AB/CA ≥80% | 全量 LoRA 微调 | 小模型上以零训练代价获得大部分对齐性能 |
| GPT-5-MINI 提示引导立场遵循（英语） | Accuracy | 72.8%–99.2%（Stance-1/Stance-2） | 零样本固有偏差（BC 约 69.5%–73.5% 偏向正义） | 可反转默认偏差，但印地语等语言不稳定 |
局限与改进
作者承认的局限：基准只覆盖三个伦理原则的强制二选一，测的是立场遵循而非一般道德推理或解释质量；样本多为 LLM 生成加机器翻译，虽有人工审计和金标集，仍可能含生成器伪迹；金标集仅 60 条，只提供初步的分布外证据；实验仅限 Llama-3.2 1B/3B，是否随规模成立未知；方法并未消除训练需求——依赖已微调的偏好检查点和 dev 集调好的 $\gamma_1,\gamma_2$；传递性失败说明结论只支持局部反转。我的补充观察：其一，指令方向由相反立场模型对的平均差估计，该估计器的消融（换模型对、用通用指令数据替代）只在附录 Fig 8 附带对比，缺乏系统分析；其二，生成用 GPT-4o、校验用 Gemini、翻译用 Google Translate，语言变体是『受控翻译』而非文化本地化，跨文化道德解读等价性存疑；其三，每个语言×任务×模型都要网格搜索两个 $\gamma$，扩展到更多价值对时评估成本线性膨胀；其四，评估只看单 token 的 A/B 输出，无法检验模型是否真正基于价值权衡作答。
独立分析的弱点
独立分析的弱点与改进方向。第一，价值集过小且人为圈定：仅三个原则、三种两两组合，无法代表真实价值空间（如隐私 vs 安全、集体福祉 vs 个人权利）。改进：扩展到 8–10 个原则并系统测试全部序关系。第二，二选一强制格式太粗糙：真实伦理判断需要解释、分级与多利益方权衡，≥98% 的准确率可能部分来自格式捷径。改进：加入开放式生成评估，用 LLM-as-judge 或人工评分检验偏好向量是否同样改变解释风格。第三，指令方向估计依赖恰好存在相反立场的微调模型对，某些价值对难以构造这种对称对，训练成本翻倍。改进：用通用指令语料直接训练指令方向，或对单个 $\Delta$ 做低秩/SVD 分离。第四，>80° 的近正交可能部分是训练噪声与种子方差的产物，而非价值几何的本质。改进：多种子训练多个独立副本，统计夹角分布与功能可逆性的因果关联。第五，$\gamma_1,\gamma_2$ 需逐语言、逐任务在 dev 集上搜索，削弱了『模块化即插即用』的实用性。改进：研究跨任务共享的默认 $\gamma$，或基于向量范数自动定标。
未来方向
作者提出的方向：在更大规模模型上验证同样的可分离性与反转行为是否成立；开展更广泛的人类与文化验证以支撑普适性声明。基于本文成果可延伸的方向：其一，运行时价值多元——把 $\gamma_1, \gamma_2$ 做成用户或法域可调的旋钮，用单一基座权重动态混合多个偏好向量，替代为每种立场维护一个模型副本；其二，跨基座可移植性——检验在不同基座模型上学到的偏好向量是否同构、能否互相移植，回答『价值方向是模型特有还是语义普遍』的理论问题；其三，与表示工程对照——在激活空间寻找对应的价值方向，比较权重向量 steering 与激活 steering 的剂量-反应曲线及副作用；其四，修复传递性失败——尝试非线性组合（先合并再做极少量微调）、或在 AB 与 BC 偏好向量张成的子空间中搜索 CA 方向、或引入针对正交性的对比训练目标；其五，稳健性压力测试——在对抗性提示、模板改写、选项顺序交换下检验反转模型的立场稳定性；其六，把偏好强度连续化，测量 $\gamma_2$ 与偏好强度的剂量-反应关系，构建可定量的『价值旋钮』模型。
复现评估
复现条件中等偏友好。论文声明代码与数据将发布于 GitHub（mbzuai-nlp/geometry-of-values-task-vectors），含合成多语言数据集、人工金标集、划分、逐条元数据（价值对、语言、立场、选项顺序、split）、提示模板、评估与任务向量代码。算力需求低：主角是 Llama-3.2-1B/3B 加 LoRA（$r=4/16$，只挂注意力投影），12,000 条、5 epoch、seq 512，单张 24GB 级 GPU 即可训练；$\gamma$ 网格搜索只需前向推理。主要成本与难点：数据生成依赖 GPT-4o、校验依赖 Gemini、翻译依赖 Google Translate 三个商业 API，完整复现数据管线需 API 费用且生成有随机性；GPT-5-MINI 基线绑定闭源 API，随时间不可复现；论文未报告 GPU 型号与训练时长；金标集仅 60 条，统计功效有限。综合估计：只跑微调与评估约 1–2 天单卡；完整复现含数据生成需数天加几十美元量级 API 费用。
论文图表
展示一个伦理困境示例：青少年发现弟弟妹妹经常谎报作业完成情况，成绩受影响，但对方承认在挣扎并害怕被父母责备。问题要求在『告诉父母并鼓励诚实讨论』与『保守秘密给其自我改进空间』之间二选一，两个选项分别对应诚实与自主/公平两种美德，没有立场就无法判定对错。
这张图直观定义了全文的核心实验对象——伦理困境的形式（情境 T + 问题 + 两个各有价值支撑的选项 R），说明了为什么此类任务可以充当价值偏好的受控探针。
方法伪代码：输入基座模型 $\theta_0$、偏好检查点 $\theta_{S_1}$ 与一对相反立场模型的任务向量 $\Delta_{S_2}, \Delta_{\tilde S_2}$；(1) 计算 $\Delta_{S_1} = \theta_{S_1} - \theta_0$；(2) $\Delta_{instr} = \frac{1}{2}(\Delta_{S_2} + \Delta_{\tilde S_2})$；(3) 投影系数 $\alpha = \frac{\Delta_{S_1} \cdot \Delta_{instr}}{\|\Delta_{instr}\|^2}$，得 $\Delta_{S_1}^{\text{pref-only}} = \Delta_{S_1} - \alpha\Delta_{instr}$；(4) 输出 $\theta_{\tilde S_1} = \theta_0 + \gamma_1\Delta_{instr} - \gamma_2\Delta_{S_1}^{\text{pref-only}}$。
这是全文方法的核心配方，四步操作完整定义了如何在不重训的情况下从已有检查点合成出相反价值立场的模型，理解本文必读。