实现无风险开放权重模型：在LLM中分离公私能力 Toward Open Weight Models Without Risks: Separating Public and Private Capabilities in LLMs
通过权重密钥排列实现单模型多能力分级，兼顾开放权重与访问控制
前置知识
开放权重模型
指模型权重完全公开发布的语言模型，任何人都可以下载、修改和部署。这种模式促进了学术研究和技术进步，但也带来了难以控制敏感能力访问的风险。传统的做法要么在发布前压制危险能力，要么通过封闭服务提供受限访问，这两种方式各有缺陷。
理解这个概念是理解TLM研究动机的基础，论文的目标就是在开放权重发布的同时实现选择性能力控制。
权重排列
指按照特定顺序重新排列模型权重张量中的元素。在TLM中，密钥定义了一个排列规则，将某些参数从原始位置移动到新位置，从而改变计算图但不改变参数值本身。排列是双射变换，每个元素都有唯一的源位置和目标位置。
这是TLM的核心技术手段，理解排列如何改变计算流向对理解TLM的工作原理至关重要。
KL正则化
Kullback-Leibler散度正则化，用于约束两个概率分布之间的差异。在TLM的私有微调阶段，添加KL散度项惩罚公共配置行为与预训练行为之间的偏离，公式为 {KL}( heta_S) = \mathbb{E}_{x \sim D_{pub}}[KL(p_{M^{C_{pub}}(?ar{ heta}_{pre})}(\cdot|x) \parallel p_{M^{C_{pub}}( heta)}(\cdot|x))]$。
这是确保私有微调不影响公共模型行为的关键机制，理解它对于掌握TLM的训练协议很重要。
非对称梯度流
指在联合预训练阶段，不同参数子集接收不同来源的梯度更新。层级参数 $\mathcal{S}$ 只从keyed配置接收梯度，而互补参数 $?ar{\mathcal{S}}$ 从两个配置接收混合梯度。这种设计迫使公共配置学习减少对层级参数的依赖，从而增强鲁棒性。
这是TLM预训练阶段的核心设计思想，理解它有助于理解为什么TLM能够在后续微调中保持公共行为不变。
研究动机
当前开放权重LLM面临一个根本性的访问控制难题：开发者希望让一些能力广泛可用，同时将敏感能力限制给授权用户。现有解决方案存在严重缺陷。一种做法是在发布前压制危险能力，但这会为少数用户的风险而牺牲所有用户的能力，而且仍然容易受到越狱攻击。另一种做法是通过封闭API提供特权访问，但这与开放权重发布根本不兼容。此外，部署多个模型变体增加了服务开销，例如需要在隐私敏感环境中自托管的实体无法使用开放模型，或者需要维护多个模型副本。
本文的目标是本文的目标是开发一种单一模型，原生支持多个访问层级，使得同一个发布的工件能够同时服务公共和授权用例。具体而言，目标是让一个模型在不持有密钥时表现为普通LLM，而授权用户通过应用一个紧凑的结构密钥，能够解锁额外的知识和能力，同时保持对常见对抗性攻击的鲁棒性。
与已有工作不同的是，本文的独特切入角度是将授权编码在模型的参数配置中，而不是在输入空间中。以往的密码锁定方法将密钥作为输入token序列，虽然界面简单但本质上脆弱，因为密钥只是普通输入token，通常仍然可以通过充分的信息演示、微调或强化学习来引出特权行为。相比之下，TLM将密钥表示为如何重新配置模型权重的紧凑规范，这种表述在输入空间中对常见对抗性攻击更不敏感。与模块化方法相比，TLM不需要分发额外的学习参数，避免了LoRA适配器在100B+规模下达到数GB的问题，使得私有访问可以用可忽略的带宽开销分发。
核心方法
TLM的核心思想是：一个密钥定义了对选定参数子集的排列，在相同的发布权重上产生替代的计算图。没有密钥时，模型以默认的公共配置运行，表现得像一个普通的LLM。拥有密钥时，授权用户实例化排列后的配置，暴露额外的知识或能力。这个想法不能直接应用于已训练模型，因为排列参数位置会破坏学习的计算，因此所有配置必须在训练期间考虑。训练分为两个阶段：首先联合预训练模型，使所有配置在公共数据上都有能力，同时结构化梯度流使公共配置学会减少对密钥稍后重新排列参数的依赖；其次，通过每个keyed配置在各自的私有数据集上私有微调可重新排列参数，同时正则化公共配置以保持其预训练行为。
TLM的核心创新点在于将授权从输入空间转移到参数结构空间。密钥不再是提示中的字符串，而是紧凑的排列规范，重新配置模型的一小部分参数。这种表述有几个吸引人的特性：首先，因为密钥作用于模型的参数而不是出现在输入空间中，所以对常见的对抗性攻击（如越狱、提示注入）更不敏感；其次，密钥本身是排列规范而不是学习权重，使其比参数高效的适配器小几个数量级；第三，该机制不引入适配器权重或外部内存，实现完全开放权重发布。与以往工作的本质区别在于，密码锁定将凭证放在输入空间而易于通过微调提取，模块化方法需要分发额外的学习参数，而TLM在单一发布检查点内编码授权。
方法步骤详情
TLM的训练协议分为两个阶段。第一阶段是非对称联合预训练，在公共预训练语料库 {pub}$ 上联合训练两个配置，具有非对称梯度流：层级参数 $\mathcal{S}$ 只从keyed配置接收梯度 $ abla_{ heta_\mathcal{S}}\mathcal{L}_{pre} = \mathbb{E}_{(x,y) \sim D_{pub}}[ abla_{ heta_\mathcal{S}} \ell(p_{M^{C_K}( heta)}(\cdot|x), y)]$，而互补参数 $?ar{\mathcal{S}}$ 从两个配置接收混合梯度 $ abla_{ heta_{?ar{\mathcal{S}}}}\mathcal{L}_{pre} = \mathbb{E}_{(x,y) \sim D_{pub}}[\lambda_1 abla_{ heta_{?ar{\mathcal{S}}}} \ell(p_{M^{C_{pub}}( heta)}(\cdot|x), y) + \lambda_2 abla_{ heta_{?ar{\mathcal{S}}}} \ell(p_{M^{C_K}( heta)}(\cdot|x), y)]$，其中 $\lambda_1 = \lambda_2 = 0.5$。这使得公共配置学会减少对层级参数的依赖，从而增强对后续私有微调的鲁棒性。第二阶段是私有微调与正则化，将互补参数 $?ar{\mathcal{S}}$ 冻结在预训练值，只更新层级参数 $\mathcal{S}$，并通过keyed配置计算梯度：$\mathcal{L}_{priv}( heta_\mathcal{S}) = \mathbb{E}_{(x,y) \sim D_{priv}}[\ell(p_{M^{C_K}( heta)}(\cdot|x), y)]$。为了缓解更新 $\mathcal{S}$ 对公共模型的影响，添加KL正则化惩罚与预训练公共行为的偏离：{KL}( heta_\mathcal{S}) = \mathbb{E}_{x \sim D_{pub}}[KL(p_{M^{C_{pub}}(?ar{ heta}_{pre})}(\cdot|x) \parallel p_{M^{C_{pub}}( heta)}(\cdot|x))]$。完整的微调目标为 $\mathcal{L}_{ft}( heta_\mathcal{S}) = \mathcal{L}_{priv}( heta_\mathcal{S}) + ?eta R_{KL}( heta_\mathcal{S})$。
技术新颖性
TLM的技术新颖性体现在多个方面。首先，它是第一个通过权重排列实现多能力分级的LLM框架，将访问控制嵌入到模型结构中而不是输入空间或外部模块。其次，它提出了非对称梯度流机制，通过在预训练阶段强制公共配置减少对可重新排列参数的依赖，实现了行为分离。第三，它证明了排列密钥比适配器权重小几个数量级，在180M规模下560倍小，在100B+规模下超过7,000倍小，这是一个根本性的区别，因为指定要重新排列哪些位置与存储这些位置应该取什么值是本质上不同的。第四，它展示了框架可以自然扩展到多层分级，每个层继承所有较低层的能力，这是通过累积应用排列实现的。最后，它通过广泛的对抗性分析表明，即使拥有完整模型权重和部分密钥，攻击者也无法提取私有能力，这比密码锁定方法更鲁棒。
实验结果
论文在三个任务上验证了TLM的能力分离效果。首先，在新语言建模任务中，TLM-650M在4B西班牙语token上微调，keyed配置的西班牙语验证损失稳步下降，而英语损失保持稳定，公共配置在西班牙语上没有改善且英语性能保持不变，确认私有能力不泄漏且通用性能得以保留。其次，在指令遵循任务中，TLM-650M在Alpaca数据集上微调，keyed配置在AlpacaEval上的胜率从约50%在500步内上升到85%以上，在Easy、Medium和Hard类别中表现相当，而公共配置下降到约15%，符合非指令调整基线模型的预期。第三，在事实记忆任务中，TLM-180M在400个合成传记数据集上微调约25轮，keyed配置在贪婪解码下达到所有400个事实的完美回忆，而公共配置在整个训练过程中保持为零，证明层级参数可以存储精确的事实知识而不泄漏到公共模型。计算成本方面，tiered预训练的额外开销可以通过稀疏keyed更新最小化，当keyed更新频率 =20$ 时，额外预训练FLOPs约为5%，而公共配置不受影响。性能方面，TLM-180M与非tiered基线相比，公共域验证损失需要约6%更多训练步数才能达到相同损失水平，但tiered预训练不限制模型获取私有能力。对抗性鲁棒性方面，即使在公开配置上对50%合成传记进行100轮全参数微调，攻击者在held-out测试集上的准确率保持为零，与从未遇到这些事实的基线相同。部分密钥访问实验显示，知道85%的密钥几乎与知道5%一样无用，准确率在超过90%之前保持接近零，表明密钥更像加密密钥而不是软访问控制。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 西班牙语建模 | 验证损失 | keyed配置稳步下降，公共配置无改善 | 非tiered基线收敛速度相似 | tiered预训练约6%额外步数，但私有微调后损失可比 |
| 指令遵循 | AlpacaEval胜率 | keyed配置>85% (500步) | 公共配置~15% | 约70个百分点提升 |
| 事实记忆 | 精确匹配准确率 | keyed配置100% | 公共配置0% | 完全分离，无泄漏 |
| 对抗性攻击 | held-out准确率 | 部分密钥90%时仍接近0 | 密码锁定少量数据即可绕过 | 显著更鲁棒 |
局限与改进
论文的局限性主要体现在几个方面。首先，实验规模有限，只测试了180M和650M参数模型，这足以验证排列keyed配置是否可以训练，但不能建立相同设计在前沿规模LLM中是否表现相同。较大的模型可能表现出公共和keyed配置之间不同的干扰模式，或者在白盒分析下暴露新的泄漏形式。其次，鲁棒性实验只考虑了三种攻击，即在部分私有数据上微调公共配置、应用不完整密钥、从权重统计中识别层级参数，这些实验作为压力测试但不覆盖完整的自适应白盒攻击空间。具有大量计算资源的攻击者可以尝试结构化排列搜索、激活级分析或结合权重分析与任务知识的攻击。第三，私有微调可能在层级参数中留下统计痕迹，幅度分析显示私有微调后keyed单元与非keyed单元部分可区分，简单基于阈值的检测器可以以约54.2%的F1识别层级参数，虽然这是更容易的部分，但指纹的存在仍然重要，更强的攻击可以使用此信号减少搜索空间。此外，论文没有提供安全性的加密证明，部分密钥实验显示恢复在我们的设置中不是渐进的，但不应被解释为形式保证。最后，论文评估固定的密钥大小和特定的可交换注意力头和MLP单元选择，未来工作需要研究相同的分离、容量和效率权衡是否在更大架构、不同密钥大小和更长上下文中成立。
独立分析的弱点
TLM的独立分析弱点包括几个方面。首先，指纹问题：私有微调后层级参数的幅度分布产生可检测特征，这虽然不完全揭示排列本身，但可以减少攻击者的搜索空间。改进方向包括更好的正则化技术、替代密钥设计或对抗训练的混淆。其次，密钥管理挑战：虽然密钥本身很小，但在实际部署中需要安全分发和撤销机制，特别是在多层分级场景中。改进方向包括开发密钥轮换协议、撤销机制和分层密钥管理系统。第三，潜在的信息泄漏途径：论文没有考虑所有可能的攻击向量，例如梯度分析、中间激活分析或时间侧信道。改进方向包括更全面的白盒攻击分析和针对特定泄漏模式的防御。第四，可扩展性未验证：在100B+规模模型中，相同的设计是否仍然有效需要验证，因为更大的模型可能有更复杂的表示和不同的参数交互模式。改进方向包括在大规模模型上进行系统实验，研究参数规模对分离质量的影响。最后，应用场景有限：论文只测试了三种代理任务（新语言、指令遵循、合成事实），而真正敏感能力（如先进病毒学研究）可能需要不同类型的表示和学习机制。改进方向包括在更接近实际的受限能力上测试框架，并研究不同类型的能力是否需要不同的tier参数设计。
未来方向
未来研究方向包括作者提出的和基于成果可延伸的多个方向。作者提出的方向包括：在更大规模模型上验证相同设计的行为，研究不同架构、不同密钥大小和更长上下文中的权衡；更强的自适应攻击，包括结构化排列搜索、激活级分析或结合权重分析与任务知识的攻击；通过更好的正则化、替代密钥设计或对抗训练的混淆来减少私有微调留下的指纹；在更现实的受限能力上评估，而不仅仅是代理任务。基于成果可延伸的方向包括：开发密钥管理系统，包括分发、轮换和撤销机制；探索其他排列或重组机制，如基于块的排列或层级化重组；研究多tier设置下的更复杂授权模型，如跨层能力继承和撤销；将TLM与其他访问控制方法结合，如输入空间过滤和输出监控，以提供多层防御；研究TLM在不同模态中的应用，如图像生成或多模态模型；开发工具和库以简化TLM的训练和部署；探索TLM在联邦学习或分布式训练设置中的应用，其中私有能力在不同阶段添加；研究TLM对模型压缩和量化技术的鲁棒性，因为实际部署可能涉及这些优化。
复现评估
论文的复现评估需要考虑多个因素。论文提到预训练和发布180M和650M参数的TLM，但没有明确说明代码和检查点的可用性。实验使用公开数据集，包括FineWeb（英语预训练）、FineWeb2（西班牙语）、Alpaca（指令遵循）和合成传记（事实记忆），这些数据集可以访问，降低了数据方面的复现障碍。计算资源方面，预训练180M模型在18B token上，650M模型可能使用更多token，tiered预训练的额外FLOPs开销约为5%，这意味着需要相当大的计算资源来完全复现预训练阶段。微调阶段相对便宜，例如西班牙语微调使用4B token，Alpaca微调500步左右，合成传记微调约25轮。论文提供了详细的超参数和训练轨迹在附录中，这有助于复现。然而，缺少代码和预训练检查点会增加复现难度，因为实现非对称梯度流、排列密钥和KL正则化需要仔细处理。总体而言，复现难度中等到偏高，主要是因为预训练的计算需求和缺少开源代码。建议作者发布代码和至少180M模型的预训练检查点以促进复现和后续研究。
论文图表
