锚定解码：可证明降低任何语言模型版权风险的推理时方法

通过融合安全模型分布，在保证生成质量的同时可证明地降低语言模型的版权侵权风险

前置知识

Kullback-Leibler (KL) 散度

KL散度是衡量两个概率分布之间差异的信息论指标，定义为两个分布的对数似然比的期望值。在本文中，它用于度量生成分布与安全参考分布之间的偏离程度，将序列级的全局约束分解为每个解码步骤的局部约束，从而实现对版权风险的可控调节。KL散度具有非负性和链式法则等重要性质，这些性质是本文理论证明的基础。通过在每个解码步骤限制融合分布与安全模型的KL散度不超过局部预算，并利用链式法则保证全局约束满足，作者构建了一个完整的安全保证框架。

本文的核心理论框架 K-NAF (K-Near Access Freeness) 基于 KL 散度构建序列级安全保证，整个 Anchored Decoding 方法的设计目标是找到满足 KL 散度约束的最优融合分布。理解 KL 散度对于掌握方法的理论基础、优化问题的数学推导以及安全保证的证明过程都至关重要，否则无法理解方法为什么能够提供可证明的版权风险控制。

K-NAF (K-Near Access Freeness)

K-NAF 是一个形式化的版权安全条件，要求生成模型在整个序列分布上与安全参考模型的 KL 散度不超过全局预算 K。这个条件确保了生成结果始终在可控范围内接近一个版权安全的参考分布，提供了一个数学上可证明的版权风险边界。具体来说，对于任何输入序列和任何生成长度，生成模型的条件分布与安全模型的条件分布之间的 KL 散度必须小于等于 K。这个条件不仅在理论上严谨，而且可以通过分解为局部约束在实际解码中实现。

K-NAF 是本文方法的理论基础，整个 Anchored Decoding 的设计目标就是在保持生成质量的同时满足 K-NAF 条件。理解这个概念才能明白方法的理论保证从何而来，以及为什么局部约束的组合能够实现全局安全。如果不理解 K-NAF，就无法把握方法的核心创新点和与其他工作的本质区别。

拉格朗日对偶与约束优化

约束优化问题通过引入拉格朗日乘子转化为无约束的对偶问题，这是求解复杂优化问题的标准方法。本文在每个解码步骤求解最优融合分布时，将 KL 约束作为目标函数的一部分，通过对偶变量的调整找到满足约束的几何均值分布。具体来说，作者构建了一个拉格朗日函数，包含最小化与风险模型 KL 散度的目标、与安全模型 KL 散度不超过预算的约束以及概率分布的归一化约束。通过对偶变量求解，得到了闭式解形式，即两个模型分布的加权几何均值。

理解约束优化原理有助于掌握算法求解最优混合分布的数学推导过程，以及如何通过调整对偶变量来平衡生成质量与安全性。这个知识对于理解方法的闭式解推导、Newton-Raphson 求解器的实现以及整个算法的计算复杂性都至关重要。

研究动机

现代语言模型的卓越能力与其预训练数据的规模和多样性密切相关，这些语料库通常是从开放网络抓取的，可能包含敏感或受版权保护的文档。语言模型能够记住预训练期间看到的片段，并在推理时逐字输出。当底层来源敏感或受版权保护时，这种复现引发了创作者的同意和补偿问题，以及开发者的合规风险。重新训练前沿模型来过滤敏感数据极其昂贵，而完全排除高质量版权材料会显著损害最终性能。例如，在实验中使用《指环王》等受版权保护小说的开头，强大的模型会逐字输出原文，而只使用公共领域数据的模型则避免复现但生成质量明显下降。这种矛盾使得开发者面临艰难的选择：要么承担版权风险使用高质量模型，要么牺牲性能使用安全模型。

本文的目标是本文的目标是提出一种实用的推理时方法，通过在安全模型的许可性训练分布范围内进行解码来抑制逐字复制。具体来说，该方法应该能够在生成过程中动态调整对安全模型和高效用但高风险模型的依赖程度，提供用户可控制的风险-效用权衡，并给出序列级的数学安全保证。同时，该方法需要是即插即用的，能够应用于任何现有的语言模型，不需要重新训练或访问原始预训练数据。作者还希望方法能够解决跨词表兼容性问题，使得不同 tokenizer 的模型对都能使用该方法，从而大大扩大方法的适用范围。

与已有工作不同的是，与现有的两模型版权缓解方法相比，本文的独特切入角度是不要求手动策划的种子词列表（如 TOKENSWAP 需要预先定义哪些词需要交换），也不假设严格的模型对构造条件（如 CP-FUSE 要求训练数据完全分离，没有数据点同时出现在两个模型的训练集中）。相反，本文仅要求访问一个在公共领域和开放许可文本上训练的安全锚定模型，通过在每个解码步骤计算融合分布来平衡生成质量和安全性，提供了更强的实用性和更广泛的适用性。此外，本文还引入了字节级变体以支持跨词汇表融合，解决了现有方法对共享词表的严格限制，这是作者对现有技术路线的重要改进。

核心方法

Anchored Decoding 的整体思路是将生成过程约束在安全模型的分布附近，同时尽可能利用高风险但高效用模型的能力。直觉上，当两个模型对下一个token的预测高度一致时，生成处于低风险区域，可以大胆使用风险模型的预测；当它们出现显著分歧时，可能表明进入版权敏感区域，需要更多依赖安全模型。方法在每个解码步骤求解一个融合分布，使其在满足局部KL预算的前提下尽可能接近高风险模型，并将这些局部约束组合成序列级的安全保证。用户可以通过调整全局预算来控制风险-效用权衡，预算越小越安全但质量越低，预算越大质量越好但风险越高，这种可调性使得方法能够适应不同的应用场景和风险容忍度。

核心创新点是提出了一种基于KL散度约束的分布融合框架，通过在每个解码步骤求解最优混合分布来同时实现两个目标：最小化与高风险模型的KL散度以保持生成质量，同时确保与安全模型的KL散度不超过局部预算。这个最优分布具有闭式解，即两个模型分布的加权几何均值。此外，方法还引入了两个关键改进：基于前缀对数似然比的前缀债务机制和自适应预算分配规则。前缀债务机制通过分析输入前缀中风险模型相对于安全模型的极大正对数似然比来估计初始风险，对高风险输入提前消耗更多预算；自适应预算分配规则将低风险步骤节省的预算累积到高风险步骤使用，提高了预算利用效率。

方法步骤详情

方法的具体步骤包括：首先计算前缀债务，通过分析输入前缀中高风险模型相对于安全模型的极大正对数似然比来估计初始风险，具体做法是计算每个位置的对数似然比，取正值的最大n个求平均；然后初始化每步预算和累计支出，将前缀债务作为初始支出；在每个解码步骤，计算两个模型的下一个token分布，通过求解约束优化问题得到融合分布；接着从融合分布中采样下一个token，并计算实际KL支出更新累计支出；使用自适应预算规则动态调整下一步的可用预算，该规则基于预期支出和已实现支出的差值；重复上述过程直到生成结束或达到最大长度。对于字节级变体，方法在字节空间上操作相同流程，通过 ByteSampler 框架将 token 分布边缘化为字节分布，从而支持跨词表的模型对。

技术新颖性

技术新颖性体现在多个方面：首先，提出了基于KL散度约束的序列级安全保证理论，通过链式法则将全局约束分解为局部约束，并证明了局部最优解满足全局K-NAF条件，这是理论上的重要贡献；其次，引入了前缀债务机制，通过分析前缀中风险模型的异常高置信度预测来提前识别版权敏感输入，动态调整初始预算，这是方法在实践效果上的关键改进；第三，设计了自适应预算分配策略，将低风险步骤节省的预算累积到高风险步骤使用，提高了预算利用效率，这是对朴素固定预算策略的重要优化；最后，提出了字节级变体 ANCHOREDByte DECODING，通过在UTF-8字节空间上操作实现了跨词表兼容性，打破了现有方法对共享词汇表的限制，大大扩大了方法的适用范围。

**Figure 1**: (a) ANCHORED DECODING生成示例。给定《指环王 fellowship》的开头行，风险模型输出其逐字续写，而安全模型产生流畅性较低、重复性较高的替代方案。ANCHORED DECODING在预算K内生成接近安全模型的边界，同时利用风险模型的效用，产生合理的、非侵权的续写。(b) 使用安全-风险模型对时，ANCHORED DECODING（紫色）实现了最佳的风险-效用权衡。

**Figure 3**: ANCHORED DECODING消融实验的风险-效用权衡。我们沿三个轴进行消融：优化目标、前缀债务、预算策略。为简洁起见，我们的方法标记为ANC. DEC。

**Figure 4**: 顶部：从pr采样时，以不同域的条件为条件的每步KL散度直方图。Copyright域比Creative和Factual域更右偏。底部：每步KL散度的无条件CCDF，显示x大于等于q90。q90是从跨域合并的每步KL值计算的。Copyright域比其他域有更重的极端尾部。

**Figure 5**: 在字节级和token级解码下，高复制区域都是前置的。我们绘制了COPYRIGHT生成中复制度量（LCS和ACS）开始位置的直方图。复制倾向于聚集在早期位置。

**Figure 6**: 左侧：token和字节级别的每步前缀对数似然比的核密度估计。正对数似然比意味着pr比ps对实现的下一步分配更高概率；大的正对数似然比事件最常出现在Copyright中。右侧：前缀债务的核密度估计，即top-5正前缀对数似然比的平均值。Copyright前缀相对于Creative和Factual前缀明显右偏。

实验结果

在六个模型对上的长篇生成评估中，ANCHORED 和 ANCHOREDByte DECODING 始终达到帕累托最优，在保持接近原始流畅性和事实性的同时，关闭了风险基线与安全参考之间最多 75% 的可测量复制差距。具体实验结果包括：在 TinyComma 1.8B 与 Llama 3.1 70B 模型对上，ANCHORED DECODING 在达到归一化复制减少至少 75% 的高保护阈值时实现了 0.53 的事实性分数和 4.02 的流畅性分数，显著超过最佳两模型基线 TOKENSWAP 的 0.44 和 3.77 分数以及单模型基线 RCAD 的 0.37 和 3.38 分数。在 Comma 7B 与 Llama 3.1 70B 模型对上，字节级方法实现了 0.52 的事实性和 4.23 的流畅性分数，超过 CP-FUSE 的 0.23 和 3.75 分数。效率方面，ANCHORED DECODING 仅增加了约 1.1 倍的推理延迟，算力开销仅增加约 2.6%，远低于 RCAD 的 2.0 倍延迟。消融实验显示，前缀债务机制、自适应预算策略和 KL 优化目标都显著优于朴素替代方案。

**Table 1**: 高保护工作点（归一化复制减少至少75%）。我们报告了在实现归一化复制减少至少75%的设置中达到的最佳效用（事实性除以流畅性）。我们显示了三个种子的平均值和标准偏差。如果方法未达到阈值，则条目为“—”。标记为token级解码；所有其他模型对使用字节级解码。

**Table 2**: Token级wall-clock基准测试。我们报告了首token时间、相对于pr的吞吐量减速比和FLOPs除以token估计。

**Figure 2**: ANCHOREDByte DECODING（紫色）在字节级别上跨五个模型对实现了最佳的风险-效用权衡。我们报告了三个种子的平均值；误差条显示标准偏差。阴影阈值表示高保护工作点，其中归一化版权减少至少75%。归一化版权减少和流畅性在BOOKS上评估，事实性在BIOS上评估。

查看结构化数据

任务	指标	本文	基线	提升
版权保护（BOOKS数据集）	归一化复制减少（NCR）和流畅性（Prometheus-v2）	ANCHORED: NCR≥75%时流畅性4.02，ANCHOREDByte: NCR≥75%时流畅性4.23	TOKENSWAP: NCR≥75%时流畅性3.77，CP-FUSE: NCR≥75%时流畅性3.75	流畅性相对提升约6-13%
事实性生成（BIOS数据集）	归一化复制减少（NCR）和事实性（FActScore）	ANCHORED: NCR≥75%时事实性0.53，ANCHOREDByte: NCR≥75%时事实性0.52	TOKENSWAP: NCR≥75%时事实性0.44，RCAD: NCR≥75%时事实性0.37	事实性相对提升约20-43%
推理效率	延迟倍数（相对于风险模型）	1.1倍	RCAD: 2.0倍	延迟降低约45%

局限与改进

本文承认的局限性包括：方法不能完全消除生成受保护片段的可能性，它本质上是一种采样策略而非离散过滤或阻塞机制，继承了安全模型的基线风险轮廓；虽然通过局部优化保证了计算可行性，但这种顺序近似可能无法代表序列级约束目标的全局最优，这是为了实现高效自回归解码而做的必要妥协；将不对称记忆作为版权风险的代理指标可能不够精确，当风险模型包含安全模型缺乏的有用长尾知识时，可能会无意中抑制罕见的非版权事实信息，这种现象在模型对能力差距较大时更为明显；方法依赖于对已知数据来源的模型对的先验识别，安全模型必须经过验证确认为仅在版权免费或开放许可数据上训练，这需要额外的数据溯源工作；此外，方法主要解决参数化记忆产生的版权风险，对于在提示词中明确提供的版权文本等其他注入形式未作考虑。

独立分析的弱点

从独立分析来看，方法的一个潜在弱点是对模型对选择的敏感性。当安全模型的能力与风险模型差距较大时，即使两个模型都未见过某段文本，它们的分布差异也可能较大，导致方法过度抑制合法的生成内容。另一个潜在限制是前缀债务机制的计算开销，需要在生成开始时对整个前缀进行两次前向传播，可能增加首次token生成延迟，特别是在处理非常长的输入提示时更为明显。此外，字节级解码虽然解决了跨词表问题，但由于一个token约对应4个字节，相同语义长度需要更多解码步骤，可能增加推理时间。针对这些弱点，可以考虑改进前缀债务的计算方式，如增量式更新或缓存机制以减少重复计算；开发更智能的预算分配策略，根据生成内容的类型（创意、事实、版权敏感）动态调整预算分配；探索混合解码方案，在低风险步骤使用token级解码提高效率，在高风险步骤切换到字节级解码提高精度。

未来方向

作者提出的未来工作方向包括：将ANCHORED DECODING扩展到文本生成之外的生成AI技术，如以CommonCanvas套件中的扩散模型作为安全模型来处理图像或视频生成中的版权挑战；将方法应用于其他领域，如策略合规、代码安全或隐私编辑，以有针对性的方式抑制敏感信息泄露同时保持一般能力。基于成果可延伸的方向包括：探索与训练阶段干预、训练后学习和生成后处理方法的集成，形成多层次的版权保护框架；研究将方法应用于多语言场景，评估在不同语言和文化背景下的有效性；开发自动化的模型对选择和验证工具，降低方法部署的门槛；研究将K-NAF框架与其他形式化安全保证结合，如差分隐私或对抗鲁棒性；探索更精细的风险评估指标，能够区分不同类型的版权风险（如近似复制、非字面侵权等）并相应调整预算分配策略。

复现评估

作者开源了代码库和TinyComma 1.8B模型，支持复现和后续开发。实验使用了标准的评估数据集（BOOKS和BIOS）和公开可用的基线模型（Llama 3.1 70B、Qwen 2.5 72B、Llama 4 Scout 17Bx16E、Comma 7B），所有超参数设置都在论文中详细说明，包括预算扫描范围、最大生成长度、债务窗口大小等。硬件配置为单节点8块140GB H200 GPU，TinyComma 1.8B预训练使用lingua框架在169.5B tokens的Common Pile数据上完成，训练分为两个阶段：156B tokens的通用训练和13.5B tokens的冷却训练。方法复现难度适中，主要挑战在于需要同时加载和运行两个模型，以及对KL约束优化求解器的数值稳定性处理。作者还提供了详细的算法伪代码和实现细节，如前缀债务的计算技巧、Newton-Raphson求解器的配置等，这些都有助于准确复现实验结果。