HPSE：混合策略自编辑实现可组合的非结构化知识编辑 Hybrid-Policy Self-Editing for Composable Unstructured Knowledge Editing
让特权状态按需介入自蒸馏，使编辑后的LLM能拆分新知识并组合多跳推理
前置知识
知识编辑（KE）
在不重训大模型的前提下，通过参数更新或外挂模块修改模型中的特定事实，同时保持无关知识与通用能力不变（即 locality 要求）。经典设定是结构化三元组（主语,关系,宾语），代表方法包括定位后编辑（MEMIT、AlphaEdit）、低秩适配（LoRA）与微调知识存储层（FT-M）。
本文提出的 HPSE 是知识编辑器的即插即用训练信号，理解 KE 的定位-更新框架与 locality 评价方式，才能明白它只改数据不改参数化的定位。
非结构化知识编辑（UKE）与可组合性
UKE 把编辑对象从三元组换成一段自由文本，其中可能同时纠缠多个事实。论文提出可组合性（composability）包含两翼：分解指对段落中任一原子事实的针对性提问应直接作答而非复述整段；组合指能把多个新事实串联起来完成多跳推理。
这是全文的问题定义与评测主轴，UnKEBench 分解探针与 MQuAKE 组合探针都围绕它设计，看懂它才能读懂所有实验。
在策自蒸馏（OPSD）与前向 KL 散度
OPSD 让学生模型自采样响应轨迹，由教师在每个 token 前缀处纠正，损失为 $D_{KL}[\pi^\star(\cdot|x,y_{<t})\|\pi_\theta(\cdot|x,y_{<t})]$ 之和，以 mass-covering 方式匹配教师分布。当没有更强教师时，可用读入上下文的同一模型充当特权教师。
HPSE 的混合轨迹与损失函数都建立在 OPSD 之上，其『覆盖失败』分析正是对纯 OPSD 在知识注入场景失效的解释。
特权信息与特权状态
训练时可用而部署推理时不可用的信息称特权信息。本文中它指基座模型把新段落放进上下文后的状态 $\pi^\star(\cdot|x)\triangleq\pi_0(\cdot|c,x)$：它『开卷』时知道答案，编辑的目标是让学生『闭卷』也达到同样表现。
HPSE 的教师信号、双门控介入与 Ω(ℓ) 对 O(1) 的理论分析全部围绕特权状态展开，是理解方法创新的核心概念。
LoRA 与 FT-M
LoRA 在权重上学习低秩增量 $W+\Delta W=W+BA$，是本文被即插即用的编辑器之一；FT-M 先用因果追踪定位存储该知识的 MLP 层，再仅微调该层。两者都是梯度式编辑，只改一小部分参数以保护 locality。
实验把 HPSE 分别接入这两个编辑器验证即插即用性，表 1 与表 2 的所有数字都以它们为载体。
研究动机
LLM 的训练语料是静态的，而现实世界信息持续变化，知识编辑（KE）因此希望在不重训模型的情况下精准更新特定知识。近年研究从结构化三元组转向非结构化知识编辑（UKE）：编辑内容是一段自由文本，可能同时陈述多个事实，例如一条收购公告会同时涉及新母公司、新 CEO 与新汇报结构。作者指出，现有编辑器只是把段落『注入』了模型却没有让模型真正『使用』它，产生两类失败：一是失去分解能力，模型只会整段背诵——面对『Elvin Penner 为哪些歌手写过热门歌曲』这类原子问题，COIN⋆ 只能复述整段原文；二是失去组合能力，无法把多个新事实串成多跳推理——AnyEdit 面对 Louis XV 宗教的两跳问题时退回天主教的旧先验。在 Qwen2.5-7B 上对 7 个代表性方法的基准测试（图 1）显示：分解召回 Dmp. 最高仅 53（COIN⋆，且多样性 Div. 只有 56.5，靠复读原文得分），组合准确率 Cmp. 最强基线仅 32，可组合性是普遍未解决的开放难题。
本文的目标是本文的目标是让被编辑的模型像掌握预训练知识一样使用编辑内容：既能把段落拆解成原子事实分别作答，也能把多个新事实组合起来完成多跳推理。作者把这一统一要求称为可组合性，并提出更贴近实际的非目标化（untargeted）编辑范式：用户只提供一段自由文本加一句『介绍一下 X』式的泛化指令，不指明其中哪些事实被更新。在此设定下，方法不能依赖人工标注的原子事实或大规模数据增强，必须在无外部监督、无外部大模型的条件下，仅凭待编辑模型自身完成知识注入；同时不破坏模型原有的其他能力（locality，用 MMLU 检验），并作为即插即用模块适配不同的梯度类编辑器。
与已有工作不同的是，现有编辑器的共同病根是对固定编辑文本的被动学习：训练目标 $-\log \pi_\theta(c|x)$ 只在段落自身前缀下监督新事实，数据增强只是扩大了上下文集合，模型仍是被动拟合固定目标，知识容易与编辑时的上下文绑定。本文的独特切入是把编辑重塑为主动式自蒸馏：利用同一模型的特权状态 $\pi^\star(\cdot|x)\triangleq\pi_0(\cdot|c,x)$（把新段落放进上下文的基座模型）作为教师，让学生在自采样轨迹上被逐 token 纠正。作者进一步发现纯在策自蒸馏（OPSD）会遭遇覆盖失败——新知识不在模型先验里，自采样轨迹常常跑题，教师给不出纠正信号。HPSE 的答案是让特权模型在 token 级按需介入，把缺失事实精准放到学生自己的轨迹上，并给出信号量 Ω(ℓ) 对 O(1) 的理论分析，属于数据层面而非参数层面的创新。
核心方法
直觉上，『同一基座模型读完新段落后的上下文状态』已经知道答案，理想目标是让编辑后的模型在无上下文时也复现这种行为，即在策自蒸馏。但新知识超出模型先验，学生自采样常常跑题、覆盖不了事实，KL 监督落空——图 3 显示纯 OPSD 使 LoRA 的 Jnt. 从 63.2 降到 58.5、Ind. 从 73.3 降到 65.4，MQuAKE 平均从 52.6 跌到 49.4。HPSE 的技术路线是构造混合轨迹：自回归生成时按 token 在两个策略间切换，当『特权-学生差距超过 $\tau$ 且特权预测置信度超过 $\kappa$』时取特权 token，否则取学生 token（式 2-3）。训练目标 $J_{HPSE}(\theta)=J_{hybrid}(\theta)+\lambda J_{NLL}(\theta)$：对混合轨迹每个前缀最小化前向 KL 散度 $D_{KL}[\pi^\star(\cdot|x,y_{<t})\|\pi_\theta(\cdot|x,y_{<t})]$，再加段落负对数似然作轻量锚定，取 $\lambda=1$，每轮只采一条贪婪轨迹以省算力。
核心创新是 token 级门控的特权介入（privileged step-in）加自蒸馏框架。与已有方法的本质区别在于：OPSD 完全依赖学生自己的轨迹，遇到全新知识会覆盖失败；HDPO 需要可验证奖励筛选不可解 prompt 后整条替换轨迹；CODE 需要外部前沿模型合成因果叙事且只针对结构化 KE；SKD 用外部教师替换超出其 top-K 的学生 token，目标是通用蒸馏。HPSE 的特权模型不是外部模型，而是同一模型把编辑段落放进上下文后的状态，介入按双门控逐 token 触发：$\log\pi^\star(y_t^\star|x,y_{\tau$ 且 $\pi^\star(y_t^\star|x,y_{\kappa$，以最小改动修补跑题轨迹。理论上（定理 3.1），对长度为 $\ell$ 的事实片段，混合轨迹访问每个事实前缀，而 OPSD 采样下到达深度 $j$ 的概率至多 $e^{-\tau j}$，监督信号之比随 $\ell$ 至少线性增长（Ω(ℓ) 对 O(1)）。
方法步骤详情
算法 1 的输入为编辑段落 $c$、编辑提示 $x$、从基座 $\pi_0$ 初始化的学生 $\pi_\theta$、特权模型 $\pi^\star\triangleq\pi_0(\cdot|c,\cdot)$、阈值 $\tau,\kappa$、轮数 $R$、内层步数 $M$、步长 $\eta$。每轮两步。第一步混合轨迹生成：自回归采样输出 $y$，在每个位置 $t$ 计算特权贪心 token $y_t^\star$，若满足式 (3) 双门控条件就写入特权 token，否则沿用学生采样，在学生自身轨迹骨架上精准补入缺失事实。第二步内层更新：对 $y$ 的所有前缀计算混合 KL 项 $J_{hybrid}$，加上锚定项 $J_{NLL}=-\log\pi_\theta(c|x)$，做 $M$ 步梯度下降，重复 $R$ 轮后返回 $\theta$。图 5 显示介入率从第 1 轮的 26.8% 骤降到第 3 轮的 1.7%、第 4-5 轮的 0.4%，混合策略自动退化为纯在策采样；HPSE 只改训练信号、不约束参数化，可直接套在 FT-M、LoRA 等梯度编辑器上。
技术新颖性
技术新颖性体现在三个层面。其一，视角统一：把分解与组合失败统一归因于对固定编辑文本的被动依赖，并提出非目标化设定与可组合性探针（把 UnKEBench 与 MQuAKE-CF-remastered 改造成分解/组合探针），重构了 UKE 的评测范式。其二，机制设计：首个面向非目标化 UKE 的混合策略自蒸馏，用自身特权上下文状态做教师，无需外部教师、可验证器或合成数据，与 HDPO、CODE、SKD 形成鲜明对比；双门控介入保证干预最小化，理论分析给出随事实长度线性增长的信号优势（Ω(ℓ) 对 O(1)）。其三，即插即用：作为数据中心方法只替换训练信号，对改哪些参数、如何参数化零假设；消融（表 2）显示混合轨迹是主要增益来源——仅混合轨迹（w/o NLL）平均达 67.1/67.1，均优于仅 NLL 锚的 65.7/66.5，且介入率随编辑进程自动衰减，机制具备自适应性。
实验结果
作者先在 Qwen2.5-7B 上测试 7 个方法（图 1）：所有编辑器可组合性均不及格，COIN⋆ 分解召回 Dmp. 最高 53 但 Div. 仅 56.5（靠复读整段），组合最佳基线仅 32。主实验（表 1）覆盖 4 个骨干、2 个编辑器、2 个基准：FT-M 换用 HPSE 后 MQuAKE-uns 平均 +6.8、UnKEBench 平均 +5.0（相对 +67.9%/+10.6%），LoRA 分别 +8.9/+5.4，16 个组合全部提升。亮点：LoRA+HPSE 在 Qwen2.5 上 Cmp. 32.0→54.7（+70.9%）；FT-M 于 Qwen2.5 上 Ind. 14.2→29.6（+108.5%）、平均 +96.4%；Gemma2 上 FT-M 平均 7.8→15.4（+96.8%）。MMLU 几乎不变（70.6→70.7）。持续编辑（图 4）中 LoRA 在 MQuAKE-uns 相对提升 +55% 至 +149%，Qwen3 T=50 时平均 10.4 对最强基线 5.5。消融（表 2）显示纯 OPSD 在 MQuAKE 仅 49.4、低于原版 LoRA 的 52.6，混合轨迹贡献最大；介入率 26.8%→0.4% 印证知识快速内化。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 非结构化知识编辑·组合（MQuAKE-uns，Qwen2.5-7B-Instruct，LoRA 编辑器） | 多跳组合准确率 Cmp. / 基准平均 Avg. | 54.7 / 69.0 | LoRA 原版 32.0 / 52.6 | +70.9% / +31.0% |
| 非结构化知识编辑·组合（MQuAKE-uns，Qwen2.5，FT-M 编辑器） | 单跳准确率 Ind. / 基准平均 Avg. | 29.6 / 19.1 | FT-M 14.2 / 9.7 | +108.5% / +96.4% |
| 非结构化知识编辑·分解（UnKEBench，Qwen2.5，FT-M 编辑器） | 联合召回 Jnt. / 分解召回 Dmp. | 43.7 / 30.9 | FT-M 36.6 / 23.1 | +19.2% / +33.5% |
| 非结构化知识编辑·组合（MQuAKE-uns，Gemma2，FT-M 编辑器） | 基准平均 Avg.（含 Cmp. 1.3→5.3） | 15.4 | FT-M 7.8 | +96.8%（Cmp. +307.7%） |
| 持续编辑（MQuAKE-uns，Llama3.1 与 Qwen3，T=1~100，LoRA 编辑器） | 各序列长度下的平均分 | 相对基线 +55% 至 +149%；Qwen3 T=50 达 10.4 | LoRA 原版（过半设置不足其一半） | 过半设置下分数翻倍以上 |
| 现有 7 种编辑器可组合性普查（Qwen2.5，图 1） | 最佳分解召回 Dmp. / 最佳组合 Cmp. | 证明普遍失败后，HPSE 使 FT-M/LoRA 载体全面超越 | COIN⋆ Dmp. 53（Div. 仅 56.5）/ 最强基线 Cmp. 32 | 确立可组合性为 UKE 开放难题 |
局限与改进
作者在结论中承认的局限：HPSE 目前面向单段落编辑，尚未覆盖终身编辑中多条编辑的累积与多模态场景。我自己的观察有七点。第一，效率代价：每个生成位置都要跑特权模型前向以计算门控，轨迹生成成本接近双倍推理，论文靠每轮单条贪婪轨迹缓解，但大规模持续编辑仍然昂贵。第二，特权模型可靠性瓶颈：$\pi^\star$ 只是基座加上下文，若段落冗长、含噪声或自相矛盾，其高置信预测可能自信地错误，$\kappa$ 门控无法甄别。第三，实验只把 HPSE 套在 FT-M 与 LoRA 两个梯度编辑器上，MEMIT/AlphaEdit 这类闭式定位编辑能否受益未验证。第四，理论结果依赖上下文分离等假设，且只覆盖 $\ell$-token 事实片段的简化情形。第五，分解探针用 LLM-as-Judge 打分，判官偏差会传递到结论。第六，评测全部为英文基准，跨语言泛化未知。第七，双阈值 $\tau,\kappa$ 虽有敏感性分析（附录 D.2 显示较鲁棒），跨模型迁移时仍需调参。
独立分析的弱点
独立分析四个弱点并给改进方向。第一，门控的过自信风险：特权模型用 max-probability 度量置信度，在长段落或多事实场景可能虚高，把错误事实强行写进学生轨迹且难回滚；改进方向是引入熵或多采样一致性来校准置信度（论文已提及可用特权分布熵），并在事实级做事后一致性检查。第二，计算开销：每 token 双模型前向加 $R\times M$ 轮训练，比普通 SFT 贵数倍；可借鉴投机解码批量评估门控，或只在事实候选位置触发特权前向。第三，评测对齐风险：组合探针沿用 MQuAKE 官方管线、分解探针靠 LLM-as-Judge，Div. 与 FActScore 对复述与分解的界定可能漏掉中间形态，且 COIN⋆ 系作者自行复现，存在实现偏差；建议补充人工标注子集交叉验证。第四，覆盖面：未测闭式编辑器（MEMIT/AlphaEdit）与外部存储式编辑器，也未测非目标化设定下多段落批量编辑；建议把 HPSE 扩展为持续编辑下的课程式信号源，并用学习到的调度替代固定 $\tau,\kappa$，让介入率按知识内化程度自动退火。
未来方向
作者明确提出的方向有二：一是把 HPSE 推广到终身（lifelong）编辑，使其编码累积的多条编辑而非单一 passage；二是拓展到多模态编辑，走出文本 token 空间。基于本文成果还可延伸五点。第一，混合策略自蒸馏天然适配其他需要注入全新知识或技能的场景，如新工具调用、新 API 文档、代码库更新后的模型适配。第二，特权状态思想可与强化学习结合，用特权演示降低探索成本，类似用引导轨迹修补 RL 中的覆盖失败。第三，把 Ω(ℓ) 对 O(1) 的分析推广到采样解码与更一般分布，与在策模仿学习建立正式联系（论文附录 A 已铺垫）。第四，与检索增强或外部存储式编辑器组合，形成参数内自蒸馏加参数外检索的混合注入方案。第五，自适应门控：用学习到的阈值或置信度校准器替代手调 $\tau,\kappa$，并在多语言与含噪声编辑文本上检验鲁棒性。
复现评估
复现条件较好。代码与数据集已在 GitHub 开源（github.com/lliutianc/hpse）；两个基准均为公开数据：分解探针基于 UnKEBench（Deng et al., 2024），组合探针基于 MQuAKE-CF-remastered（Zhong et al., 2025），测试查询保持不变，仅把编辑提示改写为泛化指令；基线用官方实现，仅 COIN⋆ 由作者复现。模型是 4 个 7-9B 开源权重（Qwen2.5-7B-Instruct、Qwen3-8B、Llama-3.1-8B-Instruct、Gemma-2-9B-it），LoRA/FT-M 编辑加 HPSE 训练在单张 A100 级 GPU 上可行，但需同时维护特权与学生两份上下文的前向。超参有默认值（$\lambda=1$、每轮单条贪婪轨迹），阈值 $\tau,\kappa$ 有敏感性分析，附录 C 提供实现细节。主要不确定性：LLM-as-Judge 的裁判模型与 prompt 未在正文写明，持续编辑实验算力需求较大。总体难度中等，忠实复现表 1 全表需要可观 GPU 时间。
论文图表
雷达图，展示 MEMIT、AlphaEdit、AnyEdit、UnKE、COIN⋆、FT-M、LoRA 七个编辑器在联合召回（Jnt.）、分解召回（Dmp.）、组合（Ind./Cmp.）与 locality（MMLU）轴上的表现：COIN⋆ 分解召回最高 53 但靠复读整段（Div. 仅 56.5），组合最强基线仅 32，所有方法可组合性均不合格。
一图定义问题——用系统证据证明现有方法的可组合性缺陷，是全文动机的实证基石。
两组失败案例：(a) 分解失败——面对『Elvin Penner 为哪些歌手写过热门歌曲』，COIN⋆ 复述整段而非直接作答；(b) 组合失败——Louis XV 宗教两跳问题上，AnyEdit 退回天主教与詹森运动的旧先验。
用具体错误样例直观展示分解与组合两类失败模式，让读者理解指标背后的真实行为差异。
LoRA 与 LoRA+OPSD 在各指标上的柱状对比：加入 OPSD 后 Jnt. 从 63.2 降至 58.5、Ind. 从 73.3 降至 65.4、Cmp. 32.0→33.3、Dmp. 47.8→56.6，MQuAKE 平均从 52.6 跌至 49.4，低于原版 LoRA。
展示纯在策自蒸馏的覆盖失败现象，是引出混合策略这一核心设计的直接理由。
HPSE 伪代码：外层 $R$ 轮循环中，第 2 行生成混合轨迹（学生 token 为骨架、特权模型按式 (3) 双门控逐 token 介入），第 3-5 行对轨迹所有前缀做 $M$ 步 $J_{HPSE}$ 梯度更新（混合 KL 加 NLL 锚），返回编辑后的参数 $\theta$。
完整给出方法的输入输出与迭代流程，是复现实现的直接依据。
对长度为 $\ell$ 个新 token 的事实片段，混合轨迹访问每个事实前缀；OPSD 轨迹在采样下到达深度 $j$ 的概率至多 $e^{-\tau j}$，在贪婪分歧下只到达片段入口。因此混合信号量为 $\Omega(\ell)$ 而 OPSD 为 $O(1)$，两者之比至少随 $\ell$ 线性增长。
为 HPSE 相对纯 OPSD 的优势提供理论保证，解释了为什么介入式混合策略在长事实片段上收益更大。
两跳组合案例（Louis XV 的宗教→Christian Science，其创始人→Ibn Saud）：HPSE 正确串联两跳答出 Ibn Saud；LoRA 幻觉出 Madame de Valois，MEMIT/AlphaEdit/UnKE/AnyEdit 退回天主教先验，COIN⋆ 混淆到 Louis XIV。
定性展示 HPSE 如何在基线集体失败的场景下完成多跳组合，直观对应表 1 中 Cmp. 的大幅提升。
分解案例（Elvin Penner 五事实段落）：HPSE 对子问题直接答出 Taylor Swift 与 Ed Sheeran；LoRA/COIN⋆/AnyEdit 逐字复述整段，AlphaEdit 与 UnKE 幻觉出错误歌手，MEMIT 直接拒答。
定性展示 HPSE 注入的知识是可拆解的原子事实，对应表 1 中 Jnt. 与 Dmp. 同时提升且 Div. 保持高位。