Pristine Models：预训练期隔离不安全知识的可拆卸分支文生图架构 Pristine Models

完整流程分七步。(1) 数据划分：给定受限概念集 $\mathcal{U}$，把数据划分为不含任何 $\mathcal{U}$ 概念的 $\mathcal{D}_{safe}$ 与至少含一个的 $\mathcal{D}_{unsafe}$。(2) 提示分解：物体中心数据（ImageNet）先用 Gemini 3.1 Pro 为每张图生成约 40 词 dense caption，再用 Qwen3.5-27B 拆成 subject caption（只含类别名的裸句，如 "A German Shepherd."）与 residual caption（用 'the object' 指代主体、外观描述抽象到无法推断类别）；开放世界数据（CC12M）先用 MLLM 按表 7 的 11 类打标（约 38% 被标记为受限），再把每个受限概念实例绑到句柄 $\{o_1, \dots, o_K\}$，生成 $c_{unsafe}$（逐句柄声明身份）与 $c_{shared}$（仅用句柄重述全场景，保留交互、光照、构图）。(3) 独立编码：$t_b = Embed(c_b)$。(4) 分支注意力：模式分支按 $\Gamma(x,c) \in \mathcal{U}$ 选择 $W_{mode}$（$W_{unsafe}$ 或 $W_{safe}$），每支计算 $(\Delta t_b, \Delta x_b) = Attn(t_b, x; W_b)$。(5) 聚合：文本状态在分支内独立更新 $t_b \leftarrow t_b + \Delta t_b$，空间更新相加 $x \leftarrow x + \Delta x_{shared} + \Delta x_{mode}$；cross-attention 每支参数 $\{W^q_{sp}, W^{kv}_{txt}, W^{out}_{sp}\}$，MMDiT 自注意力每支参数 $\{W^{qkv}_{txt}, W^{qkv}_{sp}, W^{out}_{txt}, W^{out}_{sp}\}$。(6) 训练：AdamW（$\beta_1{=}0.9, \beta_2{=}0.999$）、全局 batch 1024、UNet 学习率 $1\times10^{-4}$、MMJiT $4\times10^{-4}$（5000 步 warmup），标准 DDPM 或流匹配目标。(7) 推理：删除 unsafe 分支；安全提示按训练时同样方式分解（ImageNet），或无需分解直入 shared 分支（CC12M，推理计算量与普通模型完全相同）。

技术新颖性体现在四点。其一，架构层面：这是较早把'概念级访问控制'内嵌到 T2I 预训练网络的工作，与 Golatkar 等的预训练级精确遗忘（面向单样本删除）和 Roland 等的模块化 LLM 预训练（靠训练自发分离）均不同，Pristine 用提示分解显式指定分离边界。其二，机制层面：文本流分支隔离、空间流求和的设计，把'身份'锁进可拆卸的文本条件通路，而共享空间状态承载可迁移视觉知识，隔离与迁移在同一次注意力操作内同时完成。其三，实证层面：作者系统排除了平凡解释——计算对齐实验把 Safe 基线从 17 层加深到 28 层（260.2M 增至 416.0M 参数，与 Pristine 的 420.8M 仅差 1.15%），FID/VQAScore 几乎不动（8.46/0.62 对 8.23/0.63），证明质量提升来自数据多样性而非容量；Pristine (Unlearn) 消融（Balanced Acc/P/R 0.93/0.40/0.55，弱于预训练建舱的 0.95/0.57/0.68）证明同样的架构事后加装更差，分离必须在预训练中发生。其四，通用性：同一机制同时适配 cross-attention（SD UNet）与 joint self-attention（MMJiT）两种主流骨干，并给出各自完整的参数化方案。

独立分析的弱点与改进方向：(1) 残留泄漏路径——CC12M 上 13.29% 的受限生成可能来自 MLLM 标注漏检，或分解时身份信息渗入共享提示（如 'holding object 2' 这类句柄描述仍可能让 shared 分支学到枪械的形状先验），改进方向是对共享 prompt 做对抗性探测（构造诱导性提示试图激发受限概念）并迭代净化训练集；(2) 权重保管风险——unsafe 分支若随开源权重泄露即可恢复受限生成能力，改进方向是训练后对 unsafe 分支加密或与部署密钥绑定门控，使其离开安全环境即失效；(3) '知识 = 整体复现'的定义偏窄——某艺术家的风格、标志性构图等分布式知识不受句柄式分解保护，可能仍留在共享分支并可被隐式提示唤起，改进方向是为风格类概念设计属性级的受限路由；(4) 评估链路依赖生成式判官——改进方向是引入人工审计子集并报告判官与人工标注的一致率，同时避免判官与标注器同源；(5) Random Setting 显示当安全/不安全划分语义上任意时 Safe 基线严重崩坏（FID 19.09）而 Pristine 介于中间（9.46），说明概念集粒度选择本身是个敏感超参，改进方向是自适应概念划分或多粒度多套分支并存。

作者提出的方向：与事后遗忘和推理时护栏组成分层防御体系——预训练建舱处理已知受限概念，事后方法处理新出现的限制，护栏在部署侧兜底。基于本文成果可延伸的方向：(1) 扩展到更大规模骨干（SDXL、FLUX 级）与更高分辨率，检验参数量增大后分解是否依旧诱导干净分离；(2) 动态概念集：预训练后新增受限概念时，冻结其余参数只重训 unsafe 分支，实现'即插即忘'的策略更新，也呼应 Pristine (Unlearn) 显示的事后加装仍有相当效果（TPIPS 0.7484）；(3) 把提示分解推广为通用知识路由接口，不仅做安全，还可做版权风格控制、地域合规、用户级个性化遗忘；(4) 理论化：分析 shared/unsafe 分支的表征几何与信息泄漏上界，回答'什么条件下分离是紧凑且稳定的'；(5) 扩展到视频生成与多模态基础模型，真人肖像与 IP 角色在时序维度上更难隔离；(6) 把'可分离性'发展为诊断工具：用 Pristine (Unlearn) 式重训的恢复程度量化已训练模型中概念与有用知识的纠缠程度。

复现友好度较高但有隐性成本。可复现资产：附录给出完整数据构造（A.2.1、A.5）、训练超参（AdamW $\beta_1{=}0.9, \beta_2{=}0.999$、全局 batch 1024、UNet 学习率 $1\times10^{-4}$、MMJiT $4\times10^{-4}$、5000 步 warmup、CFG 尺度 2/3、去噪步数 500/200）、以及全部三个 LLM 提示模板（Gemini dense captioning、Qwen 提示分解、多标签判官）的原文；底座全部公开——SD 1.5 UNet（冻结 VAE 与 CLIP 文本编码器）、MMJiT/MiniT2i（flan-t5-large 冻结，约 416M 参数、17 个 double-stream 块）、CC12M 的 LLaVA-NeXT 重标注公开数据集。隐性成本：需要 Gemini 为 128 万张 ImageNet 图生成 caption、Qwen3.5-27B 做分解、MLLM 给约 1200 万级 CC12M 打标，API 调用量与费用可观；判官环节需要 Qwen3.5-122B-A10B 级模型经 vLLM 部署。算力方面，约 4 亿参数去噪器配 batch 1024 属于数十卡可承受的训练规模，远小于 SOTA 巨型模型。注意：Reproducibility Statement 承诺透明并列出所建代码库链接，但未明确承诺开源 Pristine 自身代码与权重。综合评估复现难度为中高——工程链路长（数据标注、分解、双骨干训练、多维评估），但每一步均有充分细节。