面向文生图安全引导的条件激活传输方法 Conditioned Activation Transport for T2I Safety Steering

完整方法分四步：第一步构建 SafeSteerDataset——以 T2ISafety 的 6 大毒性类别为基础扩展为 23 个子类（性 5 个、仇恨 3 个、羞辱 3 个、暴力 5 个、违法 5 个、惊悚 2 个），用 Gemini 2.5-Pro 为每个子类生成 100 对语义相似的安全/不安全 prompt（共 2300 对），再用 Qwen-8b 嵌入过滤掉余弦相似度不达标的样本，确保两两 prompt 仅在毒性维度上不同。第二步训练非线性传输映射 $T_\theta$——在按 9:1 划分的训练集上最小化对偶损失 $\mathcal{L}(z_u, z_s) = \|z_s - T_\theta(z_u)\|^2 + \lambda \|z_s - T_\theta(z_s)\|^2$；第一项把不安全表征推向安全目标，第二项正则化保证 $T_\theta$ 在安全样本上近似恒等；MLP 最后一层零初始化以保证训练初期 $T_\theta(z) = z$。第三步在推理时挂接 CAT——对每个采样步 $t$ 的每一层 $\ell \in L_{steer}$，计算 mean-pool 激活 $\bar{z}_{\ell,t}$，算出马氏椭球门控 $g_{\ell,t} = C_{MD}(\bar{z}_{\ell,t}) \in \{0,1\}$，并把残差位移广播到所有 $N$ 个空间 token：$z'^{(i)}_{\ell,t} \leftarrow z^{(i)}_{\ell,t} + \alpha \cdot g_{\ell,t} \cdot (T_\theta(\bar{z}_{\ell,t}) - \bar{z}_{\ell,t})$；实验设定引导发生在模型后半段（text 和 vision 组件均介入），$\alpha$ 在 Z-Image 上取 0.75–1.0，在 Infinity 上取 0.25–1.0。第四步用 ShieldGemma-2-4b-it 评估生成图像的 ASR，用 ViT-B/32 在 COCO 验证集上评估 CLIP 分数。

技术新颖性体现在四个层面：第一，理论层面，把激活引导从均值平移升级到流形到流形的非线性最优传输，并给出形式化的残差公式 $z' = z + \alpha \cdot C(\bar{z}) \cdot (T_\theta(\bar{z}) - \bar{z})$，清晰分离了推什么、推多强、要不要推三个自由度。第二，数据层面，SafeSteerDataset 是首个面向激活引导设计的安全-不安全对比语料——23 子类的细粒度分类加上严格的语义相似度过滤让传输映射能学到去噪后的毒性方向，而不是表面语义漂移。第三，方法层面，MLP 残差 + 零初始化最后一层 + 正则化恒等项的三件套让非线性训练稳定且不破坏基座；马氏 OOD 条件则把门控从矩形升级为符合数据协方差结构的椭球。第四，验证层面，本文首次在 Z-Image（Diffusion Transformer）和 Infinity（自回归）两类迥异的架构上系统比较了 ActAdd/Linear-ACT/Affine/CAT 四种方法，并通过模态隔离实验发现必须同时引导 text encoder 和 vision backbone 才能达到协同效果——只引导 text 在 Infinity 上 ASR 高达 30.43%，只引导 vision 则 ASR 35.65%。

独立审视后我认为本文有以下几点可改进的方向。第一，推理成本问题：论文没有报告 CAT 的额外前向开销。MLP 残差 + 逐层马氏距离 + 收缩协方差计算意味着每个去噪步都要做矩阵乘法和逆运算，相对于 ActAdd 的 $O(d)$ 标量加减、Linear-ACT 的 $O(d)$ 缩放，CAT 至少是 $O(d^2)$ 的矩阵运算，对 Infinity 这种高分辨率自回归模型的影响可能很大，需要给出 wall-clock latency 报告。第二，超参脆弱性：Table 3 显示同一方法在不同条件/强度下 ASR 方差极大（CAT 在 Infinity 上从 2.17% 到 22.61%），缺乏对 $\alpha$、$\lambda$、$\eta_q$ 的稳健性研究，建议在附录中给出 $\alpha \in [0.25, 2.0]$ 的完整曲线和鲁棒性区间。第三，条件门控失效案例：在 Z-Image 上 ood_mahal 条件普遍把 ASR 推高到 34.78%——和随机猜测几乎一样——可能是因为协方差估计在 2300 个样本上对 $d > 1000$ 维潜空间仍然欠拟合，需要探索降维预处理（如先做 PCA 再算马氏距离）或对角近似。第四，可解释性缺失：MLP 残差是非线性黑盒，无法像 ActAdd 那样给出安全方向等于哪个语义轴的物理解释，可以考虑在 $T_\theta$ 上加稀疏性约束或事后可视化以提升可解释性。第五，对攻击的鲁棒性未充分检验：作者承认推理时引导能被绕过，但论文没有给出任何具体攻击场景（如加噪、prompt 重写、adapter 微调）的实证，建议至少做一组红队测试。

作者在 Limitations 中暗示了几个未来方向——把 mean-pool 升级为空间局部条件以捕捉区域级不安全元素、用人类标注校验 ShieldGemma 的偏差、以及开发真正能遗忘的模型编辑方法。基于 CAT 的成果还可以延伸出多个有意义的方向：第一，把 SafeSteerDataset 的对比学习范式推广到 LLM 角色扮演/越狱防御上，让 LLM 也能学到非线性的安全流形；第二，引入条件 diffusion 模型对 $T_\theta$ 的输出做后验采样，进一步降低 ML 估计的方差；第三，把逐层椭球门控替换为可学习的端到端门控网络（如轻量级 cross-attention），与 $T_\theta$ 联合训练；第四，探索把 CAT 与训练时方法（如 UCE、ESD）结合的可能性——既然线性引导无法切除能力而训练时方法可能引发伪失忆，二者结合也许能既根除又保留泛化；第五，把 SafeSteerDataset 的 23 子类细粒度分类用于按需安全——用户可声明禁用某子类（如宗教符号），引导模块只激活相应方向的 $\Delta$。

论文提供了较强的复现支持：代码与数据仓库已在 https://github.com/NASK-AISafety/conditional-activation-transport 公开，SafeSteerDataset 也已上传到 https://huggingface.co/datasets/NASK-PIB/SafeSteerDataset。SafeSteerDataset 共 2300 对 prompt，规模适中，依赖 Qwen-8b 嵌入（用于过滤）和 Gemini 2.5-Pro（用于生成）这两个公开 API，可以完全离线复现。训练阶段只需在 90% 训练集（2070 对）上拟合一个小 MLP（单隐藏层 + RMSNorm + GELU），计算开销低，单卡 A100 应可在数小时内完成；推理时需要在 Z-Image 和 Infinity 上跑前向引导，这两个模型在 HuggingFace 上都有官方权重，Z-Image 大约 8B 参数、Infinity 约 2B 参数，常规推理即可。难度评估为中等偏上——主要门槛在：（1）需要正确实现 MLP 残差 + 零初始化的细节；（2）需要按层注入引导，修改 DiT/AR 模型的前向代码；（3）马氏收缩估计和分位数阈值 $\eta_q$ 的数值稳定性容易踩坑。论文 Appendix B 还给出了 Gemini 2.5-Pro 的生成 prompt 模板，Appendix C 给出 23 子类的示例对，进一步降低了复现门槛。