PolicyShiftGuard：策略自适应图像护栏的基准构建与模型改进 PolicyShiftGuard: Benchmarking and Improving Policy-Adaptive Image Guardrails

完整流程分六步。第一步属性标注：多个多模态标注器按类别属性模式预测原子事实（是否暴露身体、是否有真实武器、是否有车牌、是否医疗上下文等），字段级多数投票得属性向量 $A_c(x)$；8,973 张图共 475,569 个属性决策，97.50% 三方一致。第二步规则执行：策略 $p$ 是关于属性的可执行规则，类别决策 $z_{c,p}(x)=f_{c,p}(A_c(x))\in\{0,1\}$。第三步组合策略包：每个提示对七类各激活一条策略 $B=\{p_c\}$，全图标签为各类决策的逻辑或。第四步 RP-SFT：在 $(x,B,y)$ 上做下一 token 监督 $\mathcal{L}_{\text{RP-SFT}}=\mathbb{E}[-\log p_\theta(\rho(y)\mid x,\rho(B))]$，$\rho$ 随机化策略顺序、表面标识和类别槽位，4 个 epoch、学习率 $10^{-5}$。第五步 BP-Adapt：用 1,908 组匹配的 pass/block 边界对微调，损失 $\mathcal{L}_{\text{BP}}=\mathcal{L}_{\text{CE}}+\lambda_l\mathcal{L}_{\text{label}}+\lambda_p\mathcal{L}_{\text{pair}}+\lambda_w\mathcal{L}_{\text{cat}}$（权重 $0.10/0.20/0.05$），1 个 epoch、学习率 $10^{-6}$。第六步推理：输出极简格式「true | XX」或「false」，通常 5 个 token 内完成判定。

本文的新颖性体现在四个互相支撑的点上。其一，POLICYSHIFTBENCH 是首个同时具备「组合式运行时策略包（7 类风险 × 5 场景 = 28 变体）+ 直接度量同图策略翻转的 PSS 指标 + 公开训练数据」的图像护栏基准，相比之下 UnsafeBench 只 1 条策略、SafeEditBench 5 条策略无组合无翻转指标、LLaVA-Guard 只有部分翻转。其二，「属性—规则解耦」使标签完全可审计：任何翻转都能追溯到具体策略逻辑变化，而非主观标注。其三，RP-SFT 通过随机化策略呈现 $\rho$ 消除了固定位置/模板的捷径，逼迫模型真正读取并绑定策略文本。其四，BP-Adapt 的成对间隔损失是把「策略敏感性」从评测指标转化为训练目标的关键——这是与普通 continuation SFT、reasoning/RL 风格护栏最本质的区别，也是表 5 显示 no-think 显著优于 think-mode 的根源：对护栏任务，直接优化终判 token 比自由形式推理更有效。

第一个弱点是对「全新风险类别」的泛化未被检验。Shift 拆分只换了同一七大类下的策略变体，若出现第 8 类全新风险（如深度伪造、AI 生成儿童内容、虚假信息），策略包和属性模式都要重写。改进方向是研究属性模式的自动归纳与零样本类别扩展。第二个弱点是规则必须手工写成可执行形式，难以覆盖真实合规中模糊、带例外、互相冲突的自然语言策略（如「原则上禁止但艺术价值高时可放行」）。改进方向是把规则引擎升级为 LLM-based 软规则 + 可解释约束的混合体，并做规则冲突仲裁。第三个弱点是属性标注瓶颈：三方投票虽 97.5% 一致，但三个标注器可能共享同源偏见（例如对某些文化符号、地域性管制商品的识别盲区），且依赖大模型 API 成本不低。改进方向是引入主动学习 + 人工抽检 + 多样化标注器族。第四个弱点是评测指标 PSS 强依赖同图多策略配对，在真实线上难以计算，需要设计能从部署流量近似估计策略敏感度的轻量代理指标。第五个弱点是基座单一（仅 Qwen2.5-VL），方法对其他架构（如 InternVL、LLaMA-Vision）是否同样有效未知。

作者明确提出的方向包括：扩展到视频、音频、多轮对话与动态网页场景；支持多语言、法律文书式和长用户自定义策略；扩充基准覆盖更多行业、司法辖区、平台规范和地域文化。基于本文成果可延伸的研究方向有：第一，把「属性—规则解耦」框架与自动规则归纳结合，让系统从自然语言策略文本自动生成可执行规则，降低手工成本；第二，探索在线/增量策略适配——当产品策略上线更新时，护栏能否用少量边界对快速适配而不全量重训；第三，把 PSS 思想推广到文本护栏和对话护栏，建立统一的「策略翻转敏感度」评测范式；第四，研究策略冲突（如言论自由 vs 宗教敏感）下的多目标权衡与可解释仲裁；第五，把护栏与下游主模型联合优化，让护栏的拦截决策直接服务于主模型的安全行为。

复现门槛整体较低，是本文明显优点。代码开源于 github.com/ssmisya/PolicyShiftGuard，数据集（含基准/训练拆分、策略规则、评测工具、Croissant RAI 元数据）发布在 HuggingFace datasets/PolicyShiftBench，共 9,816 条训练实例。算力克制：训练在 4×A100 80GB 上完成，Stage-1 RP-SFT（3,000 例、4 epoch、188 updates）仅 1.7 小时，Stage-2 BP-Adapt 7B（3,816 例、1 epoch、120 updates）41 分钟，3B 仅 33 分钟；单卡评测 2,000 例 12–13 分钟。关键超参（学习率 $10^{-5}$/$10^{-6}$、损失权重 $0.10/0.20/0.05$、no-think 输出格式）在表 14 完整给出，基座 Qwen2.5-VL 3B/7B 公开可取。主要复现风险：属性标注依赖未完全公开的内部标注器组合；对照模型含 Qwen3.5、GPT-5.4、Gemini-3 等闭源/快照模型，版本随时间漂移会影响对照数字。综合看，有 4 张 A100 的团队数小时内即可复现核心训练，难度属中低。