噪声出去，偏见进来：基于闭环激活导向的扩散语言模型定向偏见注入 Noise Out, Bias In: Targeted Bias Injection in Diffusion Language Models via Closed-Loop Activation Steering
用PI控制器在去噪过程中闭环调节激活导向强度，把冻结扩散语言模型的答案推向指定人群
前置知识
掩码扩散语言模型（dLLM）
不同于自回归模型逐词生成，掩码扩散语言模型（如 LLaDA、Dream、LLaDA-MoE）从全为 [M] 掩码的序列出发，在 $T$ 个去噪步中用双向注意力迭代预测所有掩码位置的词分布，每步把部分位置提交为预测词、其余重新掩码，已提交的 token 永不改变。关键结构性质是：一个答案位置在提交前（第 $\tau$ 步）会被反复预测多次，其概率分布每一个去噪步都可见、可读。
攻击的反馈信号——目标答案概率 $p_t$——正来自这种逐步暴露的分布；理解去噪与 token 提交机制才能明白控制窗口为何只有前 32 步、以及理论分析为何只对 $t<\tau$ 成立。
激活导向（Activation Steering）与残差流
残差流是 transformer 各块之间传递的隐藏状态。激活导向在推理时通过 forward hook 在残差流上叠加一个方向向量 $\alpha v$ 来改变模型行为；方向 $v$ 通常由对比样本对的平均激活差估计（类均值差）。CAA、ActAdd、ITI、FairSteer 等都属于这一族，既被用于消除偏见（FairSteer），也曾被恶意用于植入行为（Trojan activation attack）。权重和提示词完全不动。
本文攻击的执行接口就是激活导向：威胁模型沿用 Trojan activation attack 的 forward hook 接入方式，方向拟合直接采用类均值差这一标准做法，读者需要知道这套工具才能理解攻击为何对检查点审计隐形。
PI 控制器与闭环反馈控制
比例-积分（PI）控制器根据设定点 $s^*$ 与测量值之差 $e_t$ 生成控制量：$\alpha_t = \mathrm{clip}(K_p e_t + K_i I_t, 0, \alpha_{\max})$，其中 $I_t=\sum e$ 是累积误差。比例项响应当前偏差，积分项累积历史偏差以消除稳态误差；配合限幅与抗积分饱和（anti-windup：命令被裁剪时冻结积分）保证稳定。闭环指控制器读输出再调输入，与生成前就固定强度的开环相对。
整个攻击就是一个以去噪步为时间轴、以目标答案概率为被控输出的 PI 闭环；论文的命题 1–3（常数强度必然失败、比例控制留稳态误差、PI 收敛到每样本阈值）全部围绕这个回路展开。
BBQ 歧义问题与弃权指标
BBQ 基准中的歧义（ambiguous）题目在上下文未给出任何群体相关资格信息时，正确答案是『信息不足』（弃权）；若模型直接选择某个受保护群体选项，即暴露对刻板印象的依赖。论文同时把 SocialStigmaQA 改造成三选项（Yes / No / Can't tell）版本，以数据集标注的污名化答案为攻击目标、相反答案为比较组。
攻击目标就是把答案从『弃权』推向指定群体选项，因此在所有表格中弃权率同时就是模型准确率，攻击会直接砍掉它——这是解读实验结果代价的关键背景。
目标-比较组差距 g
论文用 $g = \mathbb{E}[\mathbf{1}\{\text{选中目标}\} - \mathbf{1}\{\text{选中比较组}\}]$ 度量攻击效果，即目标群体选项被选率与另一群体选项（比较组）被选率之差的期望；$\Delta g$ 是相对未引导模型的增量，以百分点（pp）计。所有比率把无效输出计入分母，避免用解析失败美化攻击效果。
这是论文全部表格的核心指标；同时报告的无效率（Inv.）是判断一个运行算不算『有效攻击』的门槛（15% 阈值），理解二者才能读懂 Asian/White 等为何被如实标为失败。
研究动机
自回归 LLM 会把训练语料中的刻板印象带入回答，这一现象在自由生成、问答和多语言场景都已被广泛记录，而且对齐只能更可靠地移除显式偏见、难以移除背后的隐性联想。新一代掩码扩散语言模型（LLaDA、Dream、LLaDA-MoE）已达到同规模自回归模型的水平，开始进入客服助手、招聘筛选等面向真实用户的场景，但它们在类似语料上以类似方式指令微调，没有理由更公平——TrustLDM 已发现 LLaDA 和 Dream 在收入预测任务上存在性别差异，且恶意上下文会放大它。更关键的是，已有审计只度量权重里『训练留下的偏见』，而部署系统的服务栈本身可以被注入偏见：对自回归模型已有工作证明，精心构造的 prompt 或加在残差流上的导向向量（Trojan activation attack）都能在推理时把答案拉向指定群体，且由于权重与用户 prompt 原封不动，对检查点或 prompt 管线的审计什么也查不出来。而 dLLM 的服务栈此前完全没有被审视过——本文要填的就是这个空白。
本文的目标是本文系统研究『定向偏见注入』（targeted bias injection）这一新攻击：一个对部署中冻结 dLLM 具有灰盒访问权的对手——能通过被攻陷的服务栈组件注册 forward hook 读写残差流、能读取采样器为重掩码本来就计算的中间 token 概率，但不能看权重、不能算梯度、不能训练——能否在『正确答案是弃权』的歧义问题上，把模型答案系统性地推向自己指定的人口群体选项、远离比较组选项，同时保持输出可解析。论文围绕四个问题定量展开：闭环引导能注入多少偏见、增益是否真来自反馈本身而非方向或注入位置、攻击能否跨人口目标/基准/模型迁移、以及同一回路反号后能否作为防御。
与已有工作不同的是，已有针对 dLLM 的引导方法（refusal 抑制、ILRR 表示对齐、属性涌现调度等）全部是开环的：在生成前固定强度 $\alpha$。这在自回归模型里是被迫的，因为答案分布只在提交那一刻暴露一次，强度必须提前选定；但掩码 dLLM 在提交前每一步都重预测答案位置，目标答案概率可以在每次干预之后被测量——这恰好是反馈控制存在的经典场景：响应未知、输出可在最终确定前观察。本文的独特切入是把去噪轨迹本身当作一个新的控制通道，用一个 PI 控制器在线调节单一固定方向的强度，并用控制论模型给出解释：命题 1 证明任何常数强度都无法同时满足阈值互异的多个样本，命题 3 证明 PI 回路的积分状态会自动收敛到每个样本各自需要的阈值强度。这是首个针对 dLLM 服务栈的偏见注入攻击，也首次把『反馈 vs 常数』做成可归因、可证明的对照实验。
核心方法
直觉上，攻击者像一个恒温器：想让模型给目标群体选项的概率维持在设定点 $s^*=0.9$，就每一步去噪后测量当前概率 $p_t$，低了就加大『剂量』，接近目标就减量，而不是对所有病人开同一个固定剂量。技术路线分两段。离线阶段：从留出的对比样本对中拟合一个单位导向向量 $b_v$（只拟合一次，之后全程冻结），它编码『目标群体 vs 比较组』这个语义方向。在线阶段：模型去噪的每一步，PI 控制器读取答案位置上目标答案字母的概率 $p_t$，计算带限幅的强度 $\alpha_t$，并在下一次前向传播时把 $\alpha_t b_v$ 加到全部 32 个 transformer 块、所有位置（含 prompt token）的残差流上。权重、用户 prompt、采样器一概不动；hook 是激活导向与可解释性库的标准接口，作用在文本接口之下，因此在检查点审计和 prompt 管线审计层面完全隐形。
核心创新是把『答案概率』变成实时反馈信号。自回归模型只在提交词那一刻暴露一次分布，强度必须提前选定；掩码 dLLM 在提交前每一步都重预测答案位置，攻击者可以在每次干预后读到 $p_t$ 再决定下一步强度——这是开环方法在结构上做不到的。与已有方法的本质区别：别人问『多大的固定剂量能引导模型』，本文问『每个样本各自需要多大剂量』并用闭环在线回答。方向本身用目标/比较组的选项文本（而非答案字母）补全同一问题来拟合，在块 14 取答案 token 残差的平均类均值差并归一化，确保方向编码的是『群体』而不是『显示位置』。理论部分进一步证明：在提交前的局部线性模型 $p_t = \gamma p_{t-1} + b\alpha_t + d$ 下，常数强度的收敛值要达到样本专属阈值 $\alpha^*_i = ((1-\gamma_i)s^* - d_i)/b_i$ 才能命中设定点，而不同样本的 $\alpha^*_i$ 差异巨大，一旦最大阈值超过保持输出连贯的最大强度，任何常数都会失败（命题 1）；PI 回路的积分状态则自动收敛到 $\alpha^*_i/K_i$（命题 3），无需知道 $b, \gamma, d$。
方法步骤详情
第一步（离线拟合方向）：取 $M$ 个从不参与评测的留出问题，每个补全两次——一次用目标群体选项文本、一次用比较组选项文本；对每对样本、每个块求答案 token 残差的类均值差 $\bar{h}^{\text{tgt}}_{i,\ell} - \bar{h}^{\text{cmp}}_{i,\ell}$，在块 14 取平均并归一化得到 $b_v = r_{14}/\|r_{14}\|_2$（公式 3）。SocialStigmaQA 的偏向答案有 Yes/No 两种极性，故按极性各拟合一个方向。第二步（初始化）：响应全掩码做一次无引导前向，得到初始目标概率 $p_0$；答案占据首个生成位置，攻击者从数据标注知道目标选项在本次轮换中对应的字母 $a^*\in\{A,B,C\}$，并求和 $a^*$ 的大小写 token 概率作为读数。第三步（闭环去噪，$t=1..T$）：计算误差 $e_t = s^* - p_{t-1}$，命令 $\alpha_t = \mathrm{clip}(K_p e_t + K_i I_t, 0, \alpha_{\max})$，未饱和时才累积积分（anti-windup）；前向传播在每块每位置执行 $h^{(t)}_\ell \leftarrow h^{(t)}_\ell + \alpha_t b_v$（公式 5），随后读出 $p_t = \pi^{(t)}_1(a^*)$；按低置信度重掩码日程提交部分 token。第四步（提交与终止）：答案 token 在第 $\tau$ 步提交后不再受控；32 token 响应、64 步日程下前 32 步每步提交一个 token，所以只有前 32 个命令有效。默认参数 $s^*=0.9$、$(K_p,K_i)=(3,0.1)$、$\alpha_{\max}=6$ 在 100 个校准题上选定；$K_i=0$ 退化为比例控制，加 $K_d=1$ 得 PID，$s^*=0$ 且命令范围取 $[-6,0]$ 则变成偏见抑制器。
技术新颖性
新颖性有四层。第一，控制轴新颖：PID Steering（Nguyen et al. 2026）把控制回路架在网络的『深度』轴上，本文把回路架在去噪『时间』轴上，被控输出是攻击者指定答案的概率——这是掩码 dLLM 结构独有的新攻击面，论文称之为去噪轨迹这一新的控制通道。第二，证据链完整：不是简单声称反馈好，而是用努力匹配消融（同方向、同注入位置、同平均强度 3.28 的常数开环只到 gap 3.5 且 20.8% 输出损坏）和逐样本静态强度（从 $p_0$ 设定仅 4.8，事后 oracle 也只有 8.4，仍差 PI 8.3 个百分点且区间不含零）把增益精确定位到『去噪过程中的在线调整』本身。第三，理论闭环：在提交窗口 $t<\tau$ 内的局部线性假设下，证明了开环必然失败的充分条件（命题 1 与推论 1：有限提交窗口还会抬高所需阈值 $\alpha^*(t)$）、比例控制留稳态误差（命题 2）和 PI 回路的指数稳定性与积分收敛（命题 3），从而统一解释了为何在 Black-target BBQ 与 SocialStigmaQA 上反馈大胜、而在 LLaDA-MoE 上调优常数反而赢。第四，攻防同构：同一回路取 $s^*=0$、命令反号即成抑制器，凸显该推理接口的双刃性。
实验结果
主实验（Black 目标、BBQ 400 题 × 3 答案轮换 = 1,200 prompt，LLaDA-8B-Instruct）：未引导基线 gap 仅 1.8 pp（弃权率 76.3%、无效输出 0%），Decode PI 把 gap 拉到 16.7 pp（目标率 30.4%、弃权率降至 48.1%、无效输出 7.8%），而最强固定强度基线（调优开环 $\alpha=4$）只有 4.6 pp——约为本文方法的 3.6 倍差距；全部 7 个激活导向基线均不超过 +2.8 pp（CAA +1.6、ActAdd +2.3、Mean-AcT +1.7、Local Gaussian AcT +0.8、ITI-C +0.3、AurA 放大/抑制为负）。RQ2 归因消融把增益定位到反馈本身：努力匹配开环（$\alpha=3.28$）只达 3.5 且 20.8% 无效，从 $p_0$ 逐样本设常数只达 4.8，事后 oracle 每样本常数也只有 8.4，PI 领先 oracle 8.3 pp 且区间不含零；层级 PI（跨深度自适应、从不读答案）只有 3.1，反证时间轴反馈才是关键。RQ3 迁移：Arab 目标 gap 22.3（$\Delta g$ +22.5，无效 9.7%），Old 年龄目标 gap 31.8（$\Delta g$ +37.2，全文最大偏移）；但 Asian/White/Latino 上 PI 无效率达 93.8%/96.1%/59.6%，被如实报告为失败而非攻击；Dream-7B 上在 $\alpha_{\max}=1$ 的连贯性约束下仅 +4.2（区间不含零但领先基线不显著）；LLaDA-MoE 上调优 CAA 反而以 2.3 pp 稳定胜过 PI。SocialStigmaQA（518 题、1,554 prompt、7 个种族污名）：未引导污名化回答率 17.6%，PI 拉到 58.1%，$\Delta g$ +83.8（语义解析器下 +99.9、无效率降到 1.4%），且在非种族题上拟合的方向迁移到全部 7 个污名组。防御：$s^*=0$ 反号控制器把 gap 压到 0.2（无效 1.8%），但只证明近零区间内反号控制稳定。成本：方向拟合 <1 分钟，单轮换 13.1–13.4 分钟，每次攻击约 40 分钟单卡。机制上（Figure 1、附录 C.7）：控制器命令随样本初始倾向显著变化（相关性 $-0.92$，10–90 分位跨度 2.2–4.1），78% 序列至少一次下调命令，成功序列末步概率达 0.86 且仅 8% 触及命令上限，31% 的命令方差发生在序列内部——固定任何常数都无法复现这一轨迹。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| BBQ 歧义题定向偏见注入（Black 目标，LLaDA-8B-Instruct，1,200 prompts） | 目标-比较组差距 g（pp） | 16.7（Decode PI，目标率 30.4%，无效输出 7.8%） | 1.8（未引导）；4.6（最强基线：调优开环 α=4） | 相对未引导 +14.9 pp，约为最强固定强度基线效果的 3.6 倍 |
| SocialStigmaQA 三选项改造（7 个种族污名，518 题 / 1,554 prompts） | 污名化-安全答案差距 Δg（pp，严格解析器） | +83.8（污名化回答率 17.6%→58.1%） | +62.6（调优开环 α=4）；+45.9（层级 PI） | 比最强基线高 21.2 pp；语义解析器下达 +99.9 且无效率降至 1.4% |
| BBQ Arab 目标（LLaDA-8B） | gap / Δg（pp） | 22.3 / +22.5（无效 9.7%） | 12.8 / +12.9（开环 α=4） | 几乎翻倍，是满足 15% 无效门槛的最强种族目标 |
| BBQ Old 年龄目标（LLaDA-8B） | gap / Δg（pp） | 31.8 / +37.2（无效 9.3%） | 25.8 / +31.3（开环 α=4） | 全文最大答案偏移 +37.2 pp |
| 反馈机制消融（同方向、同注入位置、同平均强度 3.28） | gap（pp）与无效率 | 16.7 / 7.8%（Decode PI） | 3.5 / 20.8%（努力匹配常数开环）；8.4 / 13.4%（事后 oracle 每样本常数） | 领先 oracle 8.3 pp 且无效率低 5.6 pp，证明增益来自去噪过程中的在线反馈而非剂量选择 |
局限与改进
作者承认的：控制器增益在 400 题中的 100 题上校准（恰是评测池的前四分之一），且若干目标的开环强度也在评测数据上挑选（虽有三组额外抽样的 held-out 复核，操作点选择仍不干净）；只研究从答案字母概率读取信号的多选题设定，自由文本生成中目标没有单一 token 可测，完全未验证；控制论分析是局部的、假设提交前线性响应；SocialStigmaQA 的结果证明的是『答案控制』的迁移而非针对种族污名的机制（无身份描述的诊断 prompt 偏移量相近，校准与评测共享全部 37 个模板）。我补充观察的：其一，攻击本身代价不小——PI 无效率 7.8%（未引导为 0%），且几乎所有干预都把『弃权即正确』的准确率从 76.3% 砍到 48.1%，攻击者以牺牲连贯性为吞吐换取偏见。其二，答案位置影响巨大：目标选项在 A 位时 gap 为 39.5，B/C 位平均只有 5.3，单个答案顺序就可能严重误估攻击效果。其三，跨模型迁移脆弱：Dream-7B 只剩 +4.2，LLaDA-MoE 上常数反而赢（其残差范数层间涨约 405 倍，全块注入全部失效，只能单块注入），Asian/White/Latino 直接超标失效，说明方法对模型架构与残差流尺度高度敏感。其四，防御实验只在未引导 gap≈1.8 的近零区间验证了反号控制稳定，对已存在大偏见的场景能否纠偏仍是空白。其五，『40 分钟单 GPU』的低成本意味着这是可持续重放的持续性威胁，而非一次性风险。
独立分析的弱点
第一，信号读取依赖答案字母概率：攻击只在『答案占据首个生成位置、且攻击者从标注知道目标字母』的多选题设定下成立；一旦应用做自由生成或把答案藏在长文本中，$p_t$ 无从定义。改进方向：用目标群体名称/描述性短语的聚合概率作为传感器，或用轻量语义分类器替代字母探针，把反馈信号推广到 span 级。第二，传感器误差会实质性误导控制器：对 Arab 目标，若 $p_t$ 不计入小写字母 token，由于引导本身把 480/580 的目标成功输出变成小写（uppercase-only 读数中位数仅 $5\times10^{-5}$），积分持续空转，平均命令从 4.56 升到 3.60、饱和比例从 0.38 升到 0.16，gap 偏移 $-3.8$ pp。改进方向：传感器应系统覆盖大小写/变体/同义词，或对读数做在线校准。第三，多目标组合未研究：每个方向单独拟合、每个目标单独调参（部分还在评测集上挑），攻击者若想同时影响多个属性或与越狱手段叠加，方向间干扰未知。改进方向：研究多方向组合注入的可加性与干扰界。第四，连贯性代价未进入控制回路：$\alpha_{\max}$ 固定，无效输出只在事后统计；可引入无效率的代理信号（如输出熵、重复度）做双目标控制或约束式控制。第五，跨模型泛化差：LLaDA-MoE 需要改到单块注入、Dream 上增益微弱；改进方向：按块归一化方向范数、自适应块选择，或借用最优传输类方法（如 AcT）拟合更可迁移的方向。
未来方向
作者提出的：把攻击扩展到自由文本生成——没有单一目标 token 可测量时的反馈信号设计是核心难点；测试服务层防御——论文明确指出审计应探测被服务的端点而非检查点，且攻击会留下廉价签名（歧义题上弃权率下降、无效输出上升，无需知道目标群体即可在固定探针集上检出）；把运行时激活 hook 纳入可信计算基。基于成果可延伸的：其一，把闭环控制转用于良性可控生成——在 dLLM 上做属性约束解码（强制格式、情感/主题控制、医学术语约束等），PI 反馈是比一次性插值更自然的框架，这也呼应了论文标题『噪声出去』的另一面。其二，做真正的事后去偏评估：在未引导 gap 很大的模型/数据集上测试 $s^*=0$ 反号控制器能否纠偏，并与 FairSteer 类检测式去偏比较样本效率。其三，形式化服务栈审计协议：把『弃权率/无效率异常检测』做成常驻探针，量化最小可检测攻击规模与误报率。其四，理论上突破局部线性假设：分析命令饱和、多 token 同步提交、双向注意力带来的位置间耦合对稳定域（公式 21）的影响。其五，在 LLaDA-MoE 这类残差尺度剧变的架构上研究『常数何时赢』的判据（论文已给出方向：单一强度够用则反馈无增益），划清反馈控制的适用边界。
复现评估
代码已在 GitHub 公开，覆盖方向拟合、生成、干预、答案轮换与评测，公式 3–6 完全指定方向、干预与控制器。但复现声明坦承：独立复现目前需要存放于代码库之外的实验产物和已拟合方向张量，计划中的发布才会补齐数据集/模型 revision、切分清单与种子、源/派生文件哈希、拟合张量与校验和、环境锁文件、逐行命令以及全部 23,310 条 SocialStigmaQA 输出与模板聚类 bootstrap 设置。算力门槛低：一张能跑 8B 模型推理的 GPU（论文用 RTX PRO 6000）即可，方向拟合 <1 分钟，单轮换 13.1–13.4 分钟，主评测约 40 分钟/目标。数据全部来自公开基准（BBQ、SocialStigmaQA 官方发布），协议细节（严格解析器定义、三重答案轮换、prompt 级与 item 聚类双套 bootstrap、校准切分、解析器敏感性分析）在附录 A 写得极为细致。总体评估：方法论复现难度中低（理解并重实现 PI 回路约一两天工作量，超参在 4.1 节和附录 B 全部给出），比特级复现目前受制于未发布的拟合张量与输出文件，待 artifact 发布后应达到『直接可跑』水平。
论文图表
(a) 用一个招聘歧义题（无资格信息，弃权 A 为正确答案）演示闭环攻击：冻结模型沿固定方向被引导，每次去噪后攻击者读取未决答案位置的目标答案概率并调整下一步强度，锁形标记表示 token 提交。(b) 在 Black/Arab/Old/SocialStigma 四个设定上量测固定强度开环与闭环攻击向目标偏移的 Δg 对比，闭环增益显著更大（如 Black +14.9、Arab +22.5、Old +37.2 pp）。
用具体例子把威胁模型、攻击流程和量化增益一图讲清，是读者建立直觉的最佳入口。
主结果表。13 个方法（未引导基线、7 个激活导向基线、4 个开环/静态消融、层级 PI、Decode PID/PI）的目标率、比较组率、弃权率、无效率、gap 与 Δg。Decode PI 达 gap 16.7（Δg +14.9，无效率 7.8%），无任何基线超过 4.6；努力匹配开环 gap 仅 3.5 但无效率 20.8%；事后 oracle 每样本常数达 8.4。
RQ1（能注入多少偏见）和 RQ2（增益来自反馈本身）的全部定量证据集中于此，是论文最重要的表格。
第二基准结果。未引导污名化回答率 17.6%、gap −44.3；Decode PI 把污名化率拉到 58.1%，严格解析器下 Δg +83.8、语义解析器下 +99.9（无效率从 17.4% 降到 1.4%），超过最强开环（+62.6）；表中还标注了全无效行（Local Gaussian AcT）按构造得 +44.3 属于评分失败而非攻击。
展示攻击在第二个基准上的强度，同时示范了如何诚实处理解析器选择和『按构造得分』等度量陷阱。
左：Black 目标上 decode-time 控制器与全部基线的 gap 及 95% prompt 级 bootstrap 区间（Decode PI 16.7 明显高于开环 4.6 与其他基线）。右：Black/Arab/Old 三个目标上 PI 与未引导基线的 gap 对比（+14.9 / +22.5 / +37.2 pp）。
汇总 RQ1 与跨目标效果的一页概览，适合快速把握『反馈在哪些轴上赢、赢多少』。
SocialStigmaQA 上全部方法的解析器敏感性：严格解析器、答案文本（语义）解析器、strict-valid 三种评分下的 Δg 及对应无效率。PI 在语义解析器下无效率从 17.4% 降至 1.4%、Δgsem 达 99.9；开环 α=4 的无效率在语义解析器下反升至 37.8%。
展示度量选择（解析规则）如何实质改变结论，是这篇论文评估方法学上最值得借鉴的部分，也是解读 Table 2 数字的必要补充。