通过可控图像编辑对车辆检测器进行野外伪装攻击 In-the-Wild Camouflage Attack on Vehicle Detectors through Controllable Image Editing

方法步骤的完整描述如下：首先进行风格参考选择，对于图像级策略，给定输入图像$x_0$和车辆分割掩码$m_{x_0}$，首先膨胀掩码得到$m'_{x_0}=\text{dilate}(m_{x_0})$，参考区域定义为车辆周围上下文$x_{\text{ref}}=x_0\odot(m'_{x_0}-m_{x_0})$；对于场景级策略，首先使用多模态大语言模型将所有图像分类为不同的场景组，对于每个类别，查询多模态大语言模型识别场景中自然存在的概念，确保风格化的车辆外观与真实世界上下文在视觉上一致。然后进行No-Box Attack阶段训练，该阶段微调ControlNet使流水线能够使用参考风格图像伪装车辆，输入包括车辆的LAB空间的L通道$x^\text{L}$、风格参考区域$x_{\text{ref}}$、车辆掩码$m_x$，对于图像级策略还包括背景图像$x_\text{b}$。给定输入图像$x_0$，通过公式$\hat{z}_0=\frac{z_t-\sqrt{\alpha_t}\epsilon_\theta(z_t,c)}{\sqrt{1-\alpha_t}}$得到估计的潜在$\hat{z}_0$，通过解码器$D$得到重建图像$\hat{x}_0$。训练目标结合三个组成部分：结构保持损失$L_\text{struct}$保持车辆物理结构，风格损失$L_\text{s}$指导伪装生成，背景监督$L_\text{b}$用于图像级策略，总体损失函数为$L_\text{i}=L_\text{struct}+\alpha L_\text{s}+\beta L_\text{b}$，其中场景级策略中$\beta=0$，图像级策略中$\beta\neq0$。结构保持损失利用车辆的L通道约束重建的车辆结构，对于输入图像$x_0$和一步估计图像$\hat{x}_0$，提取两者的L通道并归一化到$(0,1)$，表示为$x^\text{L}_0$和$\hat{x}^\text{L}_0$，结构保持损失为车辆区域L通道的平均L2差异：$L_\text{struct}=\frac{1}{|m_{x_0}|}\|x^\text{L}_0\odot m_{x_0}-\hat{x}^\text{L}_0\odot m_{x_0}\|^2_2$。风格损失基于LatentLPIPS测量潜在空间中的感知距离，给定一步估计图像$\hat{x}_0$、车辆分割掩码$m_{x_0}$、风格图像$x_\text{s}$及其风格参考区域分割掩码$m_\text{s}$，首先将掩码图像编码为潜在表示$\hat{z}_0=E(\hat{x}_0\odot m_{x_0})$和$z_\text{ref}=E(x_\text{s}\odot m_\text{s})$，将下采样掩码表示为$m_{x_0}^{\downarrow}$和$m_\text{s}^{\downarrow}$，进一步应用下采样掩码去除背景干扰得到$\hat{z}^m_0=\hat{z}_0\odot m_{x_0}^{\downarrow}$和$z^m_\text{ref}=z_\text{ref}\odot m_\text{s}^{\downarrow}$，对于层$l$，提取特征图$F_l(\hat{z}^m_0)$和$F_l(z^m_\text{ref})$，使用下采样掩码从这些特征图中选择车辆和参考区域，最小化两个区域内平均特征的L1差异：$L_\text{s}=\sum_l \|\frac{\sum (F_l(\hat{z}^m_0)\odot m_{x_0}^{\downarrow,l})}{|m_{x_0}^{\downarrow,l}|}-\frac{\sum (F_l(z^m_\text{ref})\odot m_\text{s}^{\downarrow,l})}{|m_\text{s}^{\downarrow,l}|}\|_1$。背景重建损失观察到重建背景导致图像级策略下更连贯的车辆风格化，背景监督引入更强的像素级约束来锚定全局图像颜色和照明分布，使梯度能够通过共享特征传播并使车辆外观与其周围环境和谐。给定一步估计图像$\hat{x}_0$和车辆分割掩码$m_{x_0}$，将掩码图像编码为潜在表示$z_\text{b}=E(x_0\odot(1-m_{x_0}))$和$\hat{z}_\text{b}=E(\hat{x}_0\odot(1-m_{x_0}))$，进一步应用下采样掩码得到$z^m_\text{b}=z_\text{b}\odot(1-m_{x_0}^{\downarrow})$和$\hat{z}^m_\text{b}=\hat{z}_\text{b}\odot(1-m_{x_0}^{\downarrow})$，背景重建损失$L_\text{b}$是$z^m_\text{b}$和$\hat{z}^m_\text{b}$之间的LatentLPIPS损失。然后进行White-Box Attack阶段训练，该阶段继续微调第一阶段训练的ControlNet，目标是保持第一阶段学习的车辆外观同时欺骗车辆检测器$\mathcal{M}_\text{det}$。具体来说，用两个项增强第一阶段损失$L_\text{i}$：约束对抗输出中色度偏差的颜色一致性损失$L_\text{c}$和对抗性检测损失$L_\text{adv}$，组合目标为$L_\text{a}=L_\text{i}+\lambda L_\text{adv}+\gamma L_\text{c}$。对抗性损失给定一步估计图像$\hat{x}_0$和车辆分割掩码$m_x$，由于伪装攻击只允许编辑车辆，因此在通过检测器之前将真实图像背景和估计图像车辆组合，公式化为$x_\text{comp}=\hat{x}_0\odot m_x+x_0\odot(1-m_x)$，然后优化伪装车辆被检测器检测为背景，如果$\mathcal{M}_\text{det}(x_\text{comp})$表示检测器logits，$y_\text{b}$是背景标签，对抗目标可以写成交叉熵损失：$L_\text{adv}=\text{CE}(\mathcal{M}_\text{det}(x_\text{comp}),y_\text{b})$。颜色一致性损失观察到在白盒攻击期间，模型可能略微移动车辆颜色同时保持风格损失几乎不变以促进对抗损失$L_\text{adv}$的优化，导致不期望的颜色偏差，因此引入利用前一训练阶段知识的颜色一致性损失来稳定车辆外观。具体来说，条件为第一阶段训练的冻结ControlNet和此阶段训练的ControlNet从公式(2)重建一步输出，分别表示为$x_\text{i}$和$x_\text{a}$，两个输出都转换为LAB颜色空间，提取归一化的AB通道，得到$x_\text{i}^{\text{AB}}$和$x_\text{a}^{\text{AB}}$，最小化它们的差异以确保跨阶段一致的颜色表示，给定车辆分割掩码$m_{x_0}$，损失计算为车辆区域AB通道的平均L2距离：$L_\text{c}=\frac{1}{|m_{x_0}|}\|x_\text{i}^{\text{AB}}\odot m_{x_0}-x_\text{a}^{\text{AB}}\odot m_{x_0}\|^2_2$。最后在推理时，训练好的流水线通过直接采样合成伪装图像，无需逐图像优化，生成的伪装可以指导伪装相应的3D真实世界车辆。

技术新颖性体现在多个方面：首先，本文首次将在真实世界图像上对检测器的伪装攻击形式化为条件图像编辑问题，这一新的问题表述为对抗攻击研究开辟了新的方向；其次，本文提出了两种互补的伪装策略，图像级策略和场景级策略，分别模拟变色龙和蚱蜢的伪装机制，这是对自然界伪装机制的创造性借鉴；第三，本文设计了基于ControlNet微调的两阶段流水线，第一阶段独立于检测器学习风格化，第二阶段结合对抗性目标，这种分阶段训练策略在保证结构保持和风格一致性的同时实现了强攻击效果；第四，本文提出了多个创新的损失函数，包括基于L通道的结构保持损失、基于LatentLPIPS的风格损失、背景重建损失和颜色一致性损失，这些损失函数的设计巧妙地平衡了攻击强度、结构保持和视觉隐蔽性；第五，本文方法在推理时无需逐图像优化，通过直接采样即可生成伪装图像，大大提高了推理效率，这使得该方法在实际应用中具有更高的可行性；第六，本文方法展示了优秀的黑盒迁移性和物理世界可转移性，这表明学习到的伪装模式没有过拟合到特定检测器，而是能够跨架构泛化，这对于理解对抗攻击的本质具有重要意义。

独立分析的弱点包括具体场景和改进方向。首先，本文方法在图像级策略下对地面视图图像的效果有限，这是由于透视投影导致膨胀的车辆掩码周围包含在空间上远离目标对象的区域和多个语义类别，这使得难以学习一致的风格参考。改进方向可以考虑使用更智能的风格参考选择策略，例如基于语义分割和场景理解选择更相关的风格参考区域，或者引入注意力机制来加权不同区域的贡献。其次，本文方法没有显式建模3D几何和材料属性，这限制了伪装图案在复杂视角和光照条件下的有效性。改进方向可以探索结合3D几何感知的表示，例如使用神经渲染或可微渲染技术来显式建模几何和材料效果，或者引入多视图真实车辆捕获来更好地建模阴影和材料属性。第三，本文方法虽然在推理时无需逐图像优化，但训练过程需要两个阶段的微调，这可能增加了训练复杂度。改进方向可以考虑探索单阶段训练策略，或者设计更高效的损失函数组合来减少训练时间。第四，虽然本文方法实现了对黑盒检测器的迁移性，但对MLLM的攻击效果相对有限，这可能是因为MLLM具有不同的对抗性脆弱性模式。改进方向可以考虑专门针对MLLM设计对抗性目标，或者探索跨模型类型的对抗性迁移机制。第五，本文方法虽然在隐蔽性评估中表现良好，但在某些极端对比度场景下可能仍然不够隐蔽。改进方向可以引入更复杂的感知损失函数，或者使用人类在循环的方式来优化伪装图案的隐蔽性。

未来研究方向包括作者提出的方向和基于成果可延伸的方向。作者明确提出的未来工作方向包括探索几何感知表示和多视图真实车辆捕获，以实现更准确的阴影和材料属性建模。这可以将本文的图像编辑框架扩展到3D领域，结合神经渲染、可微渲染或辐射场等技术，实现更真实和有效的物理世界伪装。基于本文成果可以延伸的方向包括：首先，可以探索更广泛的伪装策略，例如动态伪装策略，使车辆外观能够随时间和环境变化自适应调整，类似于更高级的生物伪装机制。其次，可以研究对抗性防御机制，本文揭示的伪装攻击脆弱性可以启发新的防御方法，例如对抗性训练、检测器鲁棒性增强或对抗性检测方法。第三，可以扩展到其他对象类型和检测任务，例如行人检测、交通标志识别等，研究不同对象的伪装机制和检测器脆弱性。第四，可以探索多模态伪装攻击，结合视觉、红外、雷达等多模态信息，实现更全面的对抗性攻击。第五，可以研究伪装攻击的社会和伦理影响，包括潜在的安全风险、隐私保护和监管框架，这对于对抗性研究的负责任发展至关重要。第六，可以开发更高效和可扩展的伪装生成方法，例如通过模型压缩、知识蒸馏或神经架构搜索等技术，减少计算复杂度和内存需求，使伪装攻击方法在实际部署中更加可行。第七，可以构建更大规模和更多样化的数据集，包括不同天气条件、时间、地理位置和车辆类型的真实世界数据，以更全面地评估伪装攻击的有效性和局限性。

复现评估方面，论文提供了项目页面链接https://humansensinglab.github.io/CtrlCamo，表明作者可能提供代码和模型的开源访问。数据集方面，本文使用两个公开数据集LINZ和COCO，LINZ数据集包含在新西兰塞尔温上空收集的航空图像，地面采样距离为每像素12.5厘米，每个图像被裁剪为112×112像素的分辨率并标记有标记汽车中心的伪边界框，过滤包含汽车的图像后，数据集包括6011个训练和728个测试样本；COCO数据集包含多样化的自然场景和复杂的对象交互，从该数据集中提取包含车辆的图像，得到8965个训练样本和400个测试样本。算力方面，本文在两块RTX A6000 GPU上进行训练，批量大小设置为4，图像被调整到512×512像素的分辨率，测试时运行流水线进行30个采样步骤。实现细节方面，本文采用Stable Diffusion v1.5作为生成模型，使用MMDetection框架进行攻击和评估，使用Faster-RCNN和ViTDet作为白盒目标检测模型，进一步使用YOLOv5、YOLOv8和MLLM作为黑盒模型进行评估。超参数细节在附录C.1中讨论，表明作者提供了较完整的实现细节。基于这些信息，本文的复现难度属于中等，主要原因包括：训练需要两块RTX A6000 GPU，这对一些研究实验室来说可能难以获得；训练过程包括两个阶段，需要仔细调整超参数和损失权重；实现涉及多个组件的集成，包括扩散模型、ControlNet、检测器、多模态大语言模型等，增加了实现复杂度。然而，由于作者可能提供开源代码和使用公开数据集，有经验的团队应该能够复现本文的主要结果。