BadWorld：对自回归视觉世界模型的对抗攻击 BadWorld: Adversarial Attacks on World Models
提出无标签对抗框架BadWorld，攻击自回归世界模型速度场暴露其脆弱性
前置知识
自回归视频生成
将视频按序分解为 K 个 chunks 生成：$p(z_{1:K} | x, \tau_{1:K}) = \prod_{i=1}^{K} p(z_i | z_{<i}, x, \tau_i)$。每片段条件含上下文 $x$、历史 $z_{<i}$ 与控制 $\tau_i$（相机轨迹或动作）。
本文攻击对象正是这种交互式、依赖历史、控制条件化的生成范式，是理解 C1（无未来监督）和 C2（控制信号未知）两大挑战的基础。
流匹配 (Flow Matching)
一种生成建模框架，通过在数据 $z$ 和高斯噪声 $\epsilon$ 之间构造插值 $z^t = (1-t)z + t\epsilon$，训练速度网络 $v_\theta$ 预测传输方向 $v^* = \epsilon - z$。推理时通过积分 ODE 生成样本。
BadWorld 的核心攻击发生在速度空间 $\hat{v}_\delta = v_\theta(\epsilon, t | h_n^\delta, \tau, p)$ 上，必须理解流匹配才能把握其工作原理。
对抗攻击与 PGD 优化
L∞ 约束 $\|\delta\|_\infty \leq \eta$ 下用 PGD 最大化损失：$\delta_{k+1} = \Pi_\eta(\delta_k - \alpha \cdot \text{sign}(\nabla_\delta \mathcal{L}))$，让输出偏离预期。
BadWorld 内层优化使用 PGD 更新扰动 $\delta$，是攻击得以实施的具体技术手段。
CMA-ES 进化策略
协方差矩阵自适应进化策略，通过维护多维高斯分布 $\mathcal{N}(m^{(g)}, (\sigma^{(g)})^2 C^{(g)})$ 并根据候选解的适应度更新均值和协方差，从而高效搜索非可微的目标函数。
本文外层循环中挖掘"难控制轨迹"的优化目标对相机轨迹不可微，必须用 CMA-ES 作为无梯度搜索器，是轨迹自适应双层优化的关键组件。
研究动机
视觉世界模型（VWM）正从被动的视频生成器转向交互式模拟器，给定单张上下文图像和用户定义的动作序列，可合成动作条件化的未来视频。然而其在自动驾驶、机器人等安全敏感场景中的部署带来了关键稳健性疑问：当前世界模型学习到的动力学对小输入扰动是否稳定？传统对抗攻击难以直接适用，因为自回归世界模型具有交互式、依赖历史、控制条件化的特点，带来两个核心挑战：C1 缺少未来监督——攻击者只能观察单张上下文图像 $x$，没有配对的未来视频或预定义正确轨迹，基于参考的对抗损失无法直接使用；C2 未知的未来控制——生成过程依赖用户未来的相机路径或离散动作信号，攻击者无法预测，对一个固定轨迹优化的扰动很可能在控制信号改变时失效。
本文的目标是本文提出 BadWorld 框架，旨在构造一个视觉上与干净图像几乎不可区分的对抗扰动 $x^{adv} = x + \delta$（约束 $\|\delta\|_\infty \leq \eta$），使得在任意未来控制序列下，自回归世界模型 $G_\theta$ 生成的视频都会出现严重失真，如去噪不完全、结构崩塌、语义漂移或控制不一致。该方法在完全无未来视频监督的条件下运行，不需要任何配对的 ground-truth 视频或动作注释，同时通过对控制信号的主动搜索使攻击具备控制无关的泛化能力，从而在安全关键应用中暴露 VWM 的脆弱性。
与已有工作不同的是，现有对抗工作主要针对 T2I 个性化、I2I 编辑、I2V 流水线（如 SVD、CogVideoX、Wan2.1），这些方法都是固定生成条件或参考输出的设计范式。近期虽有针对世界模型的研究，如驾驶场景的物理条件扰动、世界代理的自动攻击搜索，但仅停留在条件级或搜索级攻击，且无法处理交互式自回归场景。本文是首个针对自回归视频世界模型图像空间攻击的工作，独特定位是同时解决无未来视频监督和未知未来控制两大难题，提出了在模型内部速度场而非像素空间进行攻击的新范式。
核心方法
BadWorld 由两个核心组件构成，分别对应两大挑战。S1 自监督速度攻击解决 C1：在速度空间直接攻击，利用模型自身去噪动力学作为监督；S2 轨迹自适应双层优化解决 C2：外层用 CMA-ES 搜索难控制轨迹，内层用 PGD 更新对抗扰动。直觉上，既然没有"正确答案"，就让模型自身的去噪过程自己来定义"什么是有害的"；既然控制信号会变，那就主动找到能抵抗当前攻击的难轨迹，让扰动对多样化控制都有效。
与已有攻击的本质区别在于两个层面。一是攻击空间从像素级输出转向模型内部速度场 $\hat{v}_\delta$，通过 $\|\hat{v}_\delta\|_2$ 或与静态参考速度 $v^{ref} = \epsilon - x^{ctx}$ 的偏差定义损失，无需任何未来视频监督；二是优化范式从单次固定轨迹优化升级为 min-max 双层博弈，使扰动在控制信号分布上具有真正的泛化能力而非过拟合到特定轨迹。
方法步骤详情
方法执行分七步。(1) 状态定义：构造查询状态 $\xi=(\tau,p,n,t,\epsilon)$，含控制 $\tau$、prompt $p$、chunk 索引 $n$、时间步 $t$、噪声 $\epsilon\sim\mathcal{N}(0,I)$。(2) 速度查询：在对抗上下文 $x+\delta$ 下让模型预测速度 $\hat{v}_\delta$。(3) 早去噪近似：$t\to1$ 时 $z_n^t\approx\epsilon$，消除对真值 chunk 的依赖。(4) 历史代理：用重复编码的对抗上下文作为可微历史条件 $h_n^\delta$。(5) PGD 优化：在 L∞ 约束下最小化对抗损失期望，含四种速度目标（VMax/VMin 攻击模长、DMax/DMin 攻击方向）。(6) 双层优化：外层 CMA-ES 维护轨迹高斯分布并按适应度更新，构造难轨迹池 $P_{hard}^{(n)}$；内层从中采样并对 $\delta$ 做 PGD 投影更新。(7) 轨迹参数化：每帧相机位姿 $c_t$ 由偏航、前进、横向位移三维组成。
技术新颖性
技术新颖性体现在三方面：其一，提出完全无标签的速度级攻击目标，在不需要任何配对未来视频的情况下，利用早去噪近似 $\epsilon \approx z_n^t$ 和上下文历史代理消除了对 ground-truth chunk 的依赖；其二，将轨迹参数化为 $(\psi, f, s)$ 三维向量并通过 CMA-ES 进行无梯度优化，开创性地将双层优化引入对抗扰动生成，使攻击具备控制信号无关性；其三，定义了四种互补的对抗损失（VMax/VMin/DMax/DMin），每种对应不同的视觉崩塌模式（色彩失真/结构崩塌/语义漂移/运动停滞），提供了系统化的攻击目标空间分析。
实验结果
在 Astra（表 1）Velocity-Min 最强，Aesthetic 从 0.501 降至 0.405、Imaging 从 0.690 降至 0.513、MEt3R 从 0.151 升至 0.264（+74.8%），是唯一全指标最佳攻击。Matrix-Game 2.0（表 2）脆弱性更广，Velocity-Min 同样最强，I2V Subject 从 0.897 降至 0.708、MEt3R 从 0.098 升至 0.204。视觉上 Velocity-Min 在 Astra 触发灰度伪影，在 Matrix-Game 2.0 触发完全结构崩塌（Fig. 2-3）。预算消融（表 3）显示 $\eta$ 从 0.03 增至 0.10 时效果单调提升。表 4 证明早去噪不可或缺，取消后 Aesthetic 反弹至 0.514、MEt3R 骤降至 0.167；上下文代理与自滚动效果相当但成本更低。双层优化（表 5/Fig. 4）将 Aesthetic 从 0.440 降至 0.425、MEt3R 从 0.249 升至 0.256，验证对控制信号的泛化。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| Astra 攻击：上下文背景一致性 | I2V Background ↓ | 0.930 (Velocity-Min) | 0.978 (Clean) | 下降 4.9% |
| Astra 攻击：背景一致性 | Background Consistency ↓ | 0.845 (Velocity-Min) | 0.915 (Clean) | 下降 7.7% |
| Astra 攻击：美学质量 | Aesthetic Quality ↓ | 0.405 (Velocity-Min) | 0.501 (Clean) | 下降 19.2% |
| Astra 攻击：成像质量 | Imaging Quality ↓ | 0.513 (Velocity-Min) | 0.690 (Clean) | 下降 25.7% |
| Astra 攻击：几何一致性破坏 | MEt3R ↑ | 0.264 (Velocity-Min) | 0.151 (Clean) | 提升 74.8% |
| Matrix-Game 2.0 攻击：成像质量 | Imaging Quality ↓ | 0.584 (Velocity-Min) | 0.648 (Clean) | 下降 9.9% |
| Matrix-Game 2.0 攻击：几何一致性破坏 | MEt3R ↑ | 0.204 (Velocity-Min) | 0.098 (Clean) | 提升 108.2% |
| Astra 困难样本：美学质量 | Aesthetic Quality ↓ | 0.425 (VMin+Bilevel) | 0.440 (VMin) | 进一步下降 3.4% |
局限与改进
作者明确承认或可从实验中观察到的局限性包括：(1) 模型覆盖范围有限——评估仅在两个开源世界模型 Astra 和 Matrix-Game 2.0 上进行，未涉及闭源商业系统如 Genie 3、Veo、World Labs 等，作者坦承这是"由于计算资源和模型可访问性的限制"；(2) 视觉不可感知性未充分量化——虽然约束了 $\|\delta\|_\infty \leq \eta$ 但未报告 PSNR、SSIM、LPIPS 等感知指标，难以判断 0.10 预算下扰动在真实场景中是否仍可保持不可感知；(3) 离散动作控制攻击效果边界未深入探讨——表 2 显示 Matrix-Game 2.0 上 Drift-Min 几乎无效（MEt3R 仅 0.101），说明不同控制范式下目标函数的普适性存在差异；(4) 攻击迁移性未研究——论文未探讨在一个模型上优化的扰动是否能迁移到其他世界模型；(5) 防御方法缺失——只评估了攻击，未讨论如何通过对抗训练、输入净化等手段提升 VWM 鲁棒性。
独立分析的弱点
独立分析论文存在以下可改进的弱点：弱点一：缺少跨模型迁移性实验——若扰动仅在特定模型上有效其实用价值有限，可考虑使用模型集成或通用特征空间作为攻击目标来提升迁移性；弱点二：双层优化的计算成本被低估——CMA-ES 每次需评估 $\lambda$ 条轨迹且每条需多次速度查询，文中仅在 100 张图像子集（10 张困难样本）上验证，扩展到大规模数据集时可能成为瓶颈，可考虑用 surrogate 模型或梯度近似代替 CMA-ES；弱点三：上下文重复作为历史代理虽然高效但可能引入分布偏移——尤其在长 rollout 场景下历史与真实 rollout 偏差会放大，导致攻击目标在长视野下不一定最优；改进方向是可学习历史编码器或可微 rollout 模拟；弱点四：扰动评估指标主要依赖 VBench，与人类感知一致性尚未验证，可补充 user study。
未来方向
作者提出的与可延伸的未来方向包括：(1) 将 BadWorld 扩展到更多类型的 VWM，包括 3D 场景生成模型和具身智能体模拟器；(2) 探索跨模型迁移性，研究扰动在不同 backbone（如 Wan2.1、SD3）之间的可迁移性；(3) 研究攻击与防御的协同演化，推动 VWM 鲁棒性基准建立。基于本文成果还可延伸出：(4) 利用 BadWorld 进行数据增强——通过扰动生成困难样本用于训练 VWM 自身的稳健性；(5) 探索 BadWorld 在版权保护、隐私防护中的实际部署方案——例如用极小扰动保护用户上传图像不被未授权 VWM 用于交互式生成；(6) 推广到物理对抗补丁或 3D 对抗物体，攻击真实世界部署的世界模型。
复现评估
可复现性评估：硬件方面，所有攻击在 A800 80GB GPU 上执行；软件方面基于开源模型 Astra（基于 Wan2.1）和 Matrix-Game 2.0（基于 SkyReelsV2-I2V-1.3B 蒸馏），两者均已开源，依赖 Flux Kontext 进行数据预处理；数据方面，作者构建了两个 100 张图像的定制数据集（来自 SpatialVID 自然景观视频和 GTA 游戏帧），数据集本身未公开，需自行复现；超参数方面，$\eta=0.05$ 为默认，预算消融覆盖 0.03/0.05/0.10；实现细节方面，CMA-ES 的种群大小、PGD 步长与步数、模型特定条件化等被推迟到附录，部分关键超参数（如 PGD 步数、CMA-ES 代数）需依赖附录。整体复现难度中等偏上——核心算法清晰但配套的相机/动作控制接口需要深入理解 Astra 和 Matrix-Game 2.0 的源码。
论文图表
