SpatialEdit：面向细粒度图像空间编辑的基准测试 SpatialEdit: Benchmarking Fine-Grained Image Spatial Editing
提出空间编辑基准+50万条合成数据+16B模型，专攻物体平移/旋转与相机视角控制。
前置知识
MM-DiT（多模态扩散 Transformer）
一种基于 DiT 的多模态扩散生成架构，将文本与图像的噪声 token 在 Transformer Block 内通过联合注意力机制融合。相比 UNet 路线，MM-DiT 拥有更好的可扩展性和条件注入灵活性，是当前 SOTA 图像/视频生成（如 SD3、Flux）的主流骨干。
本文的 SpatialEdit-16B 正是采用 MM-DiT 解码器，并在其上做 LoRA 微调；若不理解 DiT 的 token 化与条件注入方式，就难以把握两阶段训练策略的设计动机。
LoRA（低秩适配）
LoRA 在原有权重旁并行引入低秩矩阵 $A$ 和 $B$（$r \ll d$），仅训练这两个矩阵而冻结主模型，以极少参数实现对模型行为的定向调整。论文使用 rank $= \alpha = 16$。
本文的核心训练策略就是"先用全量微调学一般编辑，再用 LoRA 学空间编辑"，理解 LoRA 才能体会为何可以做到不破坏通用编辑能力的同时获得空间控制能力。
SAM3（Segment Anything Model 3）
Meta 提出的通用分割基础模型，能根据文本提示或视觉提示对图像中任意物体输出高质量像素级掩码。在本文中用于渲染 GLB 物体八个视角后，自动校验物体是否被正确分割出来。
空间编辑数据集的自动构建高度依赖 SAM3 做掩码校验与合成；理解其输入输出形态有助于复现整条数据流水线。
VGGT（视觉几何基础 Transformer）
一种前馈式 Transformer，可从单张或多张图像直接推断相机内外参、深度、点图及 3D 点轨迹，把场景建模为全局一致的 3D 表示，无需显式 BA 优化。本文用它来评估编辑后图像的相机姿态。
空间编辑评测的核心创新就是把 VGGT 作为"几何评判器"，从输出图像反解相机外参，与 GT 比较得到 Viewpoint Error；理解这一点才能体会评估为何能摆脱 VLM 打分的主观性。
VGGT/SO(3) 上的测地距离
两旋转矩阵 $\mathcal{R}_1, \mathcal{R}_2 \in SO(3)$ 的角度差定义为 $d_{geo}=\arccos\bigl((\mathrm{Tr}(\mathcal{R}_1^\top \mathcal{R}_2)-1)/2\bigr)$，单位为度。
本文 Viewpoint Error 中的 $\epsilon_{rot}$ 正是用该测地距离衡量预测相机与 GT 相机的方向差；不熟悉测地距离就读不懂 VE 公式的物理含义。
研究动机
图像编辑正从"改什么"（增删替换风格）转向"在 3D 空间里怎么改"，即所谓的空间编辑：相机级视角操控（pitch/yaw/zoom）和物体级操控（平移、缩放、旋转）。然而当前模型普遍存在三类失败：第一，像 MotionCtrl、CameraCtrl 这类世界模型要求用户提供完整 6-DoF 相机轨迹，普通用户根本用不起；第二，QwenImageEdit、Seedream4 这类通用指令编辑模型擅长语义修改，却常常把"将相机左转 90°"或"把物体转到右前侧"这类几何指令理解错，输出"看起来对但其实不对"的图像；第三，Edit-R1、LongCatImage-Edit 等虽具备一定空间推理能力，但只覆盖单一操作或单一设定，无法泛化到完整操作集。表 1 表明，现有的 ImgEdit、GEdit、CEdit 评测套件均缺乏 VLM+精确几何度量，对几何合规性的判别力严重不足。
本文的目标是本文的目标有三：(i) 发布 SpatialEdit-Bench 基准，覆盖物体级与相机级空间编辑的几何敏感评测；(ii) 发布 SpatialEdit-500k 数据集，借助 Blender 流水线提供具有精确几何真值的成对监督；(iii) 发布 SpatialEdit-16B 基线模型，在保持通用编辑竞争力的同时，大幅提升空间编辑能力。最终希望补齐"语义对齐"与"几何合规"之间的鸿沟，让业界能在几何层面可靠衡量模型进步。
与已有工作不同的是，与 ImgEdit（不测相机/旋转）、GEdit（仅翻译+语义）、CEdit（仅翻译+相机但无精确度量）相比，本文独到之处在于把评测分成两层：物体级用 IoU×VLM 一致性的几何均值，相机级用 VGGT 反解相机外参计算 Viewpoint Error 加 YOLO 框对齐计算 Framing Error，并且在 Spearman 相关性上证明 VE = 0.932、FE = 0.659 显著高于 GPT4.1 的 0.445。数据上，所有真值变换都由 Blender 合成而非人工标注，可以做到 yaw 45°、pitch 15° 的密集离散覆盖；模型上，将通用编辑微调与 LoRA 空间专用微调解耦，是少有同时报告 GEdit-Bench 分数（8.09/7.80/7.52，与 LongCat-Edit 8.18/8.00/7.64 基本持平）和空间编辑大幅领先的方案。
核心方法
整体方法可以理解成"评测-数据-模型"三件套。评测端通过 VGGT 把图像反解到相机坐标系，从而第一次在图像编辑基准中引入几何真值比较；数据端借助 Blender 渲染 GLB 物体与场景，用 VLM+SAM3+YOLO 三道质检流水线自动合成 50 万条带精确变换真值的样本；模型端采用 Qwen3VL 编码文本、VAE 编码图像、MM-DiT 去噪的两阶段训练（先用 gpt-image-edit 等通用编辑数据做全量微调，再用 SpatialEdit-500k 做 LoRA 精调）。直觉上：先把模型训练成"听指令改图"的通才，再用低秩适配把它塑造成"听空间指令精确改图"的专家，从而避免灾难性遗忘。
核心创新是把"几何真值"作为第一公民注入到数据与评测两端。在数据端，所有物体八视角渲染、相机 yaw/pitch/zoom 采样都由 Blender 提供解析真值，相比真实抓取的图像对噪声低、可控性强；在评测端，用 VGGT 反解出 $\widetilde{\mathcal{R}}_{\mathrm{gt}}$、$\widetilde{\mathcal{R}}_{\mathrm{pred}}$ 后用 SO(3) 测地距离和归一化相机中心位移来定义 Viewpoint Error，使 Spearman 排序相关达到 0.932，远高于 GPT-4.1 的 0.445。第二个创新点是"两阶段解耦训练"：第一阶段在剔除空间样本的通用编辑集上做全量微调，第二阶段固定主权重仅用 LoRA 适配空间编辑任务，这样既能保住 GEdit-Bench 7.52 的 Overall 分数，又能在空间任务上相对 baseline 取得 0.487/0.143 的提升。
方法步骤详情
物体级流水线：(1) 从 TexVerse 取 GLB 资产，Blender 渲染正面视图；(2) VLM 校验正面、过滤侧面明显的资产；(3) 沿物体一周采 8 视角，SAM3 以 caption 为 prompt 切掩码；(4) 每视角做 8 次随机平移+缩放扰动，SAM3 校验可见性；(5) Nano-Pro 生成匹配背景，把物体 inpaint 进去得到带 2D 包围框样本。相机级流水线：(1) 建 3D 场景池并挑焦点；(2) 按 yaw 45°、pitch 15°、distance 三自由度采样渲染；(3) YOLO 剔除焦点缺失图，QwenVL-30B 剔除穿插、构图异常图；(4) 对同一焦点的两帧算 $(\Delta\theta_y,\Delta\theta_p,\Delta d)$ 转指令。模型两阶段训练：(1) 用 gpt-image-edit + 内部数据训 MM-DiT，AdamW、$\eta=10^{-4}$，前 1000 步 warmup；(2) 冻结权重，在 SpatialEdit-500k 上用 LoRA（rank=$\alpha=16$）精调。
技术新颖性
新颖性主要体现在三点：其一，将 VGGT 引入图像编辑评测，提出 SO(3) 测地距离 + 归一化相机中心位移的 Viewpoint Error 公式 $\mathrm{VE}=\frac{1}{2}(\epsilon_{xyz}+\epsilon_{rot})$，并在受控视图排序实验中验证其 Spearman 相关性 0.932，远超 VLM 评判；其二，构造了一套 Blender 全自动的双分支（物体级 + 相机级）数据引擎，用"渲染-校验-合成"三段式把"物体八视角 + 随机扰动"与"相机三自由度采样"都打通，输出 50 万条带精确几何真值的样本；其三，提出"通用编辑全量微调 + 空间编辑 LoRA 精调"的两阶段解耦训练配方，避免在数据量远小于通用编辑集时破坏先验。模型架构本身（Qwen3VL + VAE + MM-DiT）借鉴了已有工作，但 LoRA 接入方式与训练数据组合（Mov+Rot+Cam 多任务混合优于单任务）是本文的实证贡献。
实验结果
表 2 显示 SpatialEdit 在物体移动得分 0.673 上比 LongCat 的 0.373 高 0.300、比 Qwen 的 0.311 高 0.362；物体旋转 0.632 也全面超越所有基线（Edit-R1 0.562、LongCat 0.505）。相机级 VE 从 LongCat 的 0.802 降到 0.243（提升 0.559），FE 从 0.684 降到 0.527，总体相机误差 0.385 vs 0.743（提升 0.358）。ViduQ2-Turbo、Kling-V2.5、Veo3.1 等视频世界模型 VE 都超 1.0，验证"视频模型在精确相机控制上不如图像模型"。表 5 表明在 GEdit-Bench 上 SpatialEdit 取得 SC 8.09/PQ 7.80/O 7.52，与 LongCat-Edit 8.18/8.00/7.64 相当。表 3 消融显示三任务混合训比单任务更佳（0.673/0.632/0.385）。表 4 中 VE 的 Spearman 排序相关 0.932 远超 GPT-4.1 的 0.445。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 物体移动 (SpatialEdit-Bench) | Moving Score ↑ | 0.673 | LongCatImage-Edit 0.373 / QwenImageEdit 0.311 / Edit-R1 0.306 | +0.300 vs LongCat，+0.362 vs Qwen，+0.367 vs Edit-R1 |
| 物体旋转 (SpatialEdit-Bench) | Rotation Score ↑ | 0.632 | Edit-R1 0.562 / QwenImageEdit 0.531 / LongCat 0.505 | +0.070 vs Edit-R1，+0.127 vs LongCat |
| 相机视角控制 (SpatialEdit-Bench) | Viewpoint Error ↓ | 0.243 | LongCat 0.802 / Qwen 0.922 / ReCamMaster 0.755 / LingBot-World 0.696 | −0.559 vs LongCat，−0.679 vs Qwen，−0.453 vs ReCamMaster |
| 相机取景 (SpatialEdit-Bench) | Framing Error ↓ | 0.527 | LongCat 0.684 / Qwen 0.692 / Edit-R1 0.688 | −0.157 vs LongCat，−0.165 vs Qwen |
| 通用编辑 (GEdit-Bench-EN) | SC / PQ / Overall ↑ | 8.09 / 7.80 / 7.52 | LongCat-Edit 8.18/8.00/7.64；Qwen-Image-Edit 8.00/7.86/7.56 | 与开源 SOTA 基本持平（Overall −0.12 vs LongCat） |
| 相机指标排序能力 | Spearman Correlation ↑ | VE 0.932 | FE 0.659 / GPT4.1 0.445 | +0.273 vs FE，+0.487 vs GPT4.1 |
局限与改进
作者明确指出几项局限：(1) 物体级旋转只支持 8 个离散视角，无法表达 yaw/pitch 连续参数；(2) 训练数据全来自 Blender 合成，对真实图像域的泛化未充分验证；(3) 相机基准仅覆盖 yaw/pitch/zoom 三自由度，未涉及 roll 与复杂曲线轨迹；(4) VGGT 反解相机姿态本身存在误差，弱几何场景下 VE 可能不可靠。我们的额外观察：(a) SpatialEdit-16B 的 GEdit Overall 7.52 仍略低于 LongCat 的 7.64，说明通用能力在 LoRA 阶段略有回退；(b) 物体旋转 0.632 vs 移动 0.673 仍有 0.041 差距，可能源于 VLM 评判 Sview 的主观性；(c) 评测依赖 YOLO，对训练类别外物体 IoU 估计会失真；(d) 论文未提供推理延迟、显存占用等效率指标。
独立分析的弱点
独立分析发现几个潜在弱点：(1) 旋转只支持 8 个离散视角，用户若说"转到 30° 方向"模型只能 fallback 到最近邻，建议扩展为 16 或 32 个视角并把训练目标改为相对角度差；(2) 数据全部来自 Blender 合成，缺少光照多样性、真实相机噪声与遮挡，建议在 SpatialEdit-500k 上混入 10-20% 真实编辑样本做 domain adaptation；(3) LoRA 仅 rank=16，对相机精细控制的表达能力受限，建议在相机子任务上单独训练 rank=64 的 LoRA；(4) 评测依赖 YOLO 检测器，对训练类别外物体（如非常见类别）IoU 失真，建议换成开放词汇检测器如 Grounding-DINO；(5) 物体移动指令依赖红框提示，但当目标框被遮挡或与其他物体交叠时模型容易失败，建议引入 SAM3 在编辑前后做掩码一致性校验；(6) GEdit Overall 7.52 略低于 LongCat 的 7.64，可在通用编辑数据上做更长 warmup 或加入 Replay 缓解遗忘。
未来方向
作者在第 6 节提出的方向包括：将几何推理更紧密地与高质量图像合成耦合，发布基准、数据、模型以推动可复现的进展。基于成果可延伸的方向：(1) 把 SpatialEdit 的相机控制能力扩展到视频生成，把单帧 6-DoF 控制升级为相机轨迹规划，可与 Wan、CogVideoX 等视频基础模型结合；(2) 在 SpatialEdit-16B 的 MM-DiT 上引入 3D-aware 位置编码或 PLUCID 类的几何特征，让模型原生理解深度而非仅靠 LoRA 拟合；(3) 用 VGGT 反解出的相机轨迹作为"免费"监督信号，训练一个通用的 Image-to-3D 重建模型，复用同一份数据；(4) 把 8 视角旋转推广到任意角度回归，结合 Gaussian Splatting 输出做真正的 3D 一致性编辑；(5) 把 VLM 评分替换为基于 VGGT+SAM3 的全自动几何评分，构建无人工标注的 self-play 数据飞轮。
复现评估
项目页 https://github.com/EasonXiao-888/SpatialEdit 提供代码与权重，仓库将在论文正式发表后逐步开放。数据合成依赖 Blender 4.x + TexVerse GLB 资产 + Nano-Pro + SAM3 + QwenVL-30B + YOLO；复现 50 万条数据流水线需数百到上千 A100 小时（论文未披露具体 GPU 时长，按 1024×1024 多视角渲染估算）。模型方面：SpatialEdit-16B 基于 MM-DiT，预训练使用了"专有内部数据"，无法从零复刻；但作者承诺开源 LoRA 权重，可在 Qwen-Image-Edit 等开源基线之上复现空间编辑能力。评测方面：SpatialEdit-Bench 的评测脚本与 VGGT+YOLO 依赖都已开源，核心指标 VE/FE/MS/RS 公式明确（详见 Algorithm 1/2）；16B 模型推理需 ≥48GB 显存。
论文图表
展示空间编辑的两大类操作：相机级 (Pitch/Yaw/Zoom In-Out) 和物体级 (Rotation 八个离散视角 + Translation & Scaling 用户框定)。每个子任务都用一对输入-输出图直观说明目标变换。
这张图奠定了全文的任务定义，是读者建立空间编辑直觉的第一步，也是后续数据流水线与评测分类的依据。
对比 ImgEdit、GEdit、CEdit、SpatialEdit-Bench 在物体 Translation/Scaling/Rotation、Camera Manipulation、VLM/精准几何度量上的覆盖情况：前三者都至少缺一项，SpatialEdit-Bench 全部勾选。
这是动机核心证据，量化展示现有基准在空间编辑评测上的空白，直接支撑本文的贡献 (i)。
VE 取得 Spearman 0.932，FE 取得 0.659，GPT4.1 仅 0.445，证实几何指标排序能力显著优于 VLM 评判。
为本文评测协议的几何合理性提供定量证据，是贡献 (i) 的关键支撑。