觉醒空间智能：面向统一多模态理解与生成的 JoyAI-Image Awaking Spatial Intelligence in Unified Multimodal Understanding and Generation

训练流程分 5 步。第一步，OpenSpatial 数据合成：从 ScanNet、Matterport3D、ARKitScenes、ScanNet++、Hypersim 等高精度室内扫描及网络视频出发，将 3D 定向边界框（OBB）作为统一几何锚点，通过 2D mask + 深度图把 OBB 反投影到像素平面，再用多视图循环一致性约束剔除不一致的 3D 框；然后产出两类 QA——单视图 QA（物体大小、距离、深度、姿态等）和多视图 QA（跨帧同一物体的位置/朝向推理），覆盖 SM/SR/CP/MC/SAR 五大类共 19 个子任务，最终得到 3M 条 OpenSpatial 数据。第二步，MLLM 空间专项 SFT：以 Qwen3-VL-8B-Instruct 为底座，配合 1.7M 通用 VQA、1.4M 数学、1.0M 文档图表、907.8K 语言、610.1K 多任务、463.7K OCR、3.3M OpenSpatial、49.4K VST 多视图子集等共 11.3M 样本，用 FSDP2 + 动态序列打包 + BF16 训练，ViT 用 5e-6、LLM 用 5e-5 的解耦学习率，并只在通用数据上加 $\lambda=10$ 的 KL 蒸馏以防灾难性遗忘。第三步，MMDiT 预训练：用 WanVAE 把图像压到潜码 $z_1$，采样噪声 $z_0$ 与 $z_t=(1-t)z_0+tz_1$，训练网络用 flow matching 目标预测 $z_1-z_0$；分辨率从 208P→512P→1024P 渐进训练，并在 1024P 阶段混入多视图数据；之后是 Continue Training（缩窄数据分布、强化高美感样本）和 SFT（聚焦双语长文本渲染 + 多视角一致性）。第四步，强化学习与空间编辑对齐：T2I 端用 Flow-GRPO，以美学奖励 + 文图对齐奖励做群体相对优势优化；编辑端用 DiffusionNFT（结合 HPSv3 自然度奖励与 Gemini-3-Flash 指令跟随奖励，引入指令跟随优先级混合策略防 reward hacking），并配合 Blender 双分支引擎生成的 Static-Camera 与 Dynamic-Camera 成对样本，让模型学会在自然语言模板（'Camera rotation: Yaw X°, Pitch Y°'）下控制相机。第五步，TwNV 推理范式：测试时用 MLLM Planner 预测 6-DOF 相机动作，JoyAI-Image-Edit 作为 Synthesizer 生成新视角，再交给 MLLM Reasoner 在原图+新视图上联合推理。

技术新颖性体现在四个交叉点：(a) OpenSpatial 用 3D OBB 作为统一几何锚点的数据范式，把'网络视频→3D QA'的合成成本压到工业可用规模，并把多视图循环一致性写进几何校验；(b) 把 MLLM 中间层 hidden state 直接喂给 MMDiT 作为条件信号，相比以往'文本重写后再编码'的方案保留了更丰富的空间语义；(c) MR→M RoPE 的替换和 Qwen-Image 的位置编码对齐，让 MMDiT 显式感知相机 yaw/pitch/zoom 而非靠 prompt 隐式学习；(d) '空间编辑'被建模成由 Blender 双分支驱动的'显式几何指令'任务，并首次系统地把 DiffusionNFT + HPSv3 引入编辑 RL，使自然度与指令遵循在 PPO 类目标下共同优化。

第一，空间编辑虽然 SpatialEdit-Bench 总体领先，但 Framing Error 仍有 0.568，说明在'局部对象前后裁切 + 画幅保持'上易过/欠裁；改进方向是在 Spatial Edit Data Engine 中加入'对象级裁切监督'与'画框掩码一致损失'，并在 RL 阶段把 framing 一致性作为单独奖励项。第二，OCRB 87.9 vs 基座 90.3 掉 2.4 分，说明 KL 蒸馏项 $\mathcal{L}=\mathcal{L}_{SFT}+\lambda\mathcal{L}_{KL}$（$\lambda=10$）的'通用数据子集'可能未覆盖到 OCR-heavy 样本；改进方向是分层设定 $\lambda$——对 OCR/文档类数据用 $\lambda=20$，对空间数据继续用 $\lambda=0$。第三，TwNV 的 Synthesizer 在 Orientation 子任务上仅 65.3（baseline 63.6、Qwen-Image-Edit 61.8），相对位置/方向类合成仍不够稳，原因是 Blender 训练数据以单对象居中为主，对多对象前后遮挡的特殊视角覆盖不足；改进方向是扩充 Dynamic-Camera 分支中的多对象场景，并引入 Explicit Occlusion 数据。第四，T2I-CoReBench 的 BR 18.7 和 RR 17.8 表明绑定与路由推理弱；改进方向是把空间 SFT 阶段增加计数-绑定-路径规划类合成 QA。第五，RealWorldQA 仅 +3.3 而 3DSR_C +7.7，说明室外街景空间理解是数据-能力 gap；改进方向是 OpenSpatial 引入 nuScenes、Waymo 这类自动驾驶数据。

作者明确指出的方向：把 JoyAI-Image 进一步接入 VLA（vision-language-action）与 world model，作为可被操控的视觉基础模块——本工作已通过 TwNV 与'单图→多视角→VGGT 重建'实验给出验证雏形。我们认为还可延伸：(1) 把 Synthesizer 升级为可微分的几何-渲染一体化模块，让 Reasoner 拿到的不只是像素还有深度/法线，从而支持更精细的 6-DOF 推理；(2) 把 TwNV 范式从图像编辑扩展到视频生成/编辑，让时间维度上的一致性也通过'视角推理'来强化；(3) OpenSpatial 的 3D 框中心范式可与神经辐射场、3D Gaussian Splatting 协同，训练一个可查询的'空间记忆'；(4) 当前 MMDiT 16B 仍需要约百卡级算力训练，可探索'小 MLLM + 中等 MMDiT'的稀疏化方案以降低部署成本。

代码已开源（https://github.com/jd-opensource/JoyAI-Image），论文给出了 Table 1-2 的超参数（MMDiT 40 层/4096 隐藏维/32 头/MRoPE、LR 5e-5、ViT LR 5e-6、FSDP2、Batch 128、BF16、$\lambda=10$）以及 Table 4 的多阶段过滤阈值、Table 6 的多视图字段定义、Table 2 的 SFT 详细设置，便于复现。但完整复现仍存在门槛：(1) 11.3M 训练语料中 OpenSpatial-3M 是内部数据，需自行按 3D OBB + 多视图循环一致性流程重建；多视角 1M 数据需要 Blender 4.5 渲染管线；(2) MLLM 8B 全参 SFT + 16B MMDiT 从头预训练在 1024P 上的算力需求，按类似 Qwen-Image 量级估算需要 256-512 张 H100/A100 训练数周；(3) 长文本渲染的 HTML/CSS 渲染管线、多视角标注的 Gemini-3-Flash 调用都需要付费 API；(4) RL 阶段 Flow-GRPO 与 DiffusionNFT 的工程实现细节在文中描述较粗。整体而言：能复现整体管线、但要达到论文指标需投入显著算力与数据建设，更适合工业团队从其'数据引擎+训练策略'借鉴，而非直接重训。