面向可交互世界的精准编辑与灵活参考图引用 Precise Editing and Flexible Referencing for Interactable Worlds

整体流程分数据、架构、训练三步。第一步数据合成：全局编辑管线从约 200 个主属性加 100 个辅助属性的编辑词表中，用 Qwen3.6-27B 按视频内容采样属性组合并实例化为与场景一致的编辑提示，用 Qwen-Image-Edit 生成锚点帧 $F_a$ 的编辑版本；保留 $F_a$ 之前的原始片段为未编辑前缀，用 Wan2.2-FLF2V-A14B-Control 以过渡起点帧 $F_t$ 为首帧条件、编辑锚帧为末帧条件、原始视频对应区间的深度图为结构控制信号合成平滑过渡段，再用 Wan2.2-I2V-A14B-Control 以编辑锚帧为初始帧、深度序列为控制延拓后续内容，最后三段拼接成完整视频。局部编辑管线则从 Ditto-1M/OpenVE-3M 经两阶段 VLM 过滤（先判断差异是否属于局部编辑，再评语义一致性与画质）选出源-编辑视频对，选源帧 $F_s$ 与目标帧 $F_t$，用同一深度控制 FLF2V 模型合成过渡段后拼接。第二步标注：为每段视频生成场景描述（静态不变内容）、精修后的编辑指令（动态变化）、逐 chunk 的 before/during/after 编辑状态，并用 ViPE 重估全部样本的相机内外参；参考图子集用 Grounded-SAM 分割目标对象、Qwen-Image-Edit 修补瑕疵，同时改写指令剔除参考图已表达的信息以防语义泄漏，迫使模型从参考图中提取内容。第三步训练：在 LingBot-World-Base 上以 teacher forcing 起步，联合优化自回归损失 $\mathcal{L}_{\mathrm{AR}}=\mathbb{E}\|v_\theta(x_i^\tau,\tau\mid x_{<i},c_{\leq i})-(\epsilon_i-x_i)\|_2^2$ 与双向损失 $\mathcal{L}_{\mathrm{BI}}$，总目标 $\mathcal{L}=\mathcal{L}_{\mathrm{AR}}+\lambda_{\mathrm{BI}}\mathcal{L}_{\mathrm{BI}}$；随后以退火调度逐步把真实历史替换为模型自生成历史（self-resampling）；最后两阶段蒸馏——先用 PCM 在每块 4 次函数评估（NFE）下做轨迹蒸馏，再用 Self Gradient Forcing（SGF）做分布蒸馏，历史 KV 重算梯度但不回传整条 rollout。

技术新颖性体现在四个层面。其一，任务定义新：此前世界模型只做触发新事件（YUME 1.5、DreamX-World）或初始参考条件（XGEN-JING、ABot-World），本文首次把增/删/替换/风格化的精准编辑和任意时刻的参考图注入纳入自回归世界生成的闭环。其二，条件门控机制新：编辑指令按数据驱动的 during 状态门控激活、参考图可见性由文本上下文门控，这套把时机控制写进注意力掩码的设计是本文独有的；负 RoPE 边距分离参考 token 与视频 token 也是对 RoPE 的巧妙用法——正向用位置对齐语义、负向用偏移抑制复制。其三，长时程机制新：sink + recent + Top-$k$ 检索的 Sparse Context 与训练时的随机稀疏采样相配合，保证推理时固定预算上下文与训练分布匹配，比 AlayaWorld 的 3D 重投影缓存、WorldKV 的视角检索更轻量，不依赖显式 3D 表示。其四，训练配方新：作者发现纯因果目标会让模型偏向视频续写而弱化条件响应，故用共享参数的 AR+BI 双注意力模式联合训练（消融显示 Detail Accuracy 从 34.9 提升到 53.2），再加退火 self-resampling 与 PCM+SGF 蒸馏构成完整课程。此外 WBench-Editing 本身也是对整个领域评测生态的贡献。

独立分析有五个弱点。第一，参考门控对指令措辞敏感：参考图可见性由 $p_t,p_{t-1},p_{t-2}$ 是否语义提到参考决定，但这实际是学出来的软对齐，遇到把刚才那张图里的东西加进来这类指代模糊的指令时可能误开门或漏开门，改进方向是引入显式的参考选择模块，或让用户直接指定参考生效的时间区间。第二，编辑监督是合成的：训练真值由 Wan2.2 FLF2V/I2V 生成，过渡段的物理合理性与身份保持继承自这些模型的缺陷，模型可能学到编辑等于渐变变形的伪影模式，改进方向是引入真实拍摄的前后对比视频或游戏引擎渲染的精确编辑数据。第三，VLM 标注链路长且脆弱：场景描述、指令改写、状态划分全部依赖 VLM，任一环出错（如把静态内容写进编辑指令、语义泄漏未剔除干净）都会污染门控信号，可用人工抽检加一致性校验形成闭环。第四，缺乏持久世界记忆：sink 块只有 1 个、检索基于外观相似度，跨大范围回访或多次编辑叠加时早期被编辑内容的状态难以精确恢复，可结合 3D 重投影缓存或显式世界状态表。第五，缺少效率与交互性证据：没有报告端到端延迟、单块生成耗时与用户研究，4-NFE 蒸馏后的真实体验无法量化，应补充 FPS/显存曲线与真人盲测。

作者的展望是让用户能持续、灵活地精修、重塑和扩展世界。基于本文成果可自然延伸的方向包括：第一，编辑的持久性与可撤销性——为编辑过的对象维护显式状态存储，支持撤销上一步编辑和跨回访的状态恢复，可与 AlayaWorld 的 3D 重投影缓存思路结合；第二，非文本粒度的编辑指定——点击式掩码、拖拽式空间指定与参考图三者融合，绕开纯文本门控的歧义；第三，物理一致编辑——当前 Physical 67.9 已是最佳但仍有空间，可引入物理仿真先验（流体、刚体）作为过渡段合成或损失约束；第四，多模态交互——语音指令、草图输入、多参考图组合注入与参考间冲突消解；第五，智能体驱动的世界搭建——把 EditWorld 作为具身智能体或游戏引擎的可编辑沙盒后端，由 LLM 规划多轮编辑序列并自动验证结果；第六，评测扩展——WBench-Editing 目前约 150 例、纯 VLM 评分，可扩大规模、加入人类偏好评测以及光流一致性、重投影误差等物理合理性定量指标；第七，更长时程——把 Sparse Context 与分层记忆结合，向分钟级多轮编辑推进，对标 SANA-WM 的分钟级生成与 HY-World 1.5 的长时程几何一致性。

复现难度中高。有利条件：论文给出了 GitHub 仓库（github.com/leoisufa/EditWorld，完整权重与训练脚本的开源程度需以仓库实际内容为准）；底座 LingBot-World-Base 及所有数据源（Sekai、OmniWorld、SpatialVID、Ditto-1M、OpenVE-3M）均为公开资源；管线依赖的工具全部开源或可获取——Qwen3.6-27B、Qwen-Image-Edit、Wan2.2-FLF2V/I2V-A14B-Control（VideoX-Fun）、ViPE、Grounded-SAM、PCM、SGF。不利条件：完整复现需要跑通多阶段流水线——数据合成（大规模视频生成本身就需可观 GPU 时长）、AR+BI 联合 SFT、退火 self-resampling、两阶段蒸馏（PCM 加 SGF）；论文未披露模型参数量、训练卡时、批量大小、$\lambda_{\mathrm{BI}}$、检索数量 $k$、负 RoPE 边距 $m$、块长 $L$ 等关键超参，训练算力估计在数十张 A100/H100 级别、周期以周计；评测依赖 WBench 框架与 VLM 评分，对齐评测器版本才能复现分数。对普通研究者的建议路线：先复用其开源数据合成管线的思路在小模型上验证门控机制的有效性，或等待官方放出权重与配置后做推理级复现，再考虑训练级复现。