Hy-Nomas：迈向自由形式的交互式世界生成 Hy-Nomas: Towards Free-form Interactive World Generation

完整流程分四层。（1）数据管线（Figure 2-4）：原始视频先切 5 分钟段再按镜头边界细分（基于 OmniShotCut 微调的检测器），统一转码后按基本属性（时长/画幅/分辨率）与视觉质量（运动/清晰度/美学）过滤；用 Qwen3-VL-Embedding 提取视觉嵌入做层次聚类，簇内以 SemDeDup 语义去重；微调 VLM 按层级 taxonomy 打标签以支撑各阶段自适应采样；相机轨迹走四步过滤（光流运动分→CoTracker3 网格跟踪，帧间位移超 $\max(H,W)$ 的 20% 或中位总位移低于 30% 即剔除→AnyCalib 估计焦距与畸变→ViPE 估计加轨迹审计），并训练 VPT 初始化的逆向动力学模型（IDM）从视频预测离散 WASD 相机动作用于筛选；字幕先用 V-JEPA 2 特征变点分段，再由 VLM 多轮对话顺序标注（首轮立场景与主体档案，后续轮只描述相对变化），最后纯文本轮校对、EN/ZH 对齐翻译与 JSON 校验，大规模阶段用 Gemma 4 / Qwen3.5-122B-A10B，退火阶段用 Kimi K3。（2）架构：如 overview 所述，关键在分段因果与动作感知掩码、逐块相机 cross-attention、每段独立的相对位姿编码。（3）五阶段训练（Table 2）：阶段 1 潜在空间适配（先冻结中间 DiT 块只训输入/输出层 20K 步，再全模型 60K 步，把 VAE 换成压缩更高的 DCAE-V）；阶段 2 三段 CPT——分段因果 CPT（广域数据）→动作感知 CPT（时间局部化动作标注，上下文从 180K 扩到 360K token）→相机条件 CPT（有/无轨迹数据 1:1 混合，逐段 50% 概率丢弃相机条件并删除对应相机文字描述以防捷径）；阶段 3 高质量退火（Kimi K3 精细字幕，文本上限 768→1280 token）；阶段 4 段强制（式 7：对当前段一步去噪 $\tilde{x}^{ctx}_{s,t}=x_{s,t}+(t_{ctx}-t)\hat{v}_s$，$t_{ctx}\sim U(0.1,0.3)$，低噪 latent 追加进 KV 缓存作为后续段上下文，streaming backward 逐段即时反传并释放计算图，梯度累积整段序列后一次优化器更新）；阶段 5 扩散蒸馏（Stage I 因果化 PCM 少步初始化、教师强制条件，Stage II 混合强制下联合 DDMD 与对抗 hinge 目标，DDMD 只施加于最后生成段并对早期段梯度截断），最终每段 4 NFE，段生成后以 $\sigma=0.206897$ 加流噪声再更新缓存。（4）推理与部署（Figure 8-9）：PE（Qwen3.8-27B SFT 而来）按式 8 $y_t\sim p_\theta(\cdot|S,u_t,H_{t-1},V_{<t},m_t)$ 产出下段 caption；单卡优化含 INT8 权重与历史 KV、滑窗注意力有界缓存、按阶段 CPU offload、前两步稠密注意力后切 25% 候选块的稀疏注意力——100 秒 1280×704/24fps 七段生成峰值显存 20.53 GiB；解码端以 PixelUMM 初始化的像素扩散解码器替换 DCAE-V 解码器，40 帧块 20 帧重叠余弦混合，DMD2 蒸馏为一步推理并 FP8 量化；LoRA 在蒸馏前基座上训练再合并进蒸馏模型。

技术新颖性体现在四个层面。（a）监督-掩码对齐：结构化字幕的时间结构（段边界、动作时间窗、$\langle \mathrm{CameraN}\rangle$ 标签）与动作感知掩码一一对应，这是“把语言的时间语义注入注意力结构本身”的设计，而非事后修补；字幕还区分“首轮完整描述”与“后续轮只写变化”，天然匹配自回归训练。（b）连续相机控制：用帧间相对位姿 $\Delta P_t$ 使平移与旋转都保持连续，可调方向、速度与尺度，不同于把指令量化为固定方向命令或“旋转连续、平移离散”的系统；逐段相机 dropout（50%）让同一视频内文本控制段与相机控制段自由切换，且在有轨迹段删除相机文字描述、无轨迹段保留之，实现“轨迹监督”与“文本相机监督”互补而非互相泄漏。（c）系统工程：FLOPs 均衡序列打包以未掩码 query-key 对数 $A_i$（式 5）估计样本成本 $F_i=\alpha n_i+\beta A_i$（式 6），在离线两阶段构造打包方案并用最长作业优先贪心分配副本；采用 MagiAttention 的 Flex-Flash-Attention 把异构掩码表达为紧凑注意力切片，在 360K token 序列上避免稠密掩码；Ulysses SP（8 卡）+FSDP2+分布式 Muon+异步 checkpoint 共同撑起训练。（d）训练-推理对齐与生态：段强制逼近自回归推理的历史分布，蒸馏在因果条件下完成，且 LoRA 权重可在基座与蒸馏模型间迁移合并——这是面向开源生态的实用创新。

独立分析的弱点与改进方向：（1）物体持久性脆弱——Figure 18 中 LingBot 把关闭的工具箱重访时变成打开的，Hy-Nomas 虽在该例正确但 Bench-4 对 Genie 3 净负；离开视野的世界状态本质上无监督信号，改进方向是作者讨论的显式世界状态记忆：像“墙钟”例子那样记录物体身份、位置与观测时间，按时延推算新状态再连同参考图传给生成器，而不是指望 KV 缓存隐式记住一切。（2）模式切换代价——交织基准中相机控制仅 26.7% 胜率、68.3% 平局，说明文本-相机交替时几何精度受损；可在 CPT 中提高交替序列占比，或给相机 cross-attention 分支加轨迹一致性正则。（3）LoRA 副作用——500 步少样本风格微调即令相机控制从 44% 平局主导退化为 37% 负率，原因是 SFT 数据相机轨迹多样性不足；改进可在定制数据中强制混入多样相机轨迹，或冻结相机模块只微调其余部分。（4）有界缓存与远期记忆的矛盾——滑窗注意力让 KV 不随 rollout 无限增长，但被滑出的正是空间记忆所需的远期信息，这与 Bench-4 的落后直接相关；可探索分层缓存、缓存压缩或 CPU/存储 offload 加选择性检索（作者已提出此方向）。（5）物理合理性上限——Bench-1 对 HappyOyster 的物理合理性是四项里优势最小的（净 +33.3pp），8B 容量加纯视觉监督可能不足以学到严谨动力学，RL 后训练或物理先验注入是候选路径。

作者提出的方向：其一，空间记忆——在训练中加入带环路/重访相机轨迹的数据以强化出-返一致性；其二，Agentic 世界模型——把完整 KV 卸载到 CPU/持久存储并按需检索，用多种记忆表征分工（几何编码空间关系、参考图保存外观、文本总结事件与状态变化如门被打开、物体被移动），协调记忆检索、状态更新、prompt 重写与视频生成作为工具调用，并用 World-Mem 式历史观测检索支持场景重访；其三，机器人方向——在配对机器人动作数据的训练（如 Open X-Embodiment 起步）与 DreamZero 式世界-动作联合预测，使预测结果能与可执行机器人动作的成功率挂钩，本文的机器人 LoRA 是第一步；其四，数据与字幕——用更详细的 prompt 指定场景内容与时间演化、让扩散模型专司“渲染”的范式，使 caption 质量成为中心挑战（例如给运动模糊、剪辑转场显式写字幕）；其五，基础设施与扩展——MoE 架构（MAGI-2 方向）扩容、更高分辨率与更长上下文的缓存管理，以及验证 RL+scaling 能否从根本上克服视频模型物理泛化限制。基于本文成果可延伸的：结构化字幕+掩码对齐范式可迁移到其他模态的可控生成；PE 可升级为维护显式世界状态的 agent 而非单纯的 prompt 重写器；360K token 训练基础设施可直接支撑更长历史课程与更大骨干。

开源情况：论文宣布发布模型权重、代码与全部评测基准（HuggingFace 数据集 tencent/Hy-Nomas-Bench，含各模型原生接口用的原始 prompt、复现 Hy-Nomas 结果用的 PE 增强结构化 prompt、帧对齐键盘状态 $[T,8]$ 与相机到世界矩阵 $[T,4,4]$），复现评测的门槛起步条件良好。推理侧面向消费级硬件优化：单卡 RTX 4090 即可运行（100 秒 1280×704/24fps 七段生成峰值 20.53 GiB，依赖 INT8 量化、滑窗注意力、CPU offload、稀疏注意力与一步 FP8 解码器），下游 LoRA 定制只需约 100 个任务样本、500-1500 epoch 的小规模训练——推理与微调的可复现性很高。但 from-scratch 训练复现极难：数据管线串联 OmniShotCut、Qwen3-VL-Embedding、SemDeDup、CoTracker3、AnyCalib、ViPE、VPT 初始化的 IDM、V-JEPA 2 等众多组件，字幕依赖 Gemma 4 / Qwen3.5-122B-A10B / Kimi K3 三代模型，PE 基于 Qwen3.8-27B SFT；训练需要 8 卡 Ulysses SP 组 + FSDP2 + 分布式 Muon 支撑的 360K token 序列，属大规模 GPU 集群工程，且论文只披露部分阶段步数（如 20K/60K），总数据量与总算力未公开。综合判断：评测、推理与 LoRA 适配可由个人或小团队复现；完整复现训练是大厂级别的工作。