HY-World 2.0：用于三维世界重建、生成与仿真的多模态世界模型 HY-World 2.0: A Multi-Modal World Model for Reconstructing, Generating, and Simulating 3D Worlds

流程分四步。(1) HY-Pano 2.0：文本/单图编码与噪声全景潜码 concat，MMDiT 潜空间学 perspective→ERP，circular padding+像素混合消 360° 接缝，输出 1024×512 ERP。(2) WorldNav：MoGe2 在 42 视点对齐深度构建 P_pan+网格；SAM3 输出语义掩码投 3D；Recast 得 NavMesh；按上限 35 条生成 5 类轨迹并 attach prompt。(3) WorldStereo 2.0：参考图+目标位姿输入 Keyframe-VAE 得 F_i；主 DiT 通过 SSM++ 拼接检索视图；相机分支用 Plücker ray+点云 Pglo 渲染作 GGM；推理增量写回 memory；DMD 蒸馏为 4 步。(4) World Composition：WorldMirror 2.0 前馈关键帧 {D_m, N_m}，5 路掩码交集 M_i，RANSAC 对齐 D_a=γD_m+β（9 锚点+90 分位剔除校正），反投影 P_ex 入 P_pan 得 P̃；用 P̃ 初始化 3DGS，仅非天空 densification，MaskGaussian+多损失优化至约 1.38 M 高斯，marching-cubes 出 mesh。

技术新颖性体现在四个层面的「跨范式融合」。第一，全景生成上从 HY-World 1.0 的「显式几何 warp + 已知相机内参」变为基于 MMDiT 的「隐式 perspective→ERP 自适应映射」，无需输入相机信息即可处理任意视点图片。第二，WorldStereo 2.0 首次系统化 Keyframe-VAE 设计：把「同一视点变化范围由更多视频帧覆盖」转化为「同一范围由更稀疏关键帧 + 更大时间间隔采样覆盖」，保留高分辨率细节又减少冗余。第三，SSM++ 移除独立 memory 分支，通过 RoPE + GGM 在主 DiT 共享 transformer 主干，显著降低显存。第四，WorldMirror 2.0 用 Normalized RoPE 把外推变插值（高分辨率 AUC@30 +20.6），并首次系统引入 depth→normal 几何耦合损失与显式 invalid 像素掩码头。最具系统论意义的是它把「扩散的想象力」与「前馈重建的几何精度」通过统一相机坐标系与点云表征桥接起来，这在前作 HY-World 1.0/1.5 是缺失的。

从独立分析视角看，仍有六处可改进的弱点。第一，HY-Pano 2.0 输出分辨率固定 1024×512，对更宽视角/更高分辨率应用缺乏扩展能力，可加层级 VAE 与窗口 attention。第二，WorldNav 的 5 种轨迹上限硬编码（9/5/10/3/8），对不规则布局（如多楼层夹层）会出现 NavMesh 不可达而静默失败；可借鉴强化学习让相机路径自适应终止。第三，WorldStereo 2.0 在快速剧烈相机运动下仍可能撕裂，文中未给失败案例统计；可在推理阶段引入 temporal smoothing 或 rejection sampling。第四，WorldMirror 2.0 的 depth-to-normal loss 在伪标签 teacher 给出错误预测时会引入累积误差，可加伪标签置信度自适应的课程学习。第五，3DGS 训练 RANSAC 单次线性对齐对尺度不一致的大场景不够稳，建议 DMD 蒸馏阶段也加 joint optimization。第六，整套流水线在 inference 时没有错误回退机制，可加 confidence-driven fallback。

作者未给出具体未来方向，但综合各组件的张力可延伸出数条路径。其一，把 Keyframe-VAE 与 SSM++ 成功经验应用到「在线」世界模型（HY-World 1.5 范式），让交互式场景具备长程一致性。其二，把 Normalized RoPE 与 depth-to-normal loss 推广到其他前馈重建基础模型（VGGT、π3）作为插件，统一不同模型在多分辨率下的行为。其三，把 RANSAC 替换为基于学习的对齐模块（如可微 Procrustes 或 pose-conditioned scale head），使对齐本身可被端到端优化。其四，引入具身智能数据（机器人轨迹、自动驾驶）作为额外先验，让生成的 3D 世界具备物理可交互的动力学属性。其五，把 DMD 蒸馏进一步压缩到 1 步采样，并把全部 stage 串成一个统一的多任务扩散模型。其六，把 WorldLens 平台开放为 web 化 3DGS 渲染服务，让研究者无需本地 GPU 即可交互浏览。其七，把整套管线扩展到 4D（时序）世界生成，让 3DGS 资产承载几分钟长度的动态场景。

复现方面作者做得相当彻底：HY-World 2.0 论文与项目主页承诺 release all model weights, code, technical details，GitHub（Tencent-Hunyuan/HY-World-2.0）与项目页均给链接。训练数据来自公开集合（DL3DV、Map-Free-Reloc、WildRGB）+ 内部 UE 渲染；WorldMirror 2.0 在 7-Scenes、NRGBD、DTU、ScanNet、NYUv2、iBims-1、RealEstate10K、DL3DV 纯公开基准评测。算力按 Tab 10/14 推断 WorldMirror 2.0 至少 1 张 H20/A100，4×H20 上 712 秒生成一世界。复现难度中等偏上：硬件门槛不高但需充足显存，需打通 HY-Pano + WorldStereo + WorldMirror 三模型与多次 3DGS 优化。5.2.3 节增强、7.1.2 节 9-anchor RANSAC、Tab 7「冻结 cross-attn+FFN」降低二次实现歧义性，但部分超参数未完全公开、内部 UE 数据未公开带来 domain gap。