StateFlow：面向预可视化的三维世界状态构建、演化与访问 StateFlow: Building, Evolving, and Accessing 3D World States for Previsualization

阶段一状态构建：先用图像模型生成正面视图（外观与资产源）与BEV鸟瞰图（空间布局源），分别检测实例与2D布局框；因两视角独立生成必然冲突，按非对称角色做冲突感知消解——数量一致的对象按BEV框放置正面资产；BEV-only 对象经 VLM 结合 prompt 与邻域语境判别，与 prompt 矛盾或物理上无支撑的被判为幻觉删除或降权，合理的语境元素保留；front-only 对象作为语义锚点，由 VLM 生成暂定布局假设。随后 VLM 为每个保留物体预测接地先验 $\gamma_i \in \{\mathrm{grounded}, \mathrm{floating}\}$，用接地感知提升算子 $b_i^{(0)} = \mathrm{Lift}_{\gamma_i}(\hat{r}_{BEV}^i, \bar{s}_i)$ 初始化3D盒，floating 物体高度由 VLM 或类别先验推断。最后在推理时优化 $B^\star = \arg\min_B \mathcal{L}_{front} + \lambda_b \mathcal{L}_{bev} + \lambda_v \mathcal{L}_{vlm} + \lambda_p \mathcal{L}_{phys}$，四项分别保持正面外观、BEV布局、语义存在性与接地先验、惩罚碰撞与越界，只更新盒子参数不动模型权重；同时正面裁剪经 Hunyuan3D 得到 $g_i^0$，加上语义属性组成 $W_0$。阶段二状态演化：场景级支持场景扩展（复用构建流程生成新区域并合并，保留原空间支撑与身份）和风格改写（重写场景/对象描述符）；对象级支持刚体运动（更新 $p_t^i$）、角色姿态轨迹更新（保身份表达行为态）、爆炸毁伤等难连续仿真事件用事件级资产替换（替换 $g_t^i$，保留身份、语义角色与粗略位置）、外观状态更新 $s_t^i$。阶段三状态访问：从 $W_t$ 读取对象身份、位姿、包围框、遮挡层级、重要物体与场景范围，加上规范渲染视图提供视觉语境；用户指令被总结为分段导演意图 $d_i$；VLM 提案 $\pi_i^{\prime 0} = \mathrm{Propose}_{VLM}(W_t, \mathcal{V}, d_i)$；执行渲染 $R_k^i = \mathrm{Render}(W_t, \pi_k^i)$ 并评估 $e_k^i = \mathrm{Eval}(R_k^i, \pi_k^i, d_i, W_t)$，总结意图不符、目标不可见、构图差、碰撞风险、运动瑕疵等差异；反思把问题转为相机参数的局部修复候选集 $P_k^i = \{\pi_k^i + \Delta^m\}_{m=1}^M$，按打分 $\pi_k^{i+1} = \arg\min_{\pi \in P_k^i} J(\pi; d_i, W_t, R_k^i)$ 选最优，$J$ 综合意图对齐、目标可见性、构图、避碰与运动平滑，迭代直到无显著问题或达最大轮数。

技术新颖性体现在四点。第一，非对称双视角初始化：正面视图管外观资产、BEV管空间布局，配合跨视角冲突感知消解（数量匹配、幻觉删除、语义锚点三种情形），绕开了需要昂贵3D标注且在开放生成场景上易分布外失效的专用3D框检测器。第二，推理时轻量盒优化：$\lambda_b \mathcal{L}_{bev} + \lambda_v \mathcal{L}_{vlm} + \lambda_p \mathcal{L}_{phys}$ 等四项损失只优化盒子参数而非任何模型权重，保持训练自由与模型无关，任何更强的图像或3D模型出现都可直接替换接入。第三，事件级资产替换：把爆炸、毁伤、大幅非刚性形变这类难以连续仿真的动态，建模为几何项 $g_t^i$ 的离散替换而非让视频模型幻觉出物理过程，换来可编辑性与跨视角一致性。第四，问题驱动的相机修复：只在当前轨迹周围生成由具体渲染缺陷引发的紧凑候选集 $P_k^i$ 做局部搜索，而非全局轨迹优化或端到端训练相机策略，无需相机轨迹标注，兼具效率与可解释性。

弱点一：状态表达粒度受限。$o_t^i = (g_t^i, p_t^i, s_t^i)$ 中位姿是单个3D盒、语义是离散标签，适合刚体摆放与走位，无法表达表情、手指动作或布料飘动；改进方向是引入骨架参数、网格级形变场或可微仿真。弱点二：专有模型链耦合，VLM 幻觉或视频后端风格漂移会沿流水线传导；改进方向是增加自一致性投票与多模型冗余，并用开源替代做鲁棒性消融。弱点三：冲突消解依赖 VLM 单次判别删除 BEV 幻觉物体，密集场景下错误可能级联进3D布局；改进方向是接入支撑关系等物理/几何硬约束校验器。弱点四：相机规划的渲染反馈循环每轮都渲染加评估，长轨迹成本高；改进方向是预计算可见性与遮挡图、粗到细两级渲染。弱点五：moving 状态只是盒子位移，无重力和碰撞动力学；改进方向是把物理引擎作为演化算子，使转移同时更新动力学量。

作者在结论与局限中提出的方向：通过更高效的部署与更快的第三方模型推理逼近实时交互，把显式3D世界状态推广为生成模型与生产级创意工作流之间的通用中间表示。基于本文成果可自然延伸的方向：一是接入实时物理仿真，把爆炸、毁伤等事件从离散资产替换升级为连续动力学模拟，同时保留资产替换作为快速兜底路径；二是把扁平对象表扩展为层级化场景图（房间-家具-零件），支撑室内外大世界与场景图级编辑、撤销与版本 diff——持久状态天然适合版本管理，可发展多人协作的云预可视化平台；三是把渲染反馈反射的评测信号 $J(\pi; d_i, W_t, R_k^i)$ 蒸馏进端到端相机策略或可微渲染模块，在保留可解释性的同时降低推理成本；四是将 Seedance 类视频后端替换为可交互世界模型（Genie 类实时生成环境），使同一3D状态直接驱动游戏级实时交互原型；五是建立针对多对象、长时段一致性的专门基准与评测协议，弥补当前 12-prompt 规模评测的不足。

复现难度中高。论文未提供开源代码，项目页（yuyangyin.github.io/StateFlow）仅展示结果视频。方法免训练，无需大规模 GPU 训练，主要成本是 API 调用费与渲染反馈循环的多次推理；但实现依赖一串最新闭源模型：Gemini 3.1、Nano Banana 2、Hunyuan3D、Seedance 2，版本迭代会直接影响可复现性。评测协议描述相对完整：VBench 六项指标、45°环绕视频上的 CLIP-I/CLIP-T/HPS V2/Q-Align、N=30 用户研究（12 prompts、匿名随机排序、注意力检查项）加 MLLM 自动评测，四个消融变体定义清晰；但 prompt 列表、损失权重 λb、λv、λp、提升算子细节与最大反思轮数等工程细节未披露，精确复现需要较多试错。合理路径是按论文框架用可获得模型重现流水线骨架，再自行调优超参。