WorldGuide：面向程序性任务执行的目标导向视频世界模型 WorldGuide: Goal-Directed Video World Model for Procedural Task Execution
把视频生成改造成闭环任务执行：规划器选动作、执行器渲染画面、循环至任务完成
前置知识
视频世界模型（Video World Model）
一类不仅生成视觉上合理的视频、还能预测“在某个动作或控制信号下世界状态如何演化”的模型。它把视频生成视作对环境动态的模拟，可接收目标、动作等条件并输出相应的视觉未来，是具身智能、交互式内容生成与智能体仿真的基座技术。
WorldGuide 正是一个以闭环任务执行为目标的视频世界模型，理解这一定位才能明白它为何反复强调“从自己生成的画面中做决策”，而不是一次性渲染完整视频。
开环与闭环生成
开环生成在 rollout 开始前就固定全部提示词或动作序列，中途不观察输出结果；闭环系统每生成一步都检查实际产出，再决定下一个动作或终止。闭环带来纠错与自适应能力，但要求规划器和执行器都足够可靠，否则误差会沿循环传播。
论文的核心论点是程序性任务必须闭环执行，最关键的消融实验（开环 11.71% 对比闭环 33.33% 任务成功率）完全围绕这一对比展开，不懂这对概念就读不懂实验设计。
流匹配（Flow Matching）
扩散模型的一种训练范式：把数据潜变量 $z$ 与高斯噪声 $\epsilon$ 用噪声水平 $\sigma$ 连续插值 $\tilde{z} = (1-\sigma)z + \sigma\epsilon$，训练网络预测从噪声指向数据的速度场，采样时沿该速度场积分即可去噪生成，训练目标比传统扩散更简洁稳定。
执行器 HunyuanVideo-1.5 用流匹配损失训练，论文公式中模型预测的是指向 $(\epsilon - z)$ 的残差速度 $\hat{y}_\phi$，不熟悉这套记号就无法理解第三节的执行器训练目标。
分层视觉记忆压缩
为长视频自回归生成设计的记忆机制：最近的潜帧用细粒度（小空间压缩率）编码，越久远的帧用越粗的空间分辨率（更大的 patch 步长 $r$）编码，使历史 token 总量有界。代表性工作有 FramePack 与 YUME，本文沿用 YUME-1.5 的压缩排程。
WorldGuide 的执行器靠该机制在几十步的长时程 rollout 中维持状态连续且 token 开销有上界（约 8 个潜帧当量），消融显示去掉记忆后任务成功率在两个基准分别下降 5.77 与 17.91 个百分点。
原子动作与程序性任务
程序性任务指折纸、烹饪、手工组装等需要按特定顺序完成多个步骤的任务；原子动作是其中不可再分的单个步骤（如“把纸沿对角线再对折一次”）。分步监督要求把教学视频切分成与原子动作时间对齐的片段，并附带显式的任务完成信号。
WorldGuide Bench 的核心价值就在于原子动作级的片段标注与完成信号，规划器输出的正是原子动作文本或完成标记，这是理解数据构建、训练目标和评测协议的前提。
研究动机
现有视频生成模型（prompt-to-video 模型与自回归方法）能合成视觉上合理的轨迹，但面对折纸、组装、烹饪等长时程程序性任务时暴露两大缺陷：开环生成在 rollout 前就固定了提示词或动作序列，中途某个步骤画错后无法纠正，任务完成后还会继续生成多余内容，一步错误会影响其后所有步骤。闭环系统虽有反馈，但规划与执行之间存在鸿沟：ORCA、CollabVR、NovaPlan 把预训练 VLM 规划器与冻结的视频执行器配对，规划器给出的正确指令执行器也可能无法实现；SPIRAL 依赖单独训练的评论家和强化学习做间接监督，不直接监督原子动作的执行；Bernini 在潜语义空间规划，但不从生成进度预测后续动作、也不判断任务完成。也就是说，此前没有一个系统同时解决“决定下一步做什么”和“可靠地把这一步生成出来”这两个耦合的问题。
本文的目标是本文的目标是把程序性视频生成重新表述为视觉世界空间中的闭环任务执行：给定一张初始图像和任务目标，模型自主预测下一个原子动作、生成该动作对应的视频片段，再根据实际生成的结果决定继续执行还是终止。具体拆解为五个子目标：其一，执行器必须在自己要执行的原子动作上得到直接训练，而不是使用冻结的预训练模型；其二，规划必须基于生成出来的视觉状态而非仅凭动作历史；其三，任务完成要从视觉进度中预测，而非靠固定生成长度或外部重试预算；其四，长时程执行需要持久但有界的视觉记忆；其五，构建 WorldGuide Bench——约 59K（58,679 条）跨 245 个任务、27 个程序类别的分步标注视频，带显式完成信号，同时支撑规划器与执行器的联合训练和系统评测。
与已有工作不同的是，本文的独特切入角度是“用同一批分步示范同时训练规划器与执行器”。已有工作的共同点是规划与执行脱节：要么执行器冻结（ORCA、CollabVR），要么通过奖励模型间接监督（SPIRAL），要么按预设时间段生成而不做基于视觉状态的重规划（TempAct）。WorldGuide 则让执行器以冻结规划器输出的动作嵌入为条件进行微调，学会“渲染”规划器被训练去提议的那些原子动作；同时规划器把每个历史动作与该动作实际生成的视频片段配对作为输入证据，从视觉进度中选择动作并输出完成标记。这样每个决策都被上一帧实际生成的画面约束，纠正了“计划正确但执行失败”的系统性缺陷，形成了从开环未来合成到闭环任务执行的范式转变。
核心方法
WorldGuide 是一个循环的规划器-执行器系统。形式化地，在步骤 $t$，ContextPlanner $\pi_\theta$ 根据任务目标 $g$、当前视觉状态 $x_t$ 和历史 $h_t$ 预测原子动作 $a_t \sim \pi_\theta(\cdot \mid g, x_t, h_t)$ 或完成标记 DONE；若未完成，执行器 $f_\phi$ 以 $x_{t+1} = f_\phi(a_t, x_t, \mathcal{M}_t)$ 生成下一段视频，其中 $\mathcal{M}_t$ 是分层压缩的视觉记忆，$h_t$ 只保留最近 $K=3$ 组“动作-片段”对。系统分别从 Qwen2.5-VL-7B 和 HunyuanVideo-1.5 初始化规划器与执行器，先训练规划器并冻结，再用其动作嵌入微调执行器；推理时循环往复，直到预测 DONE 或达到步数预算，最后把所有片段 $x_1, x_2, \ldots$ 拼接成完整视频。整体直觉是：像人做手工一样，每做一步都看着眼前的实际成果决定下一步做什么、什么时候收工。
核心创新是“规划与执行在同一份原子动作-视频监督下耦合训练”。与 ORCA/CollabVR 使用冻结预训练执行器不同，WorldGuide 的执行器（HunyuanVideo-1.5 扩散 DiT）在训练时直接接收目标片段对应的真实动作描述嵌入（由冻结的 ContextPlanner 编码），推理时通过同一嵌入通路接收规划器预测的动作，因此它学会的正是规划器被训练去提议的那些动作，大幅减少“指令正确但渲染失败”的情况。第二个关键点是规划器的视觉接地：它把每个历史动作与该动作实际生成的视频片段配对输入，而非只看动作文本，因此能察觉执行漂移、避免重复或跳步。第三个要点是可学习的终止：完成标记 <|Task Completed|> 由视觉进度驱动预测，而非固定生成长度。分层视觉记忆（借鉴 YUME-1.5/FramePack）把越旧的潜帧用越粗的空间分辨率编码，历史 token 开销上界约 8 个全分辨率潜帧当量，支撑长时程执行。
方法步骤详情
完整流程分四步。第一步构建数据：用 Gemini 2.5 Flash 过滤网络教学视频并标注时间定位的原子动作与完成信号，得到 58,679 条视频、245 个任务、27 个类别，980 条作测试集。第二步训练 ContextPlanner：监督微调 Qwen2.5-VL-7B，输入目标 $g$、当前状态 $x_t$ 与最近 $K=3$ 组片段-动作历史，输出下一动作或完成标记，损失为只对响应 token 的交叉熵。第三步训练执行器：以 HunyuanVideo-1.5 为骨干，流匹配下模型预测指向 $(\epsilon - z)$ 的残差速度 $\hat{y}_\phi$，掩码损失只更新执行器参数；条件 $c = (z_{cond}, m_{cond}, c_{text}, c_{vision})$，文本条件是冻结规划器编码的动作嵌入。第四步分层记忆：多尺度 patch 嵌入器 $E_r$（核与步长 $(1, pr, pr)$，$r$ 最大到 64）按新旧分级压缩历史潜帧，token 开销上界约 8 个潜帧当量。推理时循环执行直到 DONE 或步数预算耗尽，再拼接片段输出。
技术新颖性
技术新颖性体现在三处。其一是问题表述：首次把程序性视频生成形式化为“视觉世界空间中的闭环任务执行”，在一个循环里同时完成从视觉进度选动作、直接监督地执行动作、预测完成三个决策；VideoWorld 2 的潜空间策略、分层世界模型的潜子目标规划、VLA 模型的机器人控制、Video Language Planning 的树搜索均未做到三者合一。其二是监督信号：WorldGuide Bench 是首个同时具备分步片段标注、原子动作粒度、覆盖式标注协议、任务级目标与显式完成信号五要素的数据集（Table 1 对比 EgoPlan-IT、COIN、CrossTask、CaptainCook4D 等 12 个数据集，无一齐全）。其三是训练范式：规划器先训后冻结、其动作嵌入直接充当执行器的文本条件，保证两个模块的语义空间对齐，区别于 SPIRAL 的分离评论家方案。记忆部分采用 YUME-1.5/FramePack 的成熟设计并适配到程序性长时程场景，属于务实的工程集成而非全新设计。
实验结果
WorldGuide-8.3B 在自建 WorldGuide Bench 的 980 个测试样本上取得 33.33% 任务成功率，超过拿到参考动作序列的 MiniMax-H3-33B（29.90%），美学质量 49.36 与整体一致性 31.13 均列第一，规划准确率 62.85；在 294 条外部 Video-CraftBench 上达到 47.69%，比 MiniMax-H3 的 32.73% 高约 15 个百分点。消融显示：闭环执行把任务成功率从开环 11.71% 提到 33.33%，规划准确率从 22.87 升至 62.85；去掉视觉反馈后跌至 14.72%（贡献 +18.61%）；去掉分层记忆在两个基准分别降 5.77 和 17.91 个百分点；oracle 参考动作再涨 5.49% 至 38.82%。规划器单独评测：真值历史下 K=3 规划准确率 79.66，自主 rollout 降至 64.03，计划成功率 91.75%（无视觉反馈 86.41%）。定性对比（图 5 蛋炒饭）中基线提前加调料或重复加米，WorldGuide 按正确顺序完成加料、炒制、调味。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| WorldGuide Bench 程序性任务执行（980 测试样本） | 任务成功率 Task Success | 33.33% | MiniMax-H3-33B 29.90%（其获得参考动作序列）；最强闭环基线 Bernini-14B 仅 1.96% | 领先提供参考动作的 MiniMax-H3 约 3.43 个百分点，超过所有闭环基线 25 个百分点以上 |
| Video-CraftBench 目标条件生成（294 样本） | 任务成功率 Task Success | 47.69% | MiniMax-H3 32.73%（同样仅给初始图像与目标） | +14.96 个百分点 |
| WorldGuide Bench 规划质量 | Plan Accuracy / Order Score | 62.85 / 92.42 | 开环变体 22.87 / 53.81；MiniMax-H3 57.99 / 86.79 | 规划准确率较开环 +39.98，较最强基线 +4.86 |
| WorldGuide Bench 视频一致性 | Overall Consistency / Aesthetic Quality | 31.13 / 49.36（均为全场第一） | 次优 SpMem-5B 20.72 / UniVideo-13B 45.75 | 一致性 +10.41，美学 +3.61 |
| 消融：规划器视觉反馈 | 任务成功率 / 计划成功率 | 33.33% / 91.75%（有视觉反馈） | 14.72% / 86.41%（无视觉反馈） | +18.61 个百分点；Repeat/Skip 恶化 4.46 |
| 消融：分层视觉记忆（Video-CraftBench / WorldGuide Bench） | 任务成功率 | 47.69% / 33.33%（有记忆） | 29.78% / 27.56%（无记忆） | 分别 +17.91 与 +5.77 个百分点 |
局限与改进
作者坦承的局限：失败通常源于规划器过早或冗余的动作选择，或执行器片段未完全实现预期的状态转移，且每个生成状态会喂给下一步决策，误差会沿循环传播；WorldGuide 以程序正确性优先，部分低层画质指标并非最优——如 Video-CraftBench 上成像质量 64.63 低于 MiniMax-H3 的 69.65，整体一致性 22.09 对 23.18；Repeat/Skip 惩罚项（两个基准 6.06 与 17.08）高于多数基线，说明仍存在重复与跳步。我自己的观察：33.33% 的任务成功率意味着约三分之二的任务仍然失败，距离实用尚远；评测依赖 Gemini 判断任务执行、GPT-5.2 评判计划序列，LLM 裁判的偏差只靠附录 B.6 的小规模人工审计校验；执行器训练时规划器被冻结，未做联合优化；记忆固定沿用 YUME 的压缩排程，可能把折痕、刀口角度等任务关键细节与背景一起降采样；测试集仅 980 与 294 条且未报告方差，排名差距（3.43 个百分点）的统计显著性存疑。
独立分析的弱点
第一，规划-执行误差强耦合：一个执行不佳的片段会污染后续所有规划证据，oracle 实验显示仅换成参考动作规划器就能从 33.33% 涨到 38.82%，改进方向是对两个模块做联合微调或引入以任务成功率为信号的强化学习。第二，缺乏显式的状态有效性建模：模型无法判断“这一步到底做没做成”，只能隐式从画面推断，可引入轻量验证头输出状态转移置信度，失败时触发恢复动作或重生成。第三，记忆压缩无差别对待所有内容，任务关键细节可能与背景一起被降采样，可按规划器注意力或任务相关性做选择性保留。第四，数据由 Gemini 2.5 Flash 全自动标注，原子动作边界与完成信号的系统性偏差会同时教坏规划器和执行器，建议对高分歧样本做人机协同校验或主动学习。第五，Repeat/Skip 在 Video-CraftBench 上高达 17.08，暴露终止判断在分布外任务上不稳，可为终止决策单独设计校准机制。第六，评测口径依赖 LLM 裁判，裁判版本更替可能翻转 3 个百分点内的排名，应提高人工盲评比例并公开全部评判提示。
未来方向
作者提出的方向：以更丰富的状态有效性信号强化规划-执行耦合，在步骤未完成或不一致时显式恢复；对规划器与执行器做联合优化——执行器已经条件于规划器的动作嵌入，联合训练是自然的下一步；在保持推理效率的同时做更具选择性的任务相关记忆保留。基于本文成果可延伸的方向：(1) 把闭环框架迁移到机器人操作，用真实执行反馈替代视频自反馈，打通 sim-to-real 闭环；(2) 引入 RLHF/DPO，用任务成功率直接优化规划器的动作选择与终止时机，替代纯监督微调；(3) 将原子动作空间扩展到可参数化的物理交互（力度、遮挡、工具接触），提升执行器的可控性；(4) 数据规模化——在 27 个类别之外纳入多视角、多人协作与失败恢复示范，训练模型从错误状态回退；(5) 与交互式世界生成器结合，支持用户中途修改目标的人机协同程序生成。
复现评估
复现条件中等偏上。有利因素：代码与项目页已公开（GitHub mbzuai-oryx/WorldGuide，项目页 mbzuai-oryx.github.io/WorldGuide）；两个骨干模型 Qwen2.5-VL-7B-Instruct 与 HunyuanVideo-1.5 均为开源可下载；论文附录给出了训练与推理设置、记忆压缩的完整排程（各分支帧区间与代价表）以及评测提示词。风险因素：WorldGuide Bench 在 Table 1 中的公开状态标注为 Planned，数据依赖 Gemini 2.5 Flash 的标注流水线，若数据不发布则需要重跑整条标注管线，成本较高且难以完全对齐；训练需同时微调 7B 规划器与 8.3B 级视频扩散模型，估计需要多卡 A100/H100 与数天时间；评测还要调用 Gemini 与 GPT-5.2 的 API，评测开销不低。总体而言，若数据集按计划开源，熟练团队可在较短时间内复现评测结果，完整训练复现则需要可观的算力预算。
论文图表
三栏对比图：(a) 开环生成按固定提示一次 rollout，走错步骤无法纠正且任务完成后仍继续生成；(b) 闭环规划配合冻结的预训练执行器，正确指令仍可能执行失败，重规划无法修复执行错误；(c) WorldGuide 在同一批示范上联合训练 ContextPlanner 与 Video DiT 执行器，执行器以规划器动作嵌入为条件，形成带完成预测的闭环。
这张图一图道尽论文动机与核心主张：开环、闭环弱执行、闭环学习执行三种范式的递进对比，是理解引言逻辑和贡献定位的钥匙。