HelloWorld：在视频世界模型中实现社交可交互角色 HelloWorld: Enabling Socially Interactive Characters in Video World Models
首个支持用户与世界内角色进行社交互动的视频世界模型
前置知识
视频世界模型（Video World Model）
视频世界模型学习用像素“做梦”，模拟一个会随环境演化而展开未来的视觉世界。它构建在视频生成模型之上，额外接受用户输入（如相机轨迹、键盘按键、技能或事件触发）来引导世界的展开，从而支持游戏制作、世界仿真和电影创作等交互式应用。典型做法是条件化于第一帧图像、文本提示和某种控制信号，自回归地或一次性地生成一段连贯的视频未来。
本文正是把视频世界模型的能力从“看世界、走相机”扩展到“和世界里的角色打招呼”，理解世界模型的基本输入输出范式（首帧 + 提示 + 控制）是读懂 HelloWorld 任务定义的前提。
扭曲视频条件（Warp Video Condition）
扭曲视频是把第一帧沿目标相机轨迹重新渲染得到的“伪视频”。具体地，先用现成的三维重建工具把首帧 $x_0$ 提升为点云，再按每一帧的目标相机位姿 $c_i \in SE(3)$ 将点云重投影到各帧。由于被遮挡或视野外的区域在重投影后会成为空洞，扭曲视频只提供几何化的相机运动引导，而非完整目标，剩余缺失区域留给模型去填补。它被当作历史条件注入到 DiT 中，每个扭曲 token 共享对应目标帧的时间位置编码。
扭曲视频是 HelloWorld 将通用视频生成模型改造成相机可控世界模型的核心载体，也是自蒸馏训练阶段的条件输入，理解它能解释为什么模型能同时跟随相机又不破坏交互质量。
自蒸馏（Self-Distillation）
自蒸馏指模型用自己生成的样本来进一步训练自己。在 HelloWorld 中，作者先用基础视频生成模型 LTX-2.3 合成同时包含社交互动和相机运动的视频，再用 Pi3X 工具恢复每段视频的首帧点云和逐帧相机轨迹，从而得到带标注的“伪真值”。接着用一个轻量 LoRA 在这些自生成样本上做流匹配微调，使模型学会在扭曲视频条件下重建原始片段。整个过程无需任何外部数据采集或人工标注。
自蒸馏是 HelloWorld 训练数据零成本的来源，也是把基座模型的“社交先验”迁移到可控世界模型的关键机制，理解它能解释为什么仅 156 段视频、2000 步训练就能显著提升互动质量。
DiT 与流匹配损失（Diffusion Transformer & Flow Matching）
DiT（Diffusion Transformer）是以 Transformer 为骨干的扩散生成模型，通过多层的自注意力和交叉注意力建模潜在噪声的逐步去噪。流匹配是扩散过程的一种变体，将生成建模为从噪声分布到数据分布的连续流：给定干净潜变量 $z_0$ 和噪声 $\epsilon$，在时间 $t \in [0,1]$ 上做线性插值 $z_t = (1-t)z_0 + t\epsilon$，模型预测速度场 $v_\theta$ 并以最小化 $\lVert v_\theta - (\epsilon - z_0)\rVert_2^2$ 为目标训练。HelloWorld 用流匹配损失微调 LoRA。DiT 中的交叉注意力层负责让文本提示、音频、视频 token 与历史条件相互“对话”。
流匹配损失公式与 DiT 交叉注意力结构是理解本文训练目标（公式 3）和推理阶段时序掩码（公式 4）作用机制的数学基础。
交叉注意力时序掩码（Temporal Cross-Attention Mask）
交叉注意力决定了哪些查询 token（如视频/音频 token）能“看到”哪些键 token（如文本 token）。时序掩码通过在注意力打分矩阵上叠加一个掩码 $M$，把某些 query-key 组合的分数压到 $-\infty$，从而在 softmax 后使其权重为零。HelloWorld 设计的掩码 $M_{ij}=-\infty$ 当且仅当视频/音频帧 $i$ 不在交互窗口 $W$ 内且文本 token $j$ 属于交互提示 $y_{inter}$，否则为 0。这样窗口外的帧无法关注交互相关文本，迫使角色只在按钮按下后的窗口内回应。
这个无需训练的掩码是 HelloWorld 控制交互“何时发生”的核心机制，也是它 TimeAcc 从 ~33% 提升到 81.7% 的关键，理解掩码的数学定义才能读懂公式 4 和消融实验。
LoRA 微调（Low-Rank Adaptation）
LoRA 是一种参数高效微调方法，冻结原始模型权重，仅在选定层（通常是注意力投影矩阵）旁挂一组低秩矩阵 $A \in \mathbb{R}^{r \times d}$、$B \in \mathbb{R}^{d \times r}$，用 $BA$ 来近似权重增量。由于参数量 $2dr$ 远小于 $d^2$，可以用极少显存和样本完成定制化训练。HelloWorld 使用秩为 32 的 LoRA，作用于视频分支所有自注意力投影矩阵，仅用 156 段视频、2000 步就把基座模型改造成可控世界模型。
LoRA 是 HelloWorld 用极小代价完成自蒸馏微调的关键，理解它的低秩性质有助于解释为什么作者声称该管线“无需大量数据采集与标注”。
研究动机
近期的视频世界模型取得了显著进展，已经能条件化于用户输入来操控相机在世界中移动，或触发世界内事件，可用于游戏制作、世界仿真和电影创作。但作者指出一个关键空白：现有世界模型完全不支持用户与世界内角色之间的社交互动。在一些生成世界中角色只是静态像素，某些模型虽能生成角色的环境性动作（ambient behaviors），那也只是随意的肢体动作，而非面向用户的社交互动。例如 WorldPlay 和 Matrix-Game 3.0 倾向于生成静态场景，在 HelloWorldBench 上 ActAcc 仅 10.5 和 8.0；LingBot-World、SANA-WM、Warp-as-History 虽能跟随文本生成动作（LingBot-World 甚至 ActAcc 达 50.5），但它们都无法控制互动发生的时机，TimeAcc 全部徘徊在 30%–40% 附近，几乎等同于三选一问题的 33.3% 随机猜测水平；同时它们的 GazeDev 普遍偏大（52.8°–77.2°），说明生成角色并没有真正看向相机。
本文的目标是作者的目标是构建首个支持社交互动的视频世界模型 HelloWorld。除相机轨迹和文本提示外，它还接受一个“交互按钮 F”输入：当 F 被按下时，屏幕内的角色会面向镜头做出挥手、点头、敬礼或说一句简短问候等社交行为，且行为发生的时机由用户精确控制。同时 HelloWorld 要在不牺牲基座模型画面美学质量的前提下保持行业领先的视频质量与相机跟随能力，并为这一全新任务构建第一个评测基准 HelloWorldBench，提供“做了什么动作、何时做、是否面向观看者”三个社交互动指标以及三个传统指标。
与已有工作不同的是，本文的独特切入角度在于把“社交互动”从一个被忽视的维度显式地引入视频世界模型，而不是再去优化相机控制或场景重建。技术上的切入也很巧妙：训练端用自蒸馏复用基座模型已有的社交先验（用 LTX-2.3 自己生成的带互动视频反训自己，零外部标注），推理端用一个完全无需训练、开销可忽略的时序交叉注意力掩码来精准控制互动时机——把控制“何时”从数据/训练中解耦出来。这与把互动写死进文本提示、希望模型读懂时序的做法形成本质区别，也填补了既有基准只关注场景保真度和相机可控性、却忽视世界内角色的空白。
核心方法
HelloWorld 的整体思路是“训练端保住互动先验，推理端控制互动时机”。任务形式上，世界模型 $G$ 接收四个输入：含场景与角色的首帧图像 $x_0$、描述世界与互动事件的文本提示 $y$、跨 $N$ 帧的相机轨迹 $C=\{c_i\}_{i=1}^N$（$c_i\in SE(3)$）、以及指定社交互动窗口 $W=[\tau_s,\tau_e]$。作者沿用扭曲视频条件化方案：先通过 $V_{warp}=\mathrm{warp}(x_0,C)$ 把首帧点云沿轨迹重投影成伪视频作为相机条件的显式编码，再注入 DiT 作为历史 token。HelloWorld 由两部分组成：一是自蒸馏微调，把预训练视频生成模型用自身生成的数据转化成可控世界模型；二是训练自由的时序交叉注意力掩码，在推理时决定互动何时发生。整个流程在单张 NVIDIA H200 GPU 上完成训练与测试，推理分辨率为 1280×704、24 fps、生成 10 秒视频，每个样本跑三个随机种子取平均。
核心创新点是把“社交互动的控制”拆成两个解耦的机制，并各自用最省成本的方式实现。第一，训练阶段只解决“能不能自然互动 + 能不能跟随相机”，方法是用自蒸馏保留基座模型 LTX-2.3 原生的社交先验——直接用模型自己生成的、同时含互动和相机的视频作为训练数据，再用扭曲视频条件化做 LoRA 微调；这避免了真实视频缺乏面向镜头互动信号的痛点（消融证明用真实视频训练的模型虽能做动作但不朝向观众，GazeDev 高达 51.3°）。第二，推理阶段用一张无需训练的时序掩码 $M_{ij}$ 单独解决“何时互动”：窗口 $W$ 外的帧被禁止关注交互提示 $y_{inter}$，从而把时序控制从训练数据中完全剥离。这与以往把时机写进文本提示、依赖模型读懂自然语言时序的做法有本质区别，也正是 TimeAcc 能从随机水平的 33% 跃升到 81.7% 的根本原因。
方法步骤详情
完整流程分四步。步骤一，合成训练数据（图 2a）：用提示 $y=(y_{scene},y_{inter},y_{camera},y_{quality})$ 让基座 LTX-2.3 生成同时含互动与相机的视频，再用 Pi3X 恢复每段首帧点云与逐帧轨迹。步骤二，构造扭曲视频：按 $V_{warp}=\mathrm{warp}(x_0,C)$ 渲染扭曲视频，可见 token 选择模块丢弃重投影空洞对应的扭曲 token，剩余 token 与噪声 token、首帧 token 拼接送入 DiT。步骤三，LoRA 微调（图 2b）：以流匹配损失 $\mathcal{L}=\mathbb{E}\lVert v_\theta(z_t,t,x_0,y_{scene},y_{inter},y_{quality},V_{warp})-(\epsilon-z_0)\rVert_2^2$ 训练，其中 $z_t=(1-t)z_0+t\epsilon$；相机提示 $y_{camera}$ 被刻意排除，确保相机跟随只由扭曲视频控制。LoRA 秩 32 作用于视频分支所有自注意力投影矩阵，156 段视频训 2000 步，学习率 $1\times10^{-4}$，扭曲参考 token 注意力强度 0.3。步骤四，推理与时序掩码（图 3）：键盘输入翻译为轨迹并渲染扭曲视频做前向；按下 F 时确定窗口 $W=[\tau_s,\tau_e]$，对音频/视频到文本的交叉注意力施加掩码 $M_{ij}=-\infty$（若 $i\notin W$ 且 $j\in y_{inter}$）否则为 0，得 $\mathrm{Attention}=\mathrm{softmax}(QK^\top/\sqrt{d}+M)V$，使互动文本只在窗口内被关注。
技术新颖性
技术新颖性体现在四个层面。其一，任务层面：首个面向“世界内角色与用户社交互动”的视频世界模型，并首次覆盖非人角色（动物、机器人、玩具）的多模态互动（动作、手势、表情、语音）。其二，数据层面：提出自蒸馏训练管线，用模型自身生成 + Pi3X 自动标注替代人工数据采集与标注，仅 156 段视频、2000 步即可完成微调，且消融证明自生成数据显著提升 ActAcc（从 36.4 到 41.4）与 GazeDev（从 51.3° 到 40.2°），而 TimeAcc 因由掩码控制而保持稳定。其三，控制层面：提出训练自由的时序交叉注意力掩码，把“互动时机”从训练解耦，几乎零开销地获得时序控制（TimeAcc 从无掩码的 36.7% 升到 81.7%，SpeechInWin 从 52.5% 升到 69.1%）。其四，评测层面：构建 HelloWorldBench，120 张高质量图、400 样本、264 角色实例、101 种互动类型，并首次提出 ActAcc、TimeAcc、GazeDev 三个社交互动专属指标，填补既有基准只衡量场景保真与相机可控性的空白。
实验结果
主实验（表 1）中 HelloWorld 取得 ActAcc 41.4、TimeAcc 81.7、GazeDev 40.2°、BgCons 96.9、Aesthetic 5.27、CamCtrl 82.9，全面优于 WorldPlay、Matrix-Game 3.0、LingBot-World、SANA-WM、Warp-as-History 与基座 LTX-2.3。最决定性的差距在时序：其余方法 TimeAcc 全部停在 30.9%–52.6%（接近 33.3% 随机水平），HelloWorld 达 81.7%；CamCtrl 以 82.9 远超第二名 SANA-WM 的 70.0；BgCons 与 Aesthetic 双双最佳，说明自蒸馏保留了基座美学。消融一（表 2）显示真实视频训练能做动作但不朝向观众（GazeDev 51.3°），自生成数据降到 40.2°，三组 TimeAcc 都约 81%–82%，印证时序由掩码控制。消融二（表 3）显示无掩码 TimeAcc 仅 36.7%，加 $M_v$ 升到 80.9%，$M_v+M_a$ 升到 81.7%，SpeechInWin 从 52.5% 升到 69.1%；无掩码 ActAcc 反而最高（42.5），因角色全程在做动作，是时序定位的小代价。开销上（表 4）生成 10 秒片段需 60.2 秒，每帧 0.26 秒，比基座多约 20% 时间与 36% FLOPs。用户研究（表 5）中 30 位评测者在 41 样本配对比较，HelloWorld 在三问上全面胜出，置信区间下界均在 66% 以上。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 社交互动时机控制（HelloWorldBench） | TimeAcc（越高越好，三选一随机水平 33.3%） | 81.7% | SANA-WM 30.9%、Warp-as-History 35.2%、LingBot-World 39.5%、Matrix-Game 3.0 37.5% | 相对最强基线翻倍以上 |
| 相机跟随（HelloWorldBench） | CamCtrl（越高越好） | 82.9 | SANA-WM 70.0、Warp-as-History 65.1、LingBot-World 62.6 | +12.9（相对第二名约 18%） |
| 互动朝向（217 个人类样本） | GazeDev（°，越低越好） | 40.2° | Warp-as-History 52.8°、LingBot-World 59.0°、Matrix-Game 3.0 77.2° | 偏差降低约 12.6°–37° |
| 视频质量（背景一致性） | BgCons（越高越好） | 96.9 | Warp-as-History 95.3、LTX-2.3 94.7、Matrix-Game 3.0 88.3 | 全场最佳 |
| 推理效率（10 秒片段） | 每帧时间（秒） | 0.26 秒/帧 | WorldPlay 0.56、LingBot-World 0.39、SANA-WM 0.27 | 约 WorldPlay 的 2.2 倍效率 |
局限与改进
作者明确承认 HelloWorld 受基座模型设计和算力限制，尚不支持与用户的实时交互——世界生成仍由预先指定的相机轨迹和交互脚本驱动，更像是“拍好后回放”而非“即按即应”。作者把实时化（探索自回归架构）、长视频生成、单角色一致性（持久身份、多轮持续互动）列为未来工作。此外从实验数据可观察到几点隐含局限：第一，ActAcc（41.4）虽优于多数基线，但低于 LingBot-World（50.5）和无掩码基线（42.5），说明在“做什么动作”维度上 HelloWorld 并非最强，作者将其解释为时序定位牺牲了一部分动作识别分数，但仍意味着动作正确性有提升空间。第二，GazeDev（40.2°）虽为最佳之一，但绝对值仍不小，说明“看向镜头”未臻完美。第三，评测高度依赖 VLM 评判器 Qwen3.6-35B-A3B 与 UniGaze 估计器，存在评判偏差与 gaze 估计误差风险；GazeDev 只在 217 个人类样本上计算，对动物/玩具角色无 gaze 指标。第四，HelloWorldBench 仅 400 样本，规模有限；基线方法的实现与对齐（尤其是否公平地接收提示与相机输入）也可能影响比较。第五，自蒸馏生成的训练数据仅 156 段，角色/场景多样性受限，未见对极端外观或复杂多人互动的鲁棒性测试。
独立分析的弱点
第一个弱点是缺乏实时性：当前必须先把相机轨迹和交互脚本预先确定，再一次性生成视频，无法做到“按键即响应”，难以用于真正的交互式游戏或对话体验。改进方向是引入自回归、流式架构，结合 KV 缓存与滚动窗口，逐步产出帧并对用户的实时输入做出反应。第二个弱点是 ActAcc 仍非最优（41.4 < LingBot-World 50.5）：时序掩码把互动约束在窗口内，可能挤压动作的多样性与饱满度。改进方向是改进掩码为软掩码或可学习强度、并在自蒸馏数据中增加更丰富的高质量互动样本，或引入专门的动作监督（如姿态/手势条件）来提升动作正确性。第三个弱点是朝向质量有限（GazeDev 40.2°），GazeDev 又仅覆盖 217 个人类样本，动物/玩具角色的“面向感”缺客观度量。改进方向是把 gaze/朝向显式建模为条件或在训练中加入朝向监督，并扩展 gaze 估计器到非人角色。第四个弱点是评测对 VLM 评判器与 gaze 估计器过度依赖，样本规模（400 条、41 条用户研究）偏小。改进方向是扩大基准规模、引入多人盲评、对评判器做校准与一致性检验。第五个弱点是单角色一致性、多轮持续互动尚未支持，身份漂移与记忆缺失会影响长视频体验。改进方向是引入身份保持机制（如参考图条件、记忆库）与多轮上下文建模。
未来方向
作者提出的未来方向集中在三点：一是探索自回归架构以实现真正的实时交互；二是支持长视频生成；三是对单个角色的一致性建模，包括持久身份和持续多轮互动。基于本文成果还可延伸若干方向：把社交互动从“按钮触发”扩展到连续、多模态的输入（语音、姿态、注视），实现双向对话式交互；将自蒸馏范式迁移到非社交类交互（如 NPC 之间、人机协作任务）；用更大的自生成数据集或更强基座模型（视频 + 音频联合生成）进一步提升动作正确性与朝向质量；研究如何让时序掩码自适应不同提示与角色，或把它推广到其他可控生成任务（如按段控制风格、镜头语言）；探索与世界模型结合的下游应用，如电影预演、游戏 NPC 自动表演、教育与陪伴类虚拟角色。
复现评估
复现性总体中等偏上但存在缺口。论文给出了项目主页 https://github.com/AlayaLab/HelloWorld，但截至论文写作时主要给出项目页与联系方式，未明确完整代码与权重是否开放。关键超参数披露较充分：LoRA 秩 32、训练 2000 步、学习率 $1\times10^{-4}$、扭曲参考 token 注意力强度 0.3、156 段合成训练视频、推理分辨率 1280×704/24fps/10 秒、每样本 3 个随机种子、评判器为 Qwen3.6-35B-A3B、所有训练测试均在单张 NVIDIA H200 上完成。自蒸馏管线依赖现成工具 Pi3X 做点云与位姿恢复，扭曲视频渲染流程（点云提升 + 重投影 + 可见 token 选择）描述清晰但未给代码。评测依赖 HelloWorldBench（120 张 Unsplash 图 + LLM 设计的互动提示）和外部模型（Qwen 评判器、UniGaze gaze 估计器、Whisper 语音转录），其中 Unsplash 图集为公开来源但 LLM 设计的提示与相机轨迹未明确发布。主要复现难点在于：基座模型 LTX-2.3 与各基线（WorldPlay、Matrix-Game 3.0、LingBot-World、SANA-WM、Warp-as-History）的获取与公平对齐、自蒸馏数据的可复现性、以及单卡 H200 的算力门槛。
论文图表
图展示了 HelloWorld 的核心能力：除相机轨迹和文本提示外，用户通过交互按钮 F 提示屏幕内的角色面向镜头互动。四宫格展示了不同角色（人、动物、玩具）在不同提示下的互动样例——'Wave to the viewer.'（挥手）、'Say Hi to the viewer.'（打招呼，画面出现 Hi! 字样）、'Thumb-up to the viewer.'（点赞）、'Greet to the viewer.'（问候）、'Jump to the viewer.'（跳跃）、'Salute to the viewer.'（敬礼），同时保持了高质量的场景与相机轨迹重建。
这张图是理解论文动机的入口，直观回答了'什么是社交互动世界模型'，并展示了 HelloWorld 支持的多样化角色（人/动物/玩具）与多样化行为，是论文主张的最直接视觉证据。