Kairos：面向物理AI的原生世界模型框架

首个原生面向物理AI的世界模型，跨具身课程+混合线性时序记忆

前置知识

世界模型

世界模型是一种能够学习环境内部表示并预测未来状态的系统，起源于强化学习中的环境模拟器。它将环境的观察历史编码为紧凑的潜在表示，利用这些表示预测在给定动作下未来世界状态如何演化。世界模型的核心价值在于为智能体提供一个可以进行安全探索和规划的想象空间，使智能体能够在模拟环境中学习策略而非直接在真实世界中试错。现代世界模型通常结合视频生成能力来模拟逼真的视觉未来，同时保持物理一致性。

本文的核心就是构建一个世界模型。理解世界模型的基本概念和设计原则，包括状态预测、环境建模、以及如何将世界模型用于下游任务如机器人控制，是理解本文架构选择和评估指标的基础。

扩散模型

扩散模型是一类生成式概率模型，通过学习如何逐步去除添加到数据中的噪声来生成新样本。标准扩散过程分为前向扩散阶段和反向去噪阶段，前向阶段逐渐向数据添加高斯噪声直至变成纯噪声，反向阶段学习一个神经网络预测噪声并逐步去噪。图像和视频生成中的扩散模型通常使用U-Net或Transformer作为去噪网络。Flow Matching是扩散模型的一种变体，直接学习从噪声分布到数据分布的速度场，训练更加稳定高效。

Kairos使用基于Flow Matching的扩散Transformer作为核心生成架构。理解扩散模型的基本原理、训练目标以及采样过程，对于理解本文的模型架构、训练策略和蒸馏优化方法至关重要。

线性注意力

标准Transformer的自注意力机制计算复杂度为序列长度的平方，在处理长序列时计算和内存开销急剧增长。线性注意力通过重新表达注意力计算公式，使用核函数或状态空间模型将复杂度降低到线性。常见实现包括使用指数核函数的Linear Transformer、基于门控机制的Gated Linear Attention以及采用递归状态更新的Mamba等架构。这些方法通过维护一个可更新的状态向量来累积历史信息，避免了存储和计算完整的注意力矩阵。

Kairos的核心创新之一是使用混合线性注意力机制来高效处理长视频序列。理解线性注意力的原理、实现方式以及与标准注意力的区别，是理解本文如何实现线性复杂度长期建模的关键。

Flow Matching

Flow Matching是一种生成式建模框架，学习从简单先验分布如高斯噪声到目标数据分布的连续时间速度场。给定干净数据和噪声，Flow Matching构造插值样本，然后训练神经网络预测速度。Rectified Flow是Flow Matching的一种特殊参数化，使用线性插值路径。相比扩散模型的分数匹配目标，Flow Matching的训练更稳定，采样过程可以使用ODE求解器或确定性时间步。

Kairos采用Flow Matching作为主要训练目标。理解Flow Matching的数学形式、训练损失函数以及与标准扩散模型的关系，对于理解本文的训练过程和蒸馏算法中的教师学生模型对齐机制非常重要。

具身智能

具身智能强调智能体通过身体与环境交互来获得认知能力，而非仅处理抽象符号。在机器人领域，具身智能需要智能体能够感知环境、理解物理约束、执行动作并获得反馈，形成观察动作反馈的闭环。世界模型在具身智能中的作用是提供物理一致的环境模拟，使智能体能够在虚拟世界中预演策略、理解动作后果，从而提升真实世界的执行效率和安全性。

本文的终极目标是构建面向物理AI的原生世界模型，专门服务于具身智能应用。理解具身智能的基本范式、传感器执行器闭环、以及世界模型在其中扮演的角色，有助于理解为什么本文强调动作条件生成、部署效率和长期一致性等独特需求。

研究动机

现有世界模型在向物理AI基础设施演进过程中面临四大结构性挑战。首先是跨异构经验源的学习碎片化问题。开放世界视频虽然提供广泛的物理规律，但缺乏动作锚定和任务意图。人类数据揭示了结构化行为模式，但与机器人具身或控制空间不完全对齐。机器人数据虽然最相关，却昂贵、狭窄且难以扩展。当前系统往往优化单一经验形式而利用其他不足，学习部分能力而非统一的世界知识。其次是长期时序视野中的状态维护问题。短视频延续可以依赖局部视觉平滑性，但世界建模需要在更长时间内保持同一世界状态，包括对象永久性、延迟物理效应、多阶段交互等。许多当前系统在短视界外观转换上表现良好，但随着持续时间增长而退化，因为局部延续启发式无法保证全局状态一致性。第三是世界理解与具身控制之间的鸿沟。模型可能预测或生成合理的未来，但无法学习具身智能体的动作如何可靠、可控地改变这些未来。这一鸿沟源于观察、行为和控制占据不同的表示机制。第四是真实约束下的部署和闭环操作问题。即使离线评估中的强世界模型如果无法以足够低延迟、低内存开销和合理通信成本运行，在实践中也可能无法使用。对于物理AI和任何形式的自进化学习，模型必须能够实时或近实时参与观察动作反馈循环。

本文的目标是Kairos的核心目标是构建一个原生面向物理AI的世界动作模型堆栈，能够从异构经验源中统一学习世界知识、在长期时序视野中维护一致的世界状态、在真实部署约束下高效运行。不同于将物理对齐视为下游微调事后的传统范式，Kairos倡导物理AI的原生预训练范式，其中通用物理定律和具身锚定从扩展的最开始就被原生注入基础世界模型。通过跨具身数据课程组织开放世界视频、人类行为数据和机器人交互到渐进发展路径，Kairos系统化地获得从被动物理学到主动任务意图的内部表示进化。

与已有工作不同的是，本文的独特切入角度在于首次将世界模型定位为未来自进化物理智能的部署感知基础设施，而非仅仅是生成模型或演示系统。与现有工作相比，Kairos有三方面本质区别。第一，提出跨具身数据课程，拒绝解耦的后训练微调方法，主张物理规律和行为语义必须在基础架构中从扩展的最开始就被原生合成。第二，设计带混合线性时序记忆的原生理解生成预测统一架构，通过时序因子化严格限制误差累积，数学上保证长期状态传播。第三，实施部署感知的系统协同设计，将边缘侧实时执行作为一阶建模原则，通过硬件感知计算内核、量化协议和token流优化，在消费级硬件上维持高吞吐量、低内存推理。这些贡献形成一个深度耦合的响应，解决了世界模型成为持续自进化可操作基质的结构性瓶颈。

核心方法

Kairos采用三层次原生世界动作模型堆栈设计，围绕如何学习、维护和运行世界这三个核心问题构建统一架构。首先，跨具身数据课程定义模型如何学习世界，通过从开放世界观察到人类模仿和机器人具身的渐进层次缓解广泛无锚定观察与狭窄机器人动作之间的失配。其次，带混合线性时序记忆的原生理解生成预测堆栈治理模型如何维护世界状态。通过在滑动窗口注意力、扩张滑动窗口注意力和门控线性注意力之间策略性分配时序责任，网络在长时域中稳健保持关键世界潜在，减轻通常导致强化学习rollout偏离的误差累积。第三，部署感知的系统协同设计规定模型如何在真实世界边缘约束下运行世界。通过优化底层内核和仅权重量化，Kairos将执行效率转化为一阶建模原则，实现持续自进化所需的亚毫秒级推理和实时观察动作反馈循环。

Kairos的核心创新在于首次提出物理AI的原生预训练范式，并通过混合线性时序注意力实现理论保证的长期一致性。与传统方法将视频生成作为通用基础模型然后再针对具身控制进行微调不同，Kairos在架构设计之初就融合了世界理解和动作生成能力。其关键技术突破包括跨具身数据课程将大规模异构数据组织为物理规律到人类行为再到机器人具身的渐进学习路径、混合线性时序注意力通过时序因子化实现线性复杂度下的长期状态维护并提供理论保证、Mixture of Transformers架构统一视频和动作的联合训练、部署感知优化包括时间步蒸馏和硬件感知推理优化。这些创新使Kairos成为首个能够在消费级硬件上实时运行、同时达到SOTA性能的世界动作模型。

方法步骤详情

Kairos的训练分为三个原生预训练阶段。阶段一物理预训练从图像预训练开始，然后图像视频混合预训练，最后持续预训练。这一阶段利用数百万小时开放世界视频注入基础物理先验，包括重力、质量守恒、流体动力学等，通过因果链式思考推理形式化这些物理原理。阶段二以人为中心的具身预训练使用超过十万小时人类为中心的数据，将模型从无条件视频生成过渡到任务结构化视频预测。训练包括四个渐进阶段：人类为中心预训练、机器人为中心训练、目标具身微调、强化学习精炼。阶段三联合世界动作训练，在此阶段，视频和动作进行联合训练。训练损失为视频损失加上lambda乘以动作损失，其中动作从预训练的视频权重插值初始化。视频帧序列和动作chunk序列在时间维度上严格对齐，确保两个分支观察到相同轨迹的对应段。推理时支持高效的动作仅预测模式，禁用未来视频生成分支，显著减少计算和扩散成本。

技术新颖性

Kairos的技术新颖性体现在多个层面。在架构层面，首次提出原生理解生成预测统一架构，将语义智能、视觉合成和物理预期维护为共享世界状态，并由混合时序记忆机制稳定。在训练范式层面，首创跨具身数据课程，拒绝解耦的后训练微调方法，将物理规律和行为语义在基础架构中从扩展的最开始原生合成。在效率层面，混合线性时序注意力实现理论保证的线性复杂度长期建模，通过时序因子化严格限制误差累积，论文提供了完整的理论分析证明混合多尺度时序记忆的近似充分性。在部署层面，实施部署感知的系统协同设计，将边缘侧实时执行作为一阶建模原则，包括时间步蒸馏和硬件感知推理优化。此外，Kairos还引入自进化和提示自对齐机制，通过rollout评估精炼循环实现闭包持续改进。

**Figure 4**: Model Architecture of Kairos.

**Figure 5**: DiT block architecture of the proposed hybrid linear attention.

**Figure 6**: Architecture of the gated linear attention module GDN.

**Figure 7**: Cross-Embodiment Data Curriculum for Native Pretraining.

**Figure 8**: Shape-aware exponential timestep shifting curves in Kairos across training stages.

**Figure 11**: Data Statistics and Examples

**Figure 14**: Kairos Self-evolution framework. It follows a closed-loop rollout-evaluation-refinement cycle for continuous improvement.

实验结果

Kairos在多个基准测试中达到SOTA性能同时保持前所未有的推理效率。在embodied world model基准上，Kairos在WorldModelBench robot子集上获得最高总分九点三，Instruction Following二点三六，Physics Adherence四点九六，在牛顿力学、流体动力学和重力上获得满分一点零零。在DreamGen Bench上，Kairos在平均物理依从性零点五三八和总体平均分数零点六一八上排名第一，平均指令跟随零点六九八仅次于十四亿的Wan二点二。在PAI Bench robot子集上，Kairos在小规模模型小于十亿中获得最佳整体性能，Domain Score八十八点五九，Overall Score八十二点五七，以四亿参数匹配或超过多个大规模大于等于十亿基线模型。在world action model基准上，Kairos在RoboTwin二点零上达到百分之九十六点一平均成功率，仅次于MotuBrain的百分之九十六点零但领先大多数现有方法。在LIBERO plus上达到百分之九十点八联合模式，显著优于仅动作模式的百分之八十九点零。在效率方面，Kairos四B在NVIDIA A八百上生成四八零P五秒视频仅需十一点七秒单GPU或三点零秒四GPU，比Cosmos Predict二点五十四B快八十五倍，比Wan二点二五B快二点五到三点七倍，且推理时间随视频长度线性增长而非指数增长。人类评估显示，Kairos在PAI Bench robot子集上对Cosmos Predict二点五十四B和Lingbot二十八B的胜率分别为百分之六十点二和百分之四十九点一，对Wan二点二五B的胜率达百分之七十四点一。在WorldModelBench robot子集上对Wan二点二五B和Lingbot二十八B的胜率分别为百分之八十六点七和百分之七十四点七。在DreamGen上对Wan二点二五B的胜率达百分之八十八点八。

**Table 1**: Stages of progressive physical pretraining

**Table 4**: Latency Comparison on Various Hardware Platforms

**Table 5**: Latency Comparison on Various Models

**Table 6**: Evaluation on WorldModelBench Robot Set

**Table 7**: Evaluation on DreamGen Bench

**Table 11**: Results on RoboTwin 2.0 benchmark

**Table 12**: Results on LIBERO-plus benchmark

**Table 16**: Evaluation on WorldModelBench

**Table 18**: Evaluation on PAI-bench-15s

**Figure 3**: Performance comparison across diverse benchmarks and efficiency comparison

**Figure 9**: Samples generated by Kairos. Kairos exhibits robust cross-embodiment generalization, seamlessly adapting to diverse robotic forms including single-arm, dual-arm, dexterous hands and humanoids.

**Figure 15**: Performance of Distilled Kairos Robot Model on PAI-Bench Dataset

**Figure 19**: Human evaluation results.

查看结构化数据

任务	指标	本文	基线	提升
WorldModelBench-robot	Total Score	9.30	Cosmos3-Nano (9.26), Abot-Physworld (8.96), Wan2.2-5B (8.52)	击败所有基线，包括16B的Cosmos3-Nano，Instruction Following并列第一(2.36)，Physics Adherence 4.96(接近满分5.0)
DreamGen Bench	AVG_Score	0.618	Wan2.2-14B (0.611), Cosmos3-Nano (0.540), Wan2.2-5B (0.434)	以4B参数击败14B的Wan2.2，AVG_PA排名第一(0.538)，展示强物理世界建模
RoboTwin 2.0	Average Success Rate	96.1%	MotuBrain (96.0%), AIM (93.1%), LingBot-VA (92.2%)	达到SOTA级别(仅次于MotuBrain)，在Clean设置上96.9%领先所有方法
LIBERO-plus	Average	90.8% (joint)	ACoT-VLA (88.0%), π0.5 (85.7%), ProGAL-VLA (85.5%)	达到SOTA，联合生成视频和动作比仅动作模式(89.0%)提升1.8%
PAI-Bench-robot (TI2V)	Overall Score	82.57	Cosmos3-Nano 16B (82.62), Abot-Physworld 14B (82.32), Wan2.2-5B (78.63)	在小规模模型中最佳，匹配或超过多个14B模型，Domain Score 88.59领先所有<10B模型
VideoPhy	Average Score	45.55	Cosmos-Predict2.5-14B (45.16), Cosmos-Predict2.5-2B (44.64), Wan2.2-5B (38.85)	击败所有基线，包括14B的Cosmos，展示强物理推理能力
Inference Efficiency (720P, 5s)	Time (4 GPUs)	9s	Cosmos-Predict2.5-14B (687s), Wan2.2-5B (85s), Cosmos-Predict2.5-2B (2526s)	比Cosmos-Predict2.5-14B快76倍，比Wan2.2-5B快9.4倍，内存使用仅23.5GB(与Wan2.2-5B相当)

局限与改进

作者承认的局限性包括虽然混合线性时序注意力在理论上保证误差累积受限，但在极端长时域如超过十五秒的生成中仍可能观察到渐进式退化。当前模型主要在视觉模态和机器人动作空间进行建模，尚未整合音频、深度等多模态数据。跨具身泛化虽然展示了强大能力，但对于完全陌生的机器人形态仍可能需要微调。我们的观察包括虽然蒸馏后的四步生成器在视觉质量上接近教师模型，但在精细物理细节如毫米级接触动力学上可能存在轻微精度损失。当前自进化机制主要基于提示重写和rollout评估，尚未实现完全自主的环境交互和策略更新。部署优化虽然显著降低了延迟，但在极端资源约束如嵌入式设备上的部署仍有挑战。大规模机器人交互数据的获取仍是瓶颈，虽然人类中心数据部分缓解了这一问题，但最精细的传感器执行器对齐仍需机器人数据。

独立分析的弱点

首先是极端长时域的一致性挑战。虽然混合线性时序注意力通过门控Delta更新规则保证误差累积受限，但在超过训练时域长度如超过十五到二十秒的生成中，对象永久性和延迟物理效应仍可能出现渐进式漂移。改进方向可以是探索层级式记忆结构，在门控线性注意力之上引入更高层的情景记忆，或者使用强化学习从环境中获得的反馈信号来校正长期状态。其次是多模态整合的局限性。当前模型主要聚焦视觉和动作，尚未系统整合音频、深度、语义地图等模态。改进方向可以是扩展混合块设计，将音频、深度等作为附加流处理，通过滑动窗口注意力融合局部时空特征，通过门控线性注意力路径维护全局跨模态对齐。第三是跨具身泛化的局限。虽然Kairos展示了跨单臂、双臂、灵巧手和人形的强大泛化，但对于完全陌生的机器人形态如四足机器人、无人机可能仍需目标具身微调。改进方向可以是扩展跨具身数据课程以包含更多样化的机器人形态，或设计元学习框架使模型能够快速适应新形态。第四是实时部署的权衡。当前蒸馏和优化已经显著降低延迟，但在超低延迟要求如小于十毫秒的闭环控制场景中，仍可能存在计算瓶颈。改进方向可以是探索更激进的量化如INT二、模型剪枝，或者针对特定硬件的专用内核优化。

未来方向

作者提出的未来研究方向包括两个变革性前沿。自主自进化通过递归想象，旨在通过使Kairos能够持续与真实世界环境交互、自主评估策略执行漂移，并通过递归多阶段想象精炼其内部时空物理模拟器，将模型转化为自改进认知智能体。通用具身基质，将Kairos从孤立、任务特定环境扩展到真正通用化的物理AI平台，包括扩展统一动作空间以适应高度多样化的硬件跨具身，从复杂人形平台到灵巧多指操作设置，通过跨开放世界环境的异构预训练，将Kairos进化为普遍可部署的基础，能够实现零样本复杂意图识别和在不受限物理领域的高成功率执行。基于成果可延伸的方向包括探索完全自主的在线学习机制，使模型能够在真实世界部署过程中持续从环境反馈中学习。扩展到更多传感器模态和机器人形态。研究更高效的自进化算法，如基于内在动机的探索策略。开发针对特定垂直领域如自动驾驶、家庭服务机器人的专用Kairos变体。探索与其他AI系统如大语言模型、规划器的深度集成，构建更完整的具身智能系统。

复现评估

Kairos的开源情况良好。代码已发布在GitHub，模型权重在Hugging Face和ModelScope上提供。论文提供了详细的架构描述、训练超参数和评估协议，包括三阶段原生预训练的分辨率、帧数、学习率配置表，以及混合线性注意力的具体实现细节。数据方面，论文描述了数据收集、过滤、标注和增强的完整流程，包括美学评分、运动评分、AIGC检测、NSFW过滤、模糊度检测、人体运动评分、OCR评分等多维度质量评估，以及Divide and Conquer caption策略和链式思考增强文本。算力方面，训练需要在多GPU分布式环境中进行，论文提到使用八乘四零九零GPUs和一百八十vCPUs进行数据工程优化。由于模型规模四亿参数和训练数据规模数百万小时视频，完整复现需要相当的计算资源，但预训练模型的公开使得下游应用和基准测试评估相对容易。难度评估为中等偏上。虽然代码和模型开源，但完整训练需要大规模计算资源，不过下游评估和应用相对容易上手。论文提供的详细实现细节和评估协议有助于研究者复现实验结果。

Kairos：面向物理AI的原生世界模型框架 Kairos: A Native World Model Stack for Physical AI