Gamma-World：超越两个智能体的生成式多智能体世界建模 Gamma-World: Generative Multi-Agent World Modeling Beyond Two Players

方法的第一步是视觉tokenization，之后清洁的多智能体潜变量表示为Z_0 in R^(P x T x H x W x C_z)，这是对单智能体潜变量z_0的扩展，增加了明确的智能体轴p in {1,...,P}。模型以初始观察和每个智能体动作序列为条件，联合预测所有智能体的未来潜变量观察。第二步是动作编码，每个智能体由其自己的动作序列a_p^(1:T)控制，使用共享动作编码器f_a将每个动作映射到隐藏动作特征u_p^t = f_a(a_p^t) in R^D。在transformer层l，动作特征被投影为层特定的动作偏置，并广播到对应智能体和帧的所有空间token。第三步是Simplex旋转智能体编码，将3D RoPE坐标扩展为(t, p, h, w)，分区旋转头维度为d_rope = d_t + d_p + d_h + d_w，得到4D旋转算子R_4D(t, p, h, w) = diag(R_t(t), R_p(p), R_h(h), R_w(w))。智能体带旋转角度为theta_p = alpha * s_pi(p)，其中s_pi(p)是分配给智能体p的单形顶点，alpha > 0控制智能体分离强度。第四步是稀疏Hub注意力，序列组织为PT L个智能体token后跟T K个hub token，hub token从可学习矩阵H in R^(K x D)绘制，跨帧广播。Hub-and-spoke拓扑定义为M_hub(i,j) = I[rho(i) = rho(j) or rho(i) = hub or rho(j) = hub]，其中rho(i)表示token i的身份。对于因果自回归生成，拓扑与块因果掩码组合：M(i,j) = I[b(j) <= b(i)] * M_hub(i,j)，其中b(i)是token i的时间块索引。第五步是三阶段训练和推理，双向教师处理完整多智能体序列，因果学生使用扩散强制和稀疏Hub注意力，蒸馏阶段使用分布匹配蒸馏将多步学生压缩为少步生成器，推理时使用KV缓存实现24 FPS流式rollout。

本文的技术新颖性体现在三个方面。首先，Simplex旋转智能体编码是首个参数免费的、保持排列对称性的智能体身份编码方法。与学习的每个槽位嵌入不同，它不引入可学习参数，与标量索引不同，它不破坏对称性。这种编码的理论基础是正则单形的等距性质，作者在附录B中证明了所有不同智能体对在单形角度空间中精确等距：对所有p != q成立。其次，稀疏Hub注意力引入了一种新的跨智能体通信拓扑，它不是直接在智能体之间进行密集注意力，而是通过hub token中介。这种拓扑将每块注意力成本从O(P^2n^2L^2)降低到O(PnL(nL + nK)) + O(nK(PnL + nK))，作者在图3中展示了这种效率优势：对于8个智能体，稀疏Hub注意力的DiT延迟为245.3ms，而密集注意力为817.6ms；自注意力FLOPs为1.9T vs 8.0T。第三，本文是首个展示从两人训练零样本泛化到四人模拟的多智能体世界模型，作者在图5中展示了这一泛化能力，验证了单形旋转编码和稀疏Hub通信的有效性。

独立分析的第一个弱点是模型缺乏明确的3D几何或物理约束，这在长时程rollout中可能导致累积不一致性。具体场景中，当智能体在三维空间中交互时，生成的视频可能违反基本的物理规律（如重力、碰撞检测）或几何一致性（如物体尺寸、空间关系）。改进方向是引入显式的3D感知模块，如深度预测、场景图建模或物理引擎集成，在生成过程中强制几何和物理约束。第二个弱点是模型使用固定的hub token数量，这可能限制跨智能体通信的表达能力。在复杂交互场景中（如多个智能体同时操作多个对象），固定的少量hub token可能不足以捕获所有必要的交互信息。改进方向是设计自适应hub token机制，根据场景复杂度动态调整hub token数量，或者使用分层hub结构，让不同层级的hub token处理不同抽象级别的交互信息。第三个弱点是模型的评估主要集中在短时程生成（最长189帧，约6秒），在需要长期一致性或长期规划的任务中可能表现不佳。改进方向是引入显式的记忆机制或状态跟踪模块，让模型能够在长时程rollout中保持对共享世界状态的一致理解。第四个弱点是模型仅在特定环境（Minecraft和机器人协调）上评估，在其他类型的多智能体环境中的泛化能力未知。改进方向是在更多样化的多智能体环境上评估模型，如交通模拟、多机器人协作、多人战略游戏等，并研究如何适应这些环境的不同特性（如连续动作空间、复杂动力学、部分可观测性）。

作者提出的未来工作包括在更复杂、异构和长时程设置中的更广泛验证，以及为非常大的人群设计更大的旋转智能体带或分层智能体分组。基于本文成果可以延伸的研究方向包括：探索分层多智能体架构，将智能体组织为团队或组，组内使用密集注意力，组间使用稀疏Hub注意力，进一步平衡表达能力和计算效率。研究如何将模型扩展到部分可观测环境，其中每个智能体只能看到世界的部分，需要通过推理来理解完整的世界状态。探索如何将模型与其他多智能体学习方法结合，如多智能体强化学习，让智能体不仅生成观察，还能学习最优策略。研究如何将模型应用于真实世界的大规模多智能体场景，如交通流模拟、人群模拟、无人机编队等。探索如何引入显式的世界状态表示，让模型不仅能生成视觉观察，还能维护和推理底层的物理状态、语义信息和因果关系。研究如何提高模型的可解释性，让用户能够理解模型如何模拟智能体之间的交互和世界状态的演化。探索如何将模型与用户交互结合，让用户能够在生成过程中干预和引导多智能体的行为和世界的演化。

论文提供了相当详细的实现细节。作者基于Cosmos-Predict2.5-2B模型，隐藏维度D=2048，28个transformer块，16个注意力头（头维度128），MLP比率4，AdaLN-LoRA秩256。分区头维度为(64, 32, 16, 16)分别对应(t, p, h, w)轴，使用大小为4的单形池在2个活动运行时槽位上。动作编码器将23维键盘one-hot和2维相机向量通过两个MLP分支提升到128维，融合MLP通过4x步幅1D时序卷积映射256维向量，最终投影到模型维度D=2048。稀疏Hub注意力每个潜在帧使用K=8个可学习全局hub token，以及局部窗口注意力，每个查询关注最近24个潜在帧。训练使用AdamW，学习率3x10^-5，权重衰减10^-3，beta1=0.0, beta2=0.999，100步线性预热，梯度裁剪在0.1。双向教师在32个NVIDIA GB200上训练，因果学生在32个NVIDIA GB200上训练，蒸馏在32个NVIDIA GB200上运行400次迭代。然而，论文没有提供代码和数据集的公开链接，没有提供训练好的模型权重，没有提供详细的超参数配置文件。作者提到了SolarisEngine数据生成管道和RealOmin-Open Dataset，但没有提供数据集的获取方式。因此，虽然实现细节详细，但实际复现难度较高，需要自行实现模型架构、准备数据集、配置训练环境。算力需求也相当高，需要多个GB200 GPU进行训练，这可能限制了许多研究团队的复现能力。