TeamHOI：学习适用于任意团队规模的统一协作人机交互策略 TeamHOI: Learning a Unified Policy for Cooperative Human-Object Interactions with Any Team Size
提出TeamHOI框架，用单一去中心化策略实现2-8个人形机器人的协作搬运任务
前置知识
Adversarial Motion Prior (AMP)
AMP是一种通过对抗训练将运动先验知识引入强化学习的方法。它训练一个判别器来区分生成的动作和参考运动数据，用风格奖励引导策略生成自然的动作。AMP的核心思想是损失函数同时最小化参考数据被正确分类的概率和策略生成数据被误认为参考数据的概率，风格奖励为判别器对策略生成状态转换输出概率的对数负值。这种对抗设置使得策略在追求任务奖励的同时，生成的动作尽可能接近参考运动的风格，从而保证动作的真实性。
本文在AMP基础上创新性地提出了掩码AMP策略，理解AMP原理对于理解本文如何解决多智能体场景下参考数据稀缺问题至关重要。
PPO (Proximal Policy Optimization)
PPO是近端策略优化算法，通过裁剪目标函数来限制策略更新幅度，保证训练稳定性。其关键优势是目标函数计算新旧策略的重要性采样比率，并对其应用裁剪操作，防止策略更新过大导致性能崩溃。PPO还使用广义优势估计来计算优势值，平衡偏差和方差。由于实现简单且性能稳定，PPO已成为强化学习的标准算法之一。
本文使用PPO作为核心强化学习算法，并针对多团队规模场景提出了团队规模优势归一化策略，这是理解本文训练方法的基础。
Transformer自注意力和交叉注意力
Transformer通过自注意力机制处理序列信息，通过交叉注意力机制让一个序列关注另一个序列。自注意力计算通过查询、键、值三个线性变换得到注意力权重，然后对值进行加权求和。交叉注意力则让查询来自一个序列，而键值对来自另一个序列。多头注意力允许模型在不同表示子空间中同时关注不同的信息。这些机制使Transformer能够有效建模序列中的长程依赖关系。
本文的核心创新是使用Transformer策略网络，自注意力处理自身状态，交叉注意力处理队友信息，这打破了传统MLP策略的固定输入尺寸限制。
物理仿真环境（Isaac Gym/MuJoCo）
Isaac Gym是NVIDIA开发的高性能GPU物理仿真器，支持并行环境实例化，能够同时模拟数千个环境实例，大幅加速强化学习训练。MuJoCo是通用的物理引擎，提供精确的接触和摩擦模拟，被广泛用于机器人控制研究。两者都支持PD控制器进行关节控制，输出目标关节位置或力矩。物理仿真为基于学习的控制方法提供了安全、可重复、低成本的数据获取环境。
本文在Isaac Gym中训练，在MuJoCo人形模型上进行实验，理解这些仿真器的特点有助于理解本文的虚拟天花板训练技巧和整体实验设置。
研究动机
现有的物理人形机器人框架在协作人机交互场景中面临两大核心问题：一是可扩展性受限，大多数方法依赖固定尺寸输入的MLP策略网络，导致策略只能处理固定数量的智能体，例如SMPLOlympics仅在固定的2-4人小规模团队中运作；二是数据多样性不足，由于多人协作参考运动数据极其稀缺，现有方法被迫使用单人演示数据，极大限制了协作行为的多样性。CooHOI等方法通过共享物体动力学进行隐式通信，缺乏对队友状态的显式建模，这在现实人类协作场景中是不切实际的，因为人类合作者会持续感知彼此的存在并根据团队规模调整协调策略。例如，两个人搬运桌子时面对面站立，而八个人则需要围绕桌子形成环形分布，固定策略无法自适应这种变化。
本文的目标是本文的具体目标是开发一个能够泛化到任意数量协作智能体的统一去中心化策略，每个智能体仅基于局部观察独立决策，同时通过单一共享策略网络实现有效的团队协作。策略需要在不同团队规模、不同物体几何形状的配置下都能工作，无需重新训练或微调。此外，在缺乏多人参考运动数据的情况下，方法仍需生成真实且多样化的协作行为，最终在协作搬运任务中实现高成功率和连贯的团队配合。
与已有工作不同的是，本文的独特切入角度在于同时解决团队规模可扩展性和参考数据稀缺性两个核心挑战。与现有方法相比，TeamHOI首次采用Transformer策略网络替代MLP，通过队友令牌机制实现可变团队规模的显式协调；同时提出掩码AMP策略，在训练过程中屏蔽物体交互的身体部位，让这些区域由任务奖励引导而非参考运动约束，从而从单人参考数据中衍生出多样化的协作行为。这种双重创新使单一策略能够处理2-8个智能体的协作任务，而CooHOI等方法即使针对特定团队规模训练也难以泛化到其他规模，这是以往工作未曾实现的突破。
核心方法
TeamHOI框架的整体思路是构建一个可扩展的多智能体强化学习系统，使单个去中心化策略能够泛化到任意团队规模的协作人机交互任务。每个智能体独立感知自身状态和目标信息，通过Transformer策略网络处理自身令牌和队友令牌，输出控制动作。训练时同时实例化不同团队规模的环境，策略网络暴露于多样化的协调模式，从而无需重训练即可适应不同团队规模及其对应的协调需求。为确保动作真实性同时解决参考数据稀缺问题，引入掩码AMP策略，使用单人参考运动但屏蔽物体交互身体部位，让任务奖励引导这些区域的动作生成。作为具体测试平台，设计了协作搬运任务，多个智能体需要协作抬起并搬运桌子到目标位置，通过形状和团队规模无关的队形奖励引导智能体形成稳定的搬运队形。
TeamHOI的核心创新点在于两个关键技术突破：一是Transformer策略网络架构，彻底打破了传统MLP策略的固定输入限制。策略网络包含多层交替的自注意力和交叉注意力层，自注意力处理观察智能体的自身令牌，交叉注意力让这些令牌 attending 队友令牌，每个队友令牌编码队友在观察智能体局部框架中的位置、朝向等线索。即使团队规模很大，这种架构也能高效处理可变数量的队友信息。二是掩码AMP策略，解决多人参考数据稀缺问题。训练两个判别器：全身体AMP网络评估完整参考运动，掩码AMP网络排除直接与物体交互的身体部位。物体交互时使用掩码风格奖励，非交互时使用全身体风格奖励，通过连续交互指示符的sigmoid函数进行平滑融合。这与已有方法的本质区别在于，CooHOI等通过共享物体动力学隐式通信，不显式建模队友状态；而AMP方法强制整个身体遵循参考运动，限制了交互多样性。
方法步骤详情
TeamHOI方法的完整步骤包含三个核心阶段：首先是令牌化与观察编码。每个智能体获得观察，包含本体感受状态和目标状态。观察组件通过独立三层MLP令牌化器编码为令牌。输入令牌包括可学习嵌入、本体感受令牌、物体令牌（结合物体中心、候选接触点、最近手-物体点）、目标位置令牌和可变数量的队友令牌。队友令牌编码每个队友在观察智能体局部框架中的根位置、朝向旋转表示和围绕桌子中心的相对角度。其次是Transformer前向传播。Transformer主干包含多层交替的自注意力和交叉注意力层，每层有多个注意力头和前馈块。自注意力在观察智能体令牌上操作，交叉注意力让这些令牌高效地attending队友令牌集合。更新后的嵌入通过MLP预测目标关节旋转用于PD控制。最后是训练与优化。使用PPO算法优化策略，同时训练两个风格判别器。训练时实例化多个环境，每个配置不同数量的协作智能体和相应的协作奖励。为确保稳定训练，对每个团队规模分别归一化PPO优势。总奖励结合任务奖励和风格奖励，其中平衡参数平衡任务性能和动作真实性。
技术新颖性
TeamHOI的技术新颖性体现在多个维度。在架构层面，首次将Transformer引入协作HOI领域，通过队友令牌机制实现真正的可变团队规模协调，这突破了MLP策略的固定输入限制，使策略能够自适应从2人到8人的不同团队规模。在数据利用层面，掩码AMP策略是开创性的贡献，它通过在判别器更新时屏蔽物体交互身体部位，让这些区域由任务奖励引导而非参考运动约束，从而从有限的单人参考数据中衍生出多样化的协作行为。这与分段运动先验框架有概念相似性，但该方法直接学习分段先验，而TeamHOI通过任务奖励在掩码区域强制多样性，更适合需要自适应物体交互的协作场景。在奖励设计层面，主轴覆盖奖励是形状和团队规模无关的创新，它通过计算支撑多边形沿物体主轴的距离来衡量支撑稳定性，支持不规则几何形状和非均匀质量分布。在训练技巧层面，团队规模优势归一化解决了混合团队规模训练的稳定性问题，虚拟天花板技巧克服了Isaac Gym必须每个环境包含相同数量actor的限制，这些实用创新对复现和扩展工作具有重要价值。
实验结果
实验结果显示，TeamHOI在协作搬运任务中取得了卓越性能。在正常重量设置下，统一策略在2、4、8个智能体配置下分别达到99.1%、99.2%、97.5%的成功率，距离目标的平均距离为0.06m、0.08m、0.18m。协作时间比例（所有智能体持续接触物体的时间比例）分别为95.2%、96.1%、90.1%，平均绝对jerk（衡量动作平滑度）为51.0、44.7、34.2。相比之下，CooHOI*基线表现强烈依赖于其训练的特定团队规模：CooHOI*-2在2个智能体时达到97.5%成功率，但在4和8个智能体时急剧下降到73.2%和10.1%；CooHOI*-4在4个智能体时为94.5%，在8个智能体时降至61.5%；CooHOI*-8即使在8个智能体的训练配置下也仅达到42.2%成功率。在重载设置（5倍桌子重量）下，任务变得极其挑战，小团队几乎无法抬起桌子。值得注意的是，只有我们的方法在8个智能体重载场景中展示了有意义的协作，达到81.1%成功率和0.49m距离，而所有CooHOI*变体在8个智能体重载设置下的成功率均低于5%。定性结果进一步显示，我们的方法产生同步且稳定的团队合作，而CooHOI*基线表现出有限或无效的协作：CooHOI*-2出现智能体对之间的竞争行为，每对试图独立移动桌子，导致不均匀运动和频繁失去接触；CooHOI*-4在大型团队中未能展示同步协作，导致不稳定运动；CooHOI*-8在向目标移动桌子时难以有效协调，经常在智能体之间产生冲突力。消融研究验证了掩码AMP策略和队形奖励的有效性。掩码AMP显著提升了提升阶段的成功率，通过屏蔽物体交互身体部位，策略学习通过任务奖励控制手-物体交互，而不是被过度约束的单人全身参考运动所限制。队形奖励对比显示，仅使用角度展开奖励时，智能体不总是沿物体主轴分布，最终收敛到不自然的对角步态模式；加入主轴覆盖奖励后，智能体沿物体自然旋转稳定性主轴对齐队形，学习到协调的方向行走、自然的对称步态和平衡支撑。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 协作搬运（正常重量） | 成功率 (%) | 97.5-99.2 | 10.1-97.5 | 最高提升87.4个百分点（8智能体对比CooHOI*-2） |
| 协作搬运（重载5倍重量） | 8智能体成功率 (%) | 81.1 | 0.1-4.1 | 至少提升77个百分点 |
| 协作搬运 | 协作时间比例 (%) | 90.1-96.1 | 1.0-93.8 | 4智能体时提升4个百分点 |
| 协作搬运 | 动作平滑度 |J| (m/s³) | 34.2-51.0 | 36.5-189.9 | 8智能体时提升24.4%，比最差基线改善82% |
局限与改进
作者承认的局限性包括：虽然方法在2-8个智能体范围有效，但更大团队规模的泛化能力尚未验证，可能需要重新设计协调机制。目前仅测试了协作搬运这一类任务，在其他协作HOI场景（如协作装配、协作推拉）的适用性有待探索。实验中的物体几何形状相对简单（方形、矩形、圆形），复杂不规则形状（如L形、多孔结构）的搬运能力需要进一步验证。从我们自己的观察来看，方法还存在以下局限：训练需要三个阶段累计约9.5天（单A100 GPU），计算开销较大，限制了快速原型开发和超参数调优效率。队形奖励虽然设计为形状和团队规模无关，但在极端形状（如细长杆状物体）或极端团队规模（如大于10个智能体）下可能需要重新调整参数。方法假设智能体能够准确感知队友信息，但在真实机器人场景中，传感器噪声、遮挡和通信延迟可能显著影响协调性能。此外，当前框架仅处理静态物体搬运，动态物体（如摆锤）或移动物体（如推车）的协作搬运需要额外设计。
独立分析的弱点
从独立分析的角度看，TeamHOI存在几个可以改进的弱点。第一，通信机制虽然通过队友令牌实现了显式协调，但仍然是中心化观察：每个智能体需要知道所有队友的位置和朝向信息，这在真实场景中可能不可行。改进方向可以是引入局部通信范围，让智能体只与附近的队友通信，或者学习到的高层协作意图进行通信，减少带宽需求。第二，队形奖励虽然有效但仍然需要手工设计，包括角度展开和主轴覆盖两个组件的权重以及主轴覆盖的计算细节。改进方向可以是学习队形表示，让策略从奖励中自动发现稳定的搬运队形，而不是依赖手工工程化的奖励组件。第三，掩码AMP策略虽然扩展了行为多样性，但仍然依赖单人参考运动，这可能限制某些真正需要多人配合的协调模式。改进方向可以是从单人参考合成伪多人参考，或者利用运动扩散模型在给定场景条件下生成协作参考运动。第四，方法在重载场景下仅对8智能体有效，更少智能体时几乎无法抬起5倍重量的桌子。这提示方法在力量分配和负载均衡方面可能需要改进，例如学习动态调整接触点位置或采用渐进式提升策略。
未来方向
作者提出的未来工作方向包括：扩展到更广泛的协作HOI任务，如协作装配（多人同时操作不同部件）、协作推拉（一人推一人拉）和协作攀爬（互相支撑攀爬障碍）。探索更大团队规模的泛化能力，可能需要层次化协调结构或区域化分工。改进奖励设计以适应更复杂的物体几何形状，引入可微分渲染或几何先验来更精确地计算稳定性。基于本文成果可以延伸的研究方向包括：真实机器人部署，解决Sim2Real差距问题；部分可观测场景下的鲁棒协调，当队友信息不完整或延迟时仍能有效协作；动态环境中的自适应协调，当环境障碍物或其他智能体干扰时重新规划队形；多任务协作框架，让同一策略能够处理多种协作HOI任务而不仅是搬运；人机协作场景，让策略能够与真实人类用户有效配合；理论分析，从博弈论或信息论角度分析去中心化协调的收敛性和效率。
复现评估
本文的复现性评估如下：开源情况方面，论文承诺提供代码和模型，项目网页提供视频演示。数据方面，参考运动来自公开的AMASS数据集，具体使用了ACCAD子集的9个行走相关运动及其时间反转版本（用于后退行走）、CMU子集的3个侧行走运动，以及ACCAD子集的3个拾取运动及其反转生成的提升运动。这些数据都是公开可获取的。算力方面，训练需要单块NVIDIA A100 GPU，三阶段训练累计约9.5天（第一阶段1.5天，第二阶段5天，8智能体微调3天）。环境并行度1024，PPO minibatch大小16384（2-4智能体）或8192（2-8智能体），这对计算资源要求较高，普通研究者可能需要访问GPU集群或调整并行度和批量大小。难度方面，论文提供了详细的实现细节和超参数，包括水平长度32、Adam优化器、学习率、任务奖励权重0.5、风格奖励权重0.5、PPO裁剪阈值0.2、折扣因子0.99、GAE参数0.95等。补充材料详细描述了奖励函数的所有组件（行走、手接触准备、接触提升、集体运输、放下），以及广义主轴覆盖奖励的数学推导。虚拟天花板技巧和团队规模优势归一化的描述也相当完整。总体而言，复现难度中等偏上，主要障碍是GPU算力需求，但提供的细节足够让有经验的研究者重现主要结果。
论文图表
该图展示了TeamHOI框架在2到8个智能体配置下的演示效果，每个子图显示多个简化人形围绕不同几何形状的桌子进行协作搬运的场景。人形以简化的火柴人或轮廓表示，桌子以不同形状展示，整体布局清晰展示了方法能够适应不同团队规模和物体配置的能力。
这张图对理解论文至关重要，因为它直观地展示了TeamHOI的核心贡献：单一策略能够在2到8个智能体范围内工作，并且适应不同的物体几何形状。这直接回应了论文引言中提出的两个主要挑战：团队规模可扩展性和物体多样性。