面向大规模多智能体路径规划的局部可学习通信方法 Learning to Communicate Locally for Large-Scale Multi-Agent Pathfinding
LC-MAPF：3M参数Transformer+多轮局部消息传递，无通信监督的新SOTA
前置知识
多智能体路径规划 (MAPF)
MAPF 问题定义为一组智能体在共享图环境（通常为 4-连通网格）中同步移动，需要在无碰撞约束下让每个智能体从起点到达目标点的协调规划问题。目标函数常用 SoC（Sum-of-Costs，总步数之和）或 makespan（最后到达时间）度量。
MAPF 是仓储物流、无人车调度等现实机器人系统的核心抽象，论文的整个实验和算法都建立在该问题的去中心化版本上。
去中心化部分可观测马尔可夫决策过程 (Dec-POMDP)
Dec-POMDP 是多智能体强化学习中常用的形式化框架，每个智能体基于局部观测独立决策，没有中心控制器。MAPF 在去中心化设定下被建模为 Dec-POMDP，每个 agent 在每个时间步根据局部观测选择动作。
论文 LC-MAPF 采用去中心化执行但中心化训练思路（类似 CTDE），核心通信模块正是为了让 Dec-POMDP 中的智能体学会局部协作。
模仿学习 (Imitation Learning) / 行为克隆
模仿学习通过专家轨迹 $\hat{T}=\{(s,a)\}$ 训练策略 $\pi_\theta$ 逼近专家 $\hat{\pi}$，目标是最小化 $-\log \pi_\theta(\hat{a}|o)$。MAPF 中常用 LaCAM* 等中心化求解器作为专家。
LC-MAPF 用 LaCAM* 生成约 7.5 亿组专家 (观测, 动作) 对进行行为克隆，损失函数为交叉熵 $\mathcal{L}=\text{CE}(a_u, a_u^*)$，是本文训练范式的基础。
图注意力网络与可学习通信
图注意力网络 (GAT) 通过对邻居节点加权聚合实现消息传递；可学习通信则让神经网络以端到端方式学出“该传什么”，通常借助多轮信息交换增强协调。MAGAT、DHC、DCC、SCRIMP 等 MAPF 工作均采用此类机制。
LC-MAPF 与这些方法的本质区别在于：它用 Perceiver 风格的信息瓶颈把观测压缩到低维潜在向量后再通信，且不需要任何对消息内容的显式监督。
Transformer 与信息瓶颈 (Perceiver)
Transformer 用自注意力编码序列 token；Perceiver 用少量可学习 latent query 跨注意力压缩任意长输入。论文借此将变长观测压缩为 $32\times 96$ 的潜在状态。
这是 LC-MAPF 实现“通信开销与观测大小无关”的关键架构选择，也是其在大规模场景中保持线性可扩展性的工程基础。
研究动机
现有学习式 MAPF 求解器普遍存在两类瓶颈。其一是 MAPF-GPT 这类纯模仿学习方法虽然性能强、模型大（85M 参数），但因为训练数据来自中心化求解器（LaCAM*），智能体在执行时没有任何显式通信能力，无法在观测受限时协调避碰；其二是在 MAGAT、DHC、DCC、SCRIMP 等引入可学习通信的工作中，通信通常只发生在单轮，且直接对完整观测做消息传递，导致通信成本随观测长度爆炸，难以扩展到上百乃至上千智能体。论文指出，MAPF 优化求解是 NP-hard（Surynek 2010），次优中心化求解器虽能扩展但解质量严重下降，而去中心化+学习的范式天然适合多机器人场景，但“如何让 agent 在不破坏可扩展性的前提下学会有效通信”仍是开放问题。
本文的目标是论文目标有三：(1) 设计一个不依赖显式通信监督信号的可学习通信学习框架，让 agent 仅用专家动作演示就能学出“该给邻居传什么信息”；(2) 用该框架训练一个参数极小（约 3M）的 Transformer 模型，在 POGEMA 基准上把可学习去中心化 MAPF 的成功率与解质量推进到新的 SOTA；(3) 验证所设计的局部多轮通信在不影响线性可扩展性的前提下能提升协调能力，并通过真机部署证明其实用性。
与已有工作不同的是，LC-MAPF 的独特切入角度是把“通信学习”和“观察压缩”耦合起来：先用 Perceiver 风格的信息瓶颈把每个 agent 的 token 化观测压缩到固定大小（如 $32\times 96$）的潜在状态 $z_u$，然后在多轮（默认 4 轮）通信中只在这些紧凑消息 $m_u^r$ 之间交换，从而让通信成本与观测长度、与 agent 总数都解耦。与 MAGAT/SCRIMP 直接对 token 序列做 attention 的做法不同，LC-MAPF 的消息没有显式监督，只通过后续轮次对其他 agent 决策的影响反向传播梯度——这是论文的核心新颖点，也是它能兼顾性能和可扩展性的关键。
核心方法
LC-MAPF 把去中心化 MAPF 视作 Dec-POMDP，在每个时间步 $t$ 和每个 agent $u$ 上做两件事：第一，把局部观测 $o_u^t$ 通过 Transformer 编码器 + Perceiver 风格 latent 压缩成紧凑表征 $z_u$；第二，让所有 agent 同步进行 $R_{\text{comm}}$ 轮邻居消息交换，每轮把收到的邻居消息 $C_u^r$ 和自身潜在状态 $z_u$ 一起送入解码器得到新消息 $m_u^r$，末轮再通过动作头得到动作分布 $p_u=\text{softmax}(a_u)$。整体直觉是：观测只进入编码器一次，所有 agent 共享同一套参数，通信只发生在低维潜在空间，因此即使 $R_{\text{comm}}=4$ 也能在数千 agent 上保持线性扩展。
核心创新有两条。第一条是“无监督的可学习通信”：消息 $m_u^r$ 没有辅助损失，梯度只通过下游 agent 在后续轮次的动作损失回传——这意味着网络自己学出消息该编码什么语义（位置、意图、冲突信息等）。第二条是“信息瓶颈 + 多轮迭代”：先用 latent query 把任意长度的 token 化观测压成 $T_{\text{latent}}=32$、$d_{\text{latent}}=96$ 的 $z_u$，再让 $R_{\text{comm}}$ 轮解码器共享 latent 表征与邻居消息；这与 MAGAT 直接对完整 token 做一层 attention、SCRIMP 在原始特征上做一次通信有本质区别——LC-MAPF 把“通信量”和“观测量”完全解耦，因此在大图、大数量 agent 上仍能保持每步 < 1 秒的推理速度。
方法步骤详情
LC-MAPF 的前向流程可分解为四步：(1) 编码与压缩。对 agent $u$ 的局部观测 $o_u^t=[\text{cost-to-go}, i_u, n_{u,1},\dots,n_{u,k}]$，先用嵌入 $X_{u}^{0}=\text{Etok}(o_u^t)+E_{\text{pos}}+E_{\text{nbr}}$（包含 token 身份、位置、邻居标识三类嵌入），经 3 层 Transformer 编码器得 $H_u^{\text{enc}}=\text{Encoder}(X_u^0)$，再用 32 个可学习 latent query $L_q^{\text{enc}}$ 对其做 cross-attention 得到 $z_u=\text{LatentEncoder}(L_q^{\text{enc}}, H_u^{\text{enc}})\in\mathbb{R}^{32\times 96}$。(2) 多轮通信。消息 $m_u^0$ 初始化为可学习向量；第 $r$ 轮 agent $u$ 收集邻居 $v\in N(u)\cup\{u\}$ 在第 $r-1$ 轮的消息 $m_v^{r-1}$ 加上邻居身份嵌入 $E_{\text{nbr}}^{\text{dec}}(v)$ 组成 $C_u^r$，与 $z_u$ 一起送入 3 层 Transformer 解码器得 $h_u^r=\text{Decoder}(L_q^{\text{dec}},[z_u,C_u^r])$，再经消息头 $m_u^r=\text{MsgHead}(h_u^r)$ 输出本轮消息。论文默认 $R_{\text{comm}}=4$。(3) 动作预测。末轮把 $h_u^{R_{\text{comm}}}$ 送入动作头 $a_u=\text{ActionHead}(h_u^{R_{\text{comm}}})$，再用 $p_u=\text{softmax}(a_u)$ 采样动作；推理时取 $\arg\max$。(4) 训练。损失是交叉熵 $\mathcal{L}=\text{CE}(a_u, a_u^*)$，对所有 agent 求平均；AdamW + cosine decay，max LR $6\times 10^{-4}$、min $6\times 10^{-5}$、warm-up 8000 步、batch size 32、grad-accum 16（有效 512），单卡 H100 训练 800k 步约 900 GPU-hour，使用 bfloat16 混合精度。架构上还集成了 RMSNorm、SwiGLU FFN、QK-normalization、differential attention 等近期稳定化技巧。
技术新颖性
技术新颖性体现在三处差异化设计：(a) 通信无需显式监督——这是相对于 MAGAT/DHC/SCRIMP 都用某种辅助目标（如邻居动作预测、Q 值回归）的关键差异；LC-MAPF 的消息完全靠“影响下游邻居决策”这一间接信号被优化，作者在 Table 2 与 Table 4 中用 1-8 轮消融证实至少 2 轮是必需的，4 轮最优点。(b) 通信在潜在空间而非观测空间——这让通信成本与 token 数 $k$ 解耦，是论文在 Table 5 中把 5000 agent、$256\times 256$ 地图上单步推理控制在 0.65 秒的根本原因。(c) 通信作为异步鲁棒特征——Table 3 显示即使 50% 消息被替换为高斯噪声，32 agent 仍能 100% 成功，说明学出的消息承载了足够鲁棒的结构化信息，而不只是冗余的观测副本。
实验结果
论文在 POGEMA 基准（Random / Mazes / Warehouse / Cities Tiles 四种地图，agent 数从 8 一直到 256）上与 6 个基线（MAPF-GPT-85M、MAPF-GPT-DDG-2M、SCRIMP、DCC、HMAGAT、MAGAT+）做了系统对比：Fig. 3 与 Fig. 4 表明 LC-MAPF-3M 在所有地图的成功率上与最强基线持平或更优，在 Mazes 8-80 agent、Warehouse 32-192 agent 上领先最明显；Warehouse 上 HMAGAT 与 LC-MAPF 解决率接近但 SoC 略好，LC-MAPF 略胜在成功率。Table 2 的消融显示 1 轮通信在 32+ agent 上完全失败（success rate 0.000），2 轮在 128 agent 上仅 0.008，而 4 轮（即训练时设置）能拿到 1.000；冲突数也从 1 轮的 299（32 agent）一路降到 4 轮的 5.4。Table 3 的消息故障测试表明 50% 高斯噪声下 8-32 agent 仍 100% 成功，64 agent 仍有 0.77。Table 4 显示把通信邻居上限从 13 砍到 1/2/4/8 在 64 agent 上会让成功率从 0.87 暴跌到 0.06，证实“足够多邻居”是性能关键。Table 5 验证了大规模可扩展性：在 $256\times 256$ 网格、0-30% 障碍密度、1000-5000 agent 上，LC-MAPF 单步推理从 0.12s（1000 agent）线性增长到 0.65s（5000 agent），大部分实例都能在 2048 步内完成；30% 障碍 + 2000+ agent 才会出现超时。Fig. 6/7 表明加入 CS-PIBT 后基线排序会显著变化（例如 MAPF-GPT-85M 在 Random 上变成最优但 SoC 仍差），论文据此主张应同时报告“有/无 shield”两套结果。Fig. 9 则展示了一个 3 台 JetBot 实物机器人在复现 POGEMA 迷宫场景中的执行，验证了从离散规划到差速底盘的整套桥接（SLAM Toolbox 构图、Nav2 + ThetaStar、Zenoh 通信、栅格-地图坐标对齐、两阶段旋转+同步平移）。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| POGEMA Random 地图多智能体路径规划 | Success Rate（实例解决率） | LC-MAPF-3M 在 8-96 agent 上成功率均 ≥ 0.95，96 agent 时仍接近 1.0 | MAPF-GPT-85M 同样在 8-96 agent 上 ≥ 0.95；HMAGAT、MAGAT+、SCRIMP、DCC 表现明显落后 | LC-MAPF 以约 1/28 的参数量（3M vs 85M）取得与最大基线相当或更优的成功率 |
| POGEMA Mazes 地图多智能体路径规划 | Success Rate 与 SoC Ratio（相对 LaCAM*） | 8-80 agent 成功率领先所有基线；中位 SoC ratio 约 1.3，平均 1.4 | MAPF-GPT-85M 中位 SoC 1.24（略低）但平均 1.42；HMAGAT 等更弱 | 成功率提升主要体现在高 agent 数（64-80）场景；SoC 上 LC-MAPF 平均略优于 MAPF-GPT-85M |
| POGEMA Warehouse 地图多智能体路径规划 | Success Rate | 32-192 agent 全部场景成功率领先或持平基线 | HMAGAT 解决率接近 LC-MAPF，且 SoC 略优；MAPF-GPT-85M 等落后 | LC-MAPF 在 Warehouse 上比 MAPF-GPT-85M 解决率更高，但 HMAGAT 在 SoC 上略胜 |
| POGEMA Cities Tiles 地图（OOD 测试） | Success Rate（泛化到训练未见的城市地图） | 64-256 agent 仍维持 0.94 以上的成功率 | HMAGAT 等基线明显下降，MAPF-GPT 系列虽强但弱于 LC-MAPF | LC-MAPF 在未见拓扑上仍保持 0.94+ 成功率，泛化能力优于多数基线 |
| 通信轮数消融（Warehouse） | Success Rate 与平均冲突数（128 agent） | $R_{\text{comm}}=4$：成功率 1.000，冲突数 226.6 | $R_{\text{comm}}=1$：成功率 0.000；$R_{\text{comm}}=2$：成功率 0.008，冲突 1144.8；$R_{\text{comm}}=8$：0.938 成功率、252.7 冲突 | 从 1 轮到 4 轮，冲突数下降 89%，成功率从 0 跃升到 1.0 |
| 大规模 256×256 随机地图（0-30% 障碍） | Makespan 与单步推理时间 | 1000-5000 agent 单步推理 0.12-0.65 秒，绝大部分实例在 2048 步内完成 | SCRIMP、DCC 因通信开销指数级增长，无法扩展到此规模 | LC-MAPF 是首个在此规模下仍能端到端运行的可学习通信方法 |
局限与改进
作者明确点出几项限制：(1) 当前消息长度固定为 13（含自身），限制了 agent 间可表达的信息量；Table 4 的 Limit=4 实验显示在 48+ agent 上会损失 12-30 个百分点成功率。(2) 通信轮数 $R_{\text{comm}}$ 仍是超参，4 轮是经验最优，进一步增加轮数不会提升成功率（Table 2 第 5-8 轮）但会增加推理时延。(3) 训练数据由 LaCAM* 生成，专家本身无通信信号，模型可能学到与“真实通信需求”不一致的表示。(4) 实物实验中假设环境静态、其他机器人从本地 costmap 中被显式移除，等于把避碰完全交给全局规划器——这在动态障碍场景下不再适用。(5) 作者自身的观察：消息被替换为 50% 高斯噪声时 64 agent 成功率从 0.98 掉到 0.77，说明通信模块对噪声并不鲁棒，安全性短板可能影响真实部署。
独立分析的弱点
独立分析下，LC-MAPF 仍存在三个相对薄弱的环节。第一，通信半径与“潜在冲突”假设耦合过强——Table 4 表明把邻居从 13 砍到 8 在 64 agent 上就会让成功率从 0.87 降到 0.79，这意味着模型没有真正学到“远程 agent 意图”的抽象，一旦地图尺寸变大或需要更长路径，固定 5 格半径可能不够。改进方向是引入“按内容选择通信对象”的注意力机制（如 MAGAT+ 的多层 GAT）作为补充。第二，消息没有可解释的语义：作者刻意不上辅助损失，但副作用是模型故障时难以诊断（50% 噪声下掉到 0.77 但无任何可读信号）。可考虑在 latent $z_u$ 上加一个轻量自监督预测头（如预测邻居下几步动作分布）以提升鲁棒性。第三，训练数据 23.5M 样本、900 GPU-hour 的成本对小实验室门槛偏高；可考虑用 MAPF-GPT-85M 作为 teacher 做蒸馏，进一步压缩 LC-MAPF 的训练量。第四，CS-PIBT 实验显示引入碰撞屏蔽会颠覆方法排名（Fig. 6/7），意味着本文宣称的优势在“是否使用中心化后处理”这一前提上并不稳定。第五，消息故障测试的 20%/50% 是在测试时注入高斯噪声的合成实验，并不等同于真实无线丢包/延迟场景，论文未给出端到端无线链路实验数据。
未来方向
作者明确点出几条延伸方向：(1) 在异构 agent 群体（不同速度/尺寸/角色）下扩展 LC-MAPF；(2) 把学到的通信作为先验用于下游任务，如在线规划中把 LC-MAPF 的 logits 当作启发式；(3) 探索自适应通信轮数 $R_{\text{comm}}$，让 agent 根据场景复杂度动态决定是否继续迭代。基于成果可延伸的方向还包括：与基础模型结合（例如把 LC-MAPF 的 token 化观测替换为视觉-语言特征，处理部分可观测但视觉信息丰富的环境）；把通信机制推广到 heterogeneous MARL（如 Google Research Football、Hanabi）验证通用性；用 Linear Attention、FlashAttention 进一步压缩 $R_{\text{comm}}=4$ 轮的时延；以及把 CS-PIBT 与 LC-MAPF 联合训练，使模型从数据中学会“何时信任自己、何时交给 shield”。
复现评估
复现难度中等偏高，论文在文中给出了几乎全部关键超参：AdamW + cosine decay、max LR $6\times 10^{-4}$、min $6\times 10^{-5}$、warm-up 8000、batch 32、grad-accum 16（effective 512）、800k 迭代、bfloat16 混合精度、PyTorch 2.3.1+CUDA 12.2、单卡 H100 80GB、约 900 GPU-hour。架构参数完整：enc/dec 各 3 层、3 个 head、$d_{\text{embd}}=192$、$d_{\text{latent}}=96$、$T_{\text{latent}}=32$、$R_{\text{comm}}=4$、block size 256。数据方面使用 POGEMA 公开 benchmark（Skrynnik et al. 2025），数据集来自 mazes/random/house 三个子集共约 23.5M 样本、约 7.5 亿 (观测, 动作) 对，分布比例 0.6:0.2:0.2。代码与权重开源情况文中未明确给出，但作者来自 CogAI Lab 且 POGEMA 本身开源，主体应可复现。最大的隐性成本是 900 GPU-hour——若用 H100 替代品（如 A100 80GB）需注意 batch 适配。机器人部分开源可能性较低，涉及 Zenoh、SLAM Toolbox、Nav2、ThetaStar 等多个 ROS2 组件的联调，需要按 Fig. 8 自行搭建模块化迷宫与 JetBot 平台。
论文图表
示意图展示多个 agent 之间的迭代消息传递过程：在多个 communication round 中，agent 互相发送消息并逐步精化各自的 action distribution，直观体现 LC-MAPF 多轮通信的设计动机。
这张图是论文最核心的直觉图，帮助读者在一开始就理解“为什么需要多轮通信”以及“通信能带来什么收益”，是 motivation 章节的关键支撑。
CS-PIBT 启用条件下的 SoC ratio 箱线图。HMAGAT 在 SoC 上大幅提升至接近 LC-MAPF 甚至更优，验证 Fig. 6 的相对排名翻转。
与 Figure 6 一起支撑“碰撞屏蔽会改变方法相对性能”这一关键观察。