← 返回 2026-10-02

去中心化主脑(DMM):多智能体路径寻找中通过迭代意图去噪实现联合动作精化 Decentralized Master-Mind: Joint Action Refinement through Iterative Intent Denoising in Multi-Agent Pathfinding

Valeriy Vyaltsev, Anton Andreychuk, Taisia Zlotnikova, Konstantin Yakovlev, Aleksandr Panov, Alexey Skrynnik 📅 2026-09-25 👍 29 2026-11-11 18:30
去中心化执行 多智能体路径寻找 大规模协同 学习通信 组相对强化学习 迭代意图精化

把一次性动作采样改为通信轮次内的迭代意图去噪,让智能体在承诺前耦合随机选择

前置知识

MAPF(多智能体路径寻找)

在一张四连通网格图 $G=(V,E)$ 上,给定每个智能体的起点 $s_u$ 和终点 $g_u$,要求为所有智能体产出一串无碰撞的联合动作序列:每步人人从 $\{\text{wait},\text{up},\text{down},\text{left},\text{right}\}$ 中选动作,不允许两个智能体占据同一格或对穿同一条边。评价指标包括成功率(SR)、总代价 $\mathrm{SoC}=\sum_u c_u$(各智能体到目标时刻之和)和 makespan $\mathrm{MS}=\max_u c_u$(最后一个到达的时刻)。

本文要解决的问题就是 MAPF,所有实验(POGEMA、MovingAI、百万智能体)都围绕 SR、SoC、MS 这几个指标展开,不理解任务定义就看不懂结果。

Dec-POMDP 与去中心化执行

去中心化 MAPF 被建模为有限视界 Dec-POMDP:每个智能体只能看到以自己为中心的 $(2\rho+1)\times(2\rho+1)$ 局部观测,且必须满足三条约束——只依赖本地上下文 $x^t_u$、看不到他人已承诺的动作、不聚合全局信息。每个环境步由 $K$ 个同步通信轮次加一次动作承诺组成,智能体向观测范围内 $k$ 个最近邻居广播消息。这样单智能体计算量与团队规模 $n$ 无关。

DMM 的全部设计都在这组约束下进行:意图精化必须在通信轮次内完成,且承诺前的耦合不能引入集中式控制,这是理解其贡献边界的前提。

扩散模型的迭代去噪与多模态分布

扩散/流匹配等生成模型不一次性采样,而是从噪声出发,用多步迭代精化逐步逼近数据分布。迭代精化是表达多峰分布的自然机制:不同运行可以收敛到不同的有效模态,而不是把多个模态的成分混在一起。非自回归翻译中的多模态问题指独立预测各位置的 token 会把不同合法翻译的片段拼错。

DMM 的核心机制就是把动作意图当作被去噪的对象,跨通信轮次迭代精化;作者明确以扩散去噪为灵感来源。

条件总相关性(TC)与去中心化因子化差距

$\mathrm{TC}(A\mid X)=\mathbb{E}_X\, D_{\mathrm{KL}}\!\big(P^\star(A\mid X)\,\|\,\prod_u P^\star(A_u\mid X)\big)$ 度量在固定上下文 $X$ 后专家联合动作中剩余的相关性。论文证明:任何独立采样的去中心化执行器,其期望 KL 误差下界为 $\mathrm{TC}(A\mid X)+\sum_u I(A_u;X_{-u}\mid X_u)$,即使每个局部策略被完美训练也无法低于该值。

这是本文的理论支柱(公式 6),解释了为什么通信再充分、训练再好,独立最终采样仍会出错,也正是 DMM 要绕开的障碍。

组相对策略优化(GRPO)

一种无 critic 的强化学习方法:对同一提示/场景采样一组轨迹,用组内回报的均值和标准差做归一化得到相对优势 $\hat A$,从而免去训练价值网络。被裁剪的重要性比率目标约束新策略偏离旧策略的幅度,另可对参考策略加 KL 惩罚。

MICPO 是把 GRPO 改造到多智能体多轮精化场景的产物,理解组相对优势的含义才能看懂 MICPO 的匹配组构造与逐轮比率设计。

CS–PIBT 碰撞屏蔽

PIBT 是一种反应式局部协调规则:按优先级为冲突智能体轮流分配动作并允许回溯,避免顶点/边碰撞;CS–PIBT 把学习型策略提出的动作经 PIBT 屏蔽处理后再执行,保证无碰撞。它是大规模学习型 MAPF 求解器的标准外挂组件,但使用全局配置,属于集中式部件。

论文的 MovingAI 与百万智能体实验都依赖 CS–PIBT 保证可行性,这也是作者承认的主要局限之一(系统并非纯去中心化)。

研究动机

可学习的去中心化 MAPF 策略(MAPF-GPT、MAGAT+、HMAGAT、LC-MAPF 等)无论架构和通信方式如何花哨,最后都为每个智能体输出一个独立的动作分布并各自采样一次。当同一情境下存在多个同样有效的联合动作时,联合分布是多峰的:策略正确地覆盖了所有模态,但独立采样会把各自局部合理的选择重新组合成不兼容的联合动作。论文用最小走廊场景量化了这一点:两个智能体必须经单宽通道交换位置,专家只采用 go+wait 与 wait+go 两种协调解,独立采样下四个组合各约 25%,其中互等导致停滞、同动导致碰撞的两种无效组合合计约 50%。实验证实 LC-MAPF、MAGAT+、HMAGAT 在歧义状态上对四种联合动作近似均匀分配概率(各约 22.5%–27.4%),即约一半采样无效。通信可以让每个智能体条件于更丰富的信息,但一旦承诺时刻的信息固定,独立最终采样在结构上就无法表达智能体间残余的选择相关性——即使每个局部分布都学得完全正确。

本文的目标是本文的目标是在不破坏去中心化执行的前提下,让智能体在动作承诺之前完成随机选择的耦合,并让训练直接对齐联合解质量。具体分三层:其一,把一次性动作采样替换为跨 $K$ 个通信轮次的离散动作意图迭代精化——受扩散模型去噪启发,每个智能体维护一个不断演化的动作意图,随消息广播给邻居,并参考邻居意图修正自己的逐轮投票,最后按最终意图的 argmax 承诺动作;其二,在模仿学习预训练之外,设计一个能直接优化完整滚动轨迹任务级回报的强化学习微调方法 MICPO,弥补匹配单步动作不等于匹配联合解质量的缺陷;其三,在三个尺度上验证:POGEMA 策略级对比(纯策略、无屏蔽)、MovingAI 求解器级对比(带碰撞屏蔽)和百万级智能体大规模执行,目标是全面超越可学习基线并比肩搜索型求解器。

与已有工作不同的是,本文的独特切入角度有三个。第一,理论侧把非自回归翻译中的多模态问题分析迁移过来:把 token 位置换成智能体,证明去中心化独立采样执行器存在不可消除的去中心化因子化差距——期望 KL 误差下界为条件总相关性 $\mathrm{TC}(A\mid X)$ 加上缺失本地信息项 $\sum_u I(A_u;X_{-u}\mid X_u)$,与训练好坏无关;走廊例子算出 $\mathrm{TC}=\log 2$,说明局部边缘全对、联合却可能 50% 出错。第二,机制侧与既有精化路线都不同:DiffLNS 等集中式方法在服务器端细化全体智能体的动作张量,连续域多机器人扩散细化要么独立进行、要么靠 critic 或轨迹交换耦合,而 DMM 把正在精化的中间意图本身作为通信内容,使初始独立的采样轨迹通过通信耦合,同时保持每步本地、同步、无智能体顺序的执行。第三,训练侧弃用 critic:集中式 critic 难以在组合爆炸的联合状态上泛化,去中心化 critic 又只见局部信息,MICPO 转而用匹配条件下的组内相对比较完成多智能体、多轮次精化的 RL 微调。

核心方法

DMM 的直觉是先在通信中把各自的意图聊拢、再各自落地。形式上把去中心化 MAPF 建为带通信信道的有限视界 Dec-POMDP:每个环境步由 $K=4$ 个同步通信轮次加一次动作承诺组成,智能体 $u$ 只能使用本地观测 $o^t_u$(11×11 视野编码的 256 个 token)与来自 $N^t(u)$(5 格半径内至多 13 个邻居,含自己)的消息。每步流程:先把观测编码为固定隐表示 $\ell_u$(跨轮不变);从均值中心化对数空间的无信息 Dirichlet 先验采样初始意图 $z^0_u=\mathrm{lc}(\log d_u)$,$d_u\sim\mathrm{Dirichlet}(1)$;每轮广播意图增强消息 $m^r_u=h^{r-1}_u+W_s z^{r-1}_u$,解码得到当轮动作 logits $\phi^r_u$ 与下一轮消息特征 $h^r_u$;从 $\mathrm{softmax}(\phi^r_u)$ 采样离散投票 $y^r_u$ 并按 $z^r_u=(1-\delta)z^{r-1}_u+\delta\, e(y^r_u)$($\delta=0.25$)融入意图;$K$ 轮后以 $a^t_u=\arg\max_a z^K_u[a]$ 承诺动作。训练分两段:先在 LC-MAPF 专家数据上做逐轮模仿学习(带 teacher forcing),再用 MICPO 做任务级 RL 微调。整个机制以两个网络规模实现:DMM-3M(3,241,784 参数,沿用 LC-MAPF 的 Transformer 编码-解码骨干)和 DMM-0.8M(763,296 参数,卷积观测编码器 + 跨轮复用 K/V 投影的轻量解码)。

核心创新是让被精化的量本身就是通信信号。传统学习通信(DHC、DCC、MAGAT、SCRIMP、LC-MAPF)中,消息只是丰富策略条件上下文的特征,通信结束后每个智能体仍独立地一次性采样动作,联合分布是乘积形式 $\prod_u \pi_\theta(a_u\mid x_u)$,注定无法表达残差相关性;而扩散式精化通常在孤立样本上进行,若把精化与学习通信简单拼接又会循环依赖——每轮的中间状态决定传给下一轮的消息,所以精化步骤不能像标准扩散那样独立训练。DMM 的解法是让每轮的中间意图既驱动自身投票更新、又随消息广播给邻居:初始意图虽然独立采样,但精化轨迹通过通信耦合起来,不同运行可以收敛到不同的协调结果(走廊实验中 WL/RW 两种解各占约半数、总有效率 94.8%)。这样每家的随机选择在承诺前就被邻居看到并纳入其后续投票,随机性本身进入通信内容,从机制上绕开了因子化差距,而不需要集中式控制或自回归的动作顺序。

方法步骤详情

完整流程分五步。(1)观测编码:智能体把 11×11 局部视野与至多 13 个邻居的属性编码为至多 256 个 token;DMM-3M 用 3 层 Transformer 编码器加 32 个潜查询交叉注意力压缩成 32×96 的 $\ell_u$;DMM-0.8M 用卷积干路处理 121 个空间 token 得到 25 个、用共享 MLP 处理 13 个邻居记录得到 13 个 token,经关系自注意力得到 38 token 表示,并把每步一次性的观测交叉注意力 K/V 投影缓存起来跨轮复用。(2)意图初始化:$z^0_u=\mathrm{lc}(\log d_u)$,$d_u\sim\mathrm{Dirichlet}(1)$。(3)K=4 轮精化:每轮广播 $m^r_u=h^{r-1}_u+W_s z^{r-1}_u$,把邻居消息集合 $C^r_u$ 与 $\ell_u$ 送入解码器输出 $\phi^r_u$、$h^r_u$;采样投票 $y^r_u\sim\mathrm{Categorical}(\mathrm{softmax}(\phi^r_u))$,按步长 $\delta=0.25$ 融入意图 $z^r_u=(1-\delta)z^{r-1}_u+\delta\,e(y^r_u)$,其中 $e(y)=\mathrm{lc}(\log(\mathrm{onehot}(y)+\eta))$;投票是离散的、梯度不穿过,但消息特征可微,使后轮损失能传到前轮通信。(4)模仿预训练:对每轮投票计算 $\mathcal{L}_{IL}=-\frac{1}{K}\sum_{r}\log p^r_{\theta,u}(a^{\star,t}_u)$,配合两种 teacher forcing——以概率 $\beta_0$ 把初始意图偏向专家动作(Dirichlet $(1+\mathrm{onehot}(a^\star))$)、以概率 $\beta_r$ 把当轮投票替换为专家动作——两者从 1.0 在前 100,000 步退火到保留下限 $\beta_0=\beta_r=0.8$。(5)MICPO 微调:每次迭代采样 $B=4$ 个在线生成场景,每场景 $M=3$ 个组、每组 $G=24$ 条轨迹,组内每步共享同一采样初始意图 $z^0$;用偏离目标时长 $q^c(\zeta)=-\frac{1}{|U|}\sum_u\log(1+T_{\mathrm{off},u})$ 与被阻塞动作数 $q^b(\zeta)=-\frac{1}{|U|}\sum_u B_u(\zeta)$ 加权($w_c=1.0$,$w_b=0.3$)成回报并在组内分别归一化得 $\hat A$;只重放回报最高与最低各 $\kappa=4$ 条轨迹、每条采 $S=16$ 个时间步,从存储的 $z^0_t$ 与投票序列重放全部 K 轮并重算消息特征,逐智能体逐轮计算裁剪的重要性比率 $\rho^r_u=p^r_{\theta,u}(y^r_u)/p^{r}_{\text{old},u}(y^r_u)$($\epsilon=0.2$),再加 $\alpha_{KL}=0.01$ 的对冻结参考策略(模仿预训练检查点)的逐轮 KL 惩罚,最终 $L=L_{clip}+L_{KL}$。

技术新颖性

技术新颖性体现在四个层面。第一,理论贡献:提出并证明去中心化因子化差距命题——最优独立执行器的期望 KL 下界为 $\mathrm{TC}(A\mid X)+\sum_u I(A_u;X_{-u}\mid X_u)$,把 Huang 等人的非自回归 Transformer 界从 token 位置迁移到智能体,并额外计入本地信息缺失项; $\mathrm{TC}(A\mid X)>0$ 是充分非必要条件,走廊例子给出 $\mathrm{TC}=\log 2>0$ 的具体计算。第二,机制贡献:据作者所知首个把迭代精化的中间状态本身作为去中心化通信内容的工作——与 DiffLNS 的集中式全批动作张量细化、与 MADiff/AID 等“细化时独立或靠 critic/轨迹耦合”的连续域方法在通信语义上有本质区别(消融显示去掉演化意图 no-z 或打乱消息归属 shuffled 都会显著掉点,证明协调信息确实在意图演化里)。第三,算法贡献:MICPO 把 GRPO 式组相对优化适配到多智能体多轮结构——组内每个环境步共享同一采样初始意图 $z^0$ 构成匹配条件,重要性比率按智能体×精化轮次分别计算而非折叠成整条轨迹一个比率,配合 $\kappa$ 极值轨迹的有界回放与逐轮参考 KL;相比 GDPO 的多奖励解耦归一化和 GiGPO 的锚状态分组,DMM 的分组键是采样初始意图本身。第四,工程贡献:GPU 常驻的环境与观测管线(批量 BFS 缓存代价图、原子优先级仲裁的碰撞级联、BFS/智能体双分块)以及推理跳过(自身与视野内全部到位即提议 wait),是百万智能体规模得以实现的物质基础。

Overview of DMM for two agents resolving a shared conflict (Section 4).
Figure 2: Overview of DMM for two agents resolving a shared conflict (Section 4).
DMM architecture variants.
Figure 6: DMM architecture variants.

实验结果

论文在四个层面验证有效性。① POGEMA 策略级对比(纯策略,无屏蔽无搜索):随智能体增多各方法成功率都下降,但 DMM-MICPO-3M 在最大规模下保持 1.000(Warehouse 192 智能体)与 0.922(Cities-Tiles 256 智能体),而同架构、同通信瓶颈、同训练数据的直接采样基线 LC-MAPF-3M 只有 0.938 与 0.805——这是一次受控实验,把差距完全归因于迭代意图精化;MICPO 微调普遍抬高两个 DMM 变体的成功率并使 SoC 比值分布左移;DMM-MICPO-3M 在各域的 SoC(相对 LaCAM*)中位数仅 1.006–1.102,而 MAGAT+/HMAGAT 达 1.063–1.892 且上尾沉重;轻量的 DMM-0.8M(参数量为 3M 版的约 1/4.25)与 LC-MAPF-3M 相当或更好。② MovingAI 求解器级对比(32 图 1,600 任务,配 CS–PIBT 与 RSE):DMM-MICPO-3M 解决 1,598 个任务,为所有方法最高,其后是 HMAGAT 1,576、LG-LaCAM 1,569、LaGAT 1,543、MAPF-LNS2 1,411;虚拟最优 SoC 命中 736 个任务居首(LG-LaCAM 698),其相对虚拟最优的平均/中位 SoC 比值为 101.8%/100.1%、q95 仅 107.3%,在 32 张图中的 31 张上 50 题全对、剩下 1 张对 48 题,图级平均虚拟最优比不超过 108.9%;DMM-MICPO-0.8M 中位运行时间仅 2.33 秒(LaGAT 2.87 秒、LG-LaCAM 5.61 秒、DMM-MICPO-3M 8.27 秒、MAPF-LNS2 8.43 秒、HMAGAT 48.10 秒)。③ 百万智能体扩展(2304×2304 迷宫、29.1% 障碍、视界 32,768 步):DMM-MICPO-0.8M 在 131,072 到 1,048,576 个智能体的全部 16 个实例上 100% 完成任务;智能体数增加 8 倍平均步时仅增 1.73 倍(440.3→763.1 毫秒),而 GPU-PIBT 增约 21 倍(10.9→228.9 毫秒)且顶格密度下最终到位率跌至 89.15%;百万智能体场景在 16,345 步完成、单次约 4.4 小时、单卡峰值显存 49.07 GiB。④ 走廊机理实验:保留 teacher forcing 下限 $\beta=0.8$ 的 DMM 把 94.8%±1.1 的样本放在两个有效解上(WL 51.4%、RW 43.4%、无效合计 5.2%),而 LC-MAPF/MAGAT+/HMAGAT 约 50%(如 LC-MAPF 的 WL/RW/WW/RL = 25.7/24.2/22.7/27.4%);测试时把精化轮数 $K_{test}$ 从 2 提到 12,有效联合动作频率从 83.7%±2.7 升至 94.8%、99.6%、99.9%;零下限 DMM 坍缩回约 50%,证明协调能力来自轮级 teacher forcing 支撑的意图演化通信(仅 $\beta_r$ 有效时 0.930,仅 $\beta_0$ 时 0.807,两者皆无时 0.501)。

Results on matched 2304×2304 POGEMA mazes using four H100 GPUs.
Table 1: Results on matched 2304×2304 POGEMA mazes using four H100 GPUs.
Sample frequency over the four joint actions at the shared ambiguous corridor state.
Table 2: Sample frequency over the four joint actions at the shared ambiguous corridor state.
Model and training hyperparameters for DMM variants.
Table 3: Model and training hyperparameters for DMM variants.
Effect of test-time refinement depth in the corridor, as percentages.
Table 4: Effect of test-time refinement depth in the corridor, as percentages.
MovingAI decoding and RSE configurations.
Table 5: MovingAI decoding and RSE configurations.
POGEMA benchmark results for four DMM variants and five learnable baselines across four POGEMA domains.
Figure 3: POGEMA benchmark results for four DMM variants and five learnable baselines across four POGEMA domains.
Results on 1,600 MovingAI tasks from 32 maps.
Figure 4: Results on 1,600 MovingAI tasks from 32 maps.
Congestion and computation during a successful 1,048,576-agent DMM-MICPO-0.8M rollout.
Figure 5: Congestion and computation during a successful 1,048,576-agent DMM-MICPO-0.8M rollout.
Effect of inference-time refinement depth at the largest evaluated team size in each POGEMA domain.
Figure 7: Effect of inference-time refinement depth at the largest evaluated team size in each POGEMA domain.
Success rate on Mazes under inference-time perturbations of the communicated state.
Figure 8: Success rate on Mazes under inference-time perturbations of the communicated state.
Corridor ablations of refinement depth and teacher forcing.
Figure 9: Corridor ablations of refinement depth and teacher forcing.
查看结构化数据
任务指标本文基线提升
POGEMA Warehouse(192 智能体,策略级、无屏蔽无搜索) 成功率 DMM-MICPO-3M = 1.000 LC-MAPF-3M = 0.938(最强基线) +6.2 个百分点
POGEMA Cities-Tiles(256 智能体,策略级) 成功率 DMM-MICPO-3M = 0.922 LC-MAPF-3M = 0.805 +11.7 个百分点
MovingAI 基准(32 图 / 1,600 任务,求解器级,配 CS–PIBT+RSE) 解决任务数 1,598 / 1,600(DMM-MICPO-3M);0.8M 版 1,593 HMAGAT 1,576;LG-LaCAM 1,569;LaGAT 1,543;MAPF-LNS2 1,411 较最强基线 HMAGAT 多解决 22 个任务
MovingAI 基准 虚拟最优 SoC 命中数 / SoC 比值分位数 736 任务命中虚拟最优;均值/中位/q95 = 101.8%/100.1%/107.3% LG-LaCAM:698 命中;均值/中位/q95 = 121.3%/100.3%/164.0% 命中数 +38;q95 尾部成本下降 56.7 个百分点
MovingAI 求解运行时间 中位墙钟时间 DMM-MICPO-0.8M = 2.33 秒 LaGAT 2.87 秒;LG-LaCAM 5.61 秒;MAPF-LNS2 8.43 秒;HMAGAT 48.10 秒 最快,较 LG-LaCAM 快约 2.4 倍
2304×2304 迷宫大规模执行(131,072–1,048,576 智能体,4 布局×4 规模共 16 实例) 最终到位率(100 万智能体) 100%(16/16 实例全部解决,16,345 步收敛) GPU-PIBT = 89.15%(全部跑满 32,768 步仍未完成) +10.85 个百分点且全部收敛
对称走廊歧义状态联合动作采样(5 训练种子×1,000 采样) 有效联合动作频率 94.8%±1.1($K_{test}$=4 时);99.9%±0.1($K_{test}$=12 时) LC-MAPF 49.9%、MAGAT+ 49.5%、HMAGAT 50.3%(独立采样理论值 50%) 约 +45 个百分点

局限与改进

作者明确承认的局限:DMM 不把联合动作可行性作为硬约束——MICPO 只通过任务级回报间接惩罚被阻塞动作,精化过程中的中间不兼容选择不会被显式排除,因此无碰撞执行仍需外挂 CS–PIBT,这使得 MovingAI 与大规模实验系统中的该组件是集中式的。我自己的补充观察:其一,评估协议并不对等——搜索类方法限时 600 秒、反应式策略限 5,000 步,且所有方法都不做解后 LNS 优化,SoC 结论依赖这种配置选择;其二,走廊机理实验只用 2 条专家轨迹、1 个共享歧义状态,是概念验证而非泛化证据,真实地图中歧义状态的分布密度未知;其三,协调效果强依赖 teacher forcing 下限($\beta=0$ 时坍缩到 50%、$\beta=1.0$ 时也降到 93.1%),说明行为仍锚定在专家分布附近,MICPO 的探索余地受限;其四,每个环境步要执行 K=4 轮通信加推理,虽然大规模下靠到位跳过摊薄,但稠密小图上单步成本仍高于一次性采样策略;其五,百万智能体实验需要 2TB 内存、4×H100 和约 4.4 小时墙钟,离实时部署尚远,且 CS–PIBT 屏蔽即使 GPU 化后仍是可观的运行时开销(图 5 中 82.9 分钟 vs 策略 150.7 分钟);其六,$K_{test}>4$ 后收益递减且个别指标非单调,精化深度的边际价值不稳定。

独立分析的弱点

独立分析的弱点与改进方向:(1)可行性外置——若生产环境不能接受集中式屏蔽(如完全无中心的机器人集群),DMM 自身的联合合法性没有保证;可让意图更新输出前先对可行动作集做投影,或在解码器上加冲突预测头做约束化精化。(2)专家依赖——teacher forcing 下限 0.8 意味着约八成轮次投票被专家动作替换,策略对专家分布外的拓扑(动态障碍、异构智能体)可能脆弱;可引入自博弈生成数据或多种专家源混合来降低锚定。(3)通信语义脆弱——shuffled 消融表明消息与智能体的对应关系一旦破坏即失效,说明方法隐含同步、可靠、无时延的通信假设;真实分布式系统需要设计带时延/丢包鲁棒的意图交换协议,或给消息加身份编码与注意力门控。(4)回报设计单薄——MICPO 只用 SoC 型指标(偏离目标时长+阻塞动作数),未建模能耗、公平性或终身场景吞吐;且 $G=24$、每场景 3 组的采样在大图上开销不小,可用重要性采样或共享前缀减少重复滚动。(5)精化深度固定——没有按局部冲突密度自适应分配轮数的机制,稠密区可多用轮数、稀疏区少用,可训练一个轮数终止头。(6)超大规模结果依赖 BFS 代价缓存与到位跳过推理,一旦目标动态变化(终身 MAPF)这些优化会部分失效,需要增量式代价更新。

未来方向

作者提出的方向:把显式可行性约束纳入精化过程本身(例如在意图更新或投票分布上做可行集投影),减少乃至摆脱对外部屏蔽的依赖。基于本文成果可延伸的方向:(1)把 MICPO 的构造——组内共享初始随机性 + 逐智能体逐轮重要性比率——推广到其他多轮决策系统,如非自回归序列生成、多智能体 LLM 协作(文中已提及 GRPO 在该方向的先行工作);(2)终身/在线 MAPF:智能体到达目标后可被再次激活,结合 SILLM 式十万级终身任务检验意图精化的长期表现;(3)自适应精化深度与通信拓扑,按冲突密度动态调整 $K$ 与邻居数量,在质量与推理开销间细粒度权衡(附录 G 已证明加深轮数有效,缺的是何时加深的决策器);(4)去掉 teacher forcing 下限,改用扩散式噪声调度或自蒸馏来维持意图轨迹信息量,摆脱对专家动作的残留依赖;(5)与 DiffLNS 式集中细化混合,构建分层求解器:远期集中精化 + 逐步去中心化精化;(6)理论上把因子化差距推广到部分可观测、随机转换的一般 Dec-POMDP,给出更紧的界以及与样本复杂度的联系;(7)在真实机器人集群上验证同步通信假设,引入时延感知的意图交换。

复现评估

复现条件总体较好。代码已在 GitHub 开源(CognitiveAISystems/DMM);基准全部公开:POGEMA 平台与 MovingAI 标准地图/场景库可直接下载,走廊实验仅需 2 条专家轨迹,极易独立复刻。主要门槛是训练算力:DMM-3M 模仿预训练 1,000,000 次迭代约 272.8 GPU 小时、MICPO 微调 500 次外层迭代(96,000 次优化器更新,$G=24$)约 56.3 GPU 小时,均在 4×H100 上完成;DMM-0.8M 分别约 100.3 与 14.1 GPU 小时——0.8M 版在单机 4 卡(如 4×A100/4090 级别,稍慢)约一周内可走完全流程,3M 版约两周。评估端难度分层:POGEMA 策略级与走廊实验很轻量;MovingAI 需要正确复现 CS–PIBT 与 RSE(附录 E/J 给出完整协议、九种解码配置的完整结果表);百万智能体实验最重,需要 2TB 系统内存、4×H100 以及论文附录 F 描述的 GPU 常驻管线(批量 BFS 缓存、原子仲裁碰撞级联、BFS/智能体分块),工程量大但算法本身不复杂。超参数披露完整(附录 D 的 Table 3 覆盖学习率、teacher forcing 调度、$\delta$、$\eta$、$\tau$ 等全部细节)。总体评估:0.8M 配置在中等算力下可完整复现核心结论(POGEMA 优势、MovingAI 覆盖、走廊机理),难度中等;顶配百万智能体结果复现难度较高,建议先复现走廊与 POGEMA 部分验证正确性。

相似论文推荐