MineExplorer：在 Minecraft 中评估 MLLM 智能体的开放世界探索能力

用隐式多跳Minecraft任务评测MLLM智能体的开放世界探索

前置知识

MLLM Agent（多模态大模型智能体）

以多模态大语言模型（MLLM）为大脑、能感知图像/文本、生成动作并在环境中交互的智能体。它把 MLLM 从“读图答题”扩展到“持续观察-推理-执行”的闭环，每一步根据环境截图决定下一步动作。

MineExplorer 的被测对象就是 MLLM Agent，理解它的“感知-推理-动作”三段式才能看懂为什么基准要拆解这三个能力维度。

ReAct 范式

ReAct 把智能体行为分解为交替的 Reasoning（思考）与 Acting（行动），即先推理再调用工具/动作，用思维链把感知、规划与执行耦合起来，是当前主流 Agent 的基础骨架。

本文正是借 ReAct 思想把开放世界探索拆成感知 P、推理 R、动作 A 三个能力维度，这是基准能力建模的根基。

开放世界探索（Open-world Exploration）

智能体在状态持续变化、任务未被完全指定的环境里，通过多步交互逐步完成目标。难点不在于执行单个动作，而在于在长轨迹上推断“下一步该做什么”、协调隐藏的前置条件。

MineExplorer 的核心动机正是评测“能否在长时程动态世界里持续探索”，而不是单步任务能不能做对。

隐式多跳任务（Implicit Multi-hop Task）

指令只给最终目标（如“杀蜘蛛过河”），但达成它需要先完成若干未在指令里写出的前置子任务（先造剑、再造船）。这些隐藏依赖构成一个潜在有向无环图（DAG），智能体必须从环境推断。

“隐式前置+多跳组合”是本文定义任务难度的核心机制，也是评测长时程探索能力的关键设计。

Milestone（里程碑）评估

用基于规则的可执行检查器（如“背包里是否出现某物品”“是否进入某坐标包围盒”）来判定每个原子子任务是否完成，从而把“部分进度”量化为 Milestone Success Rate，而非仅看最终成败。

本文用规则化里程碑替代脆弱的 LLM-as-judge，保证了评测的可靠性与可复现，并通过人工标注验证其与人类判断一致。

研究动机

多模态大模型智能体虽然在感知、推理、动作生成上表现亮眼，但能否在动态开放世界中“持续探索”仍是个未解的问题。现有评测存在两个具体短板：其一，具身类基准（如 MuEP、EmbodiedBench、MM-Escape）多把交互压缩成短时程的室内场景任务，难以隔离“长序列状态变化下能否维持探索”这一能力；其二，以 Minecraft 为代表的游戏基准虽然可扩展，却把成功与游戏专属机制深度绑定——例如某些合成配方纯粹由 Minecraft 数值机制决定，与常识物理毫无关系，这使得高分可能只是背下了游戏 Wiki，而非真正具备通用开放世界探索能力。结果是当前没有一个受控基准能回答“强 MLLM 到底能不能在长时程、隐藏前置依赖的任务上稳定推进”。

本文的目标是本文要构建一个能在受控条件下评测 MLLM 智能体通用开放世界探索能力的基准 MineExplorer。具体目标包括：第一，剥离 Minecraft 专属先验，只保留依赖一般世界知识的原子任务，从而避免“背 Wiki 拿高分”的混淆；第二，把任务组织成 1 跳到 4 跳的隐式多跳复合任务，并给出一个可量化、随跳数单调上升的难度分数 $d(\tau)$；第三，构造可靠的实例（任务图 + 沙盒场景 + 规则化里程碑评估器），经人工验证有效率达到约 78%；第四，在 18 个主流强 MLLM 上跑出能区分能力梯度、可复现的排行榜。

与已有工作不同的是，本文的独特切入点是“知识控制 + 隐式依赖”的组合。已有 Minecraft 基准（MCU、ROCKET-1、GROOT 等）默认接受游戏专属先验，导致评测结果与“开放世界常识推理”脱节；已有具身基准又把任务压成短时程单跳。MineExplorer 同时做两件被忽视的事：用 LLM 裁判把 3382 个原子任务筛到 1497 个“无 Minecraft 专属依赖”的任务，再用多智能体工作流把若干原子任务合成“指令里只写最终目标、前置步骤被隐藏”的多跳 DAG，并沿依赖路径累积能力负载来定义难度。这一视角让基准第一次能在“剥离游戏先验”的前提下，刻画智能体沿隐藏依赖推进的长时程探索能力。

核心方法

可以把 MineExplorer 想象成“搭一座受控的探险迷宫”：先剔除那些靠背游戏规则才能过关的题目，再把保留下来的简单题像积木一样拼成“只告诉你终点、不告诉你怎么走”的多步任务，最后用一群分工的智能体一起出题、搭场景、写判分规则。技术上是三阶段流水线：（1）知识解耦——用 Claude-Opus-4.6 作裁判，把依赖 Minecraft 专属机制的原子任务过滤掉；（2）能力建模——沿用 ReAct 思路把任务映射到感知 P、推理 R、动作 A 三个维度的能力向量，并按潜在 DAG 把原子任务组合成隐式多跳复合任务；（3）多智能体合成——用任务选择、场景设计、里程碑、Minecraft 专家、验证器五个角色协作产出任务图、沙盒场景与规则化里程碑。

全文最重要的创新是把“任务难度”建在潜在依赖图之上。每个原子任务 $t$ 被赋予能力向量 $\phi(t)\in\{0,1\}^{|C|}$，复合任务 $\tau=(q,s_0,G_\tau,M_\tau)$ 的难度定义为 $$d(\tau)=\frac{\|\Phi_\tau^{\top}B_\tau\|_F}{p|V_\tau||C|},$$ 其中 $B_\tau$ 是依赖图 $G_\tau$ 的传递闭包（含自依赖），$\Phi_\tau$ 是把各节点能力向量堆成的矩阵，分子在所有前置路径上累积能力负载，分母按子目标数与能力维度归一化。这意味着任务越需要多样能力、隐藏前置越多、因果链越深，难度就越高。结合“剥离 Minecraft 先验 + 隐式多跳 + 规则化里程碑”，这套设计第一次让评测能同时控制知识来源、刻画长时程依赖、并给出可量化、随跳数单调上升的难度谱。

方法步骤详情

分三步。第一步知识解耦：从 MCU 任务库取 3382 个原子任务，每个配 Minecraft 规则速查表交给 LLM 裁判，判定是否严重依赖游戏专属机制，依赖则剔除，按 $f_{MC}(t)=0$ 筛选保留 1497 个。第二步能力建模与组合：给每个原子任务打能力向量（覆盖感知 P、推理 R、动作 A 三维下的若干子能力），再由复合任务 $\tau=(q,s_0,G_\tau,M_\tau)$ 组合，指令 $q$ 不枚举所有节点，逼迫智能体自推断前置；难度沿传递闭包 $B_\tau$ 累积。第三步多智能体合成：$A_{task}$ 从10个随机候选挑 $k$ 个兼容原子任务并给出隐式指令与初始 DAG；$A_{scene}$ 在 Minecraft 实例化并截图反馈；$A_{milestone}$ 写 inventory_has、position_inside_box、count_in_box 等检查器；$A_{mc}$ 复查游戏先验；$A_{validate}$ 校验 DAG 合法性与里程碑匹配。初始化后进入辩论阶段反复修订，直到场景、依赖图、里程碑三者都过格式校验。

技术新颖性

新颖性体现在三处与已有技术的本质差异。其一，相对 MCU、ROCKET-1、GROOT 等默认接受游戏机制的 Minecraft 基准，本文用 LLM 裁判 + 人工复核主动“去 Minecraft 先验”，并报告过滤前后从 3382 到 1497 的具体变化，使评测结果更贴近“通用开放世界常识”。其二，相对 MuEP、EmbodiedBench 等短时程室内具身基准，本文用隐式多跳 DAG 制造长时程隐藏依赖，难度沿依赖路径累积并随跳数单调上升，这是把“长时程持续探索”变成可量化变量的关键。其三，相对单 LLM 一把梭的基准生成，本文用五角色多智能体辩论式工作流联合产出任务图、场景与规则里程碑，在相同生成设置下把人工有效率从 44.25% 拉到 78.25%、平均质量分从 4.03 提到 4.53。

**Figure 2**: Statistics and examples of the atomic task pool before and after filtering Minecraft-specific knowledge.

**Figure 3**: Capability coverage of MineExplorer across perception, reasoning, and action dimensions.

**Figure 4**: Task difficulty distribution of MineExplorer from 1-hop to 4-hop.

实验结果

核心结论：开放世界探索远未解决，差距随跳数急剧放大。18 个强 MLLM 中 Claude-Opus-4.6 与 Gemini-3.1-Pro-Preview 最强，整体 TSR 分别 41.08% 与 37.02%。但即便最强模型，单跳 TSR 能到 77.69%，多跳却骤降到 23.87%；Claude-Opus-4.5 从 54.62% 跌到 14.47%，多数弱模型多跳 TSR 不足 10%。能力维度上感知普遍 > 动作 > 推理。规模与显式推理未必带来增益：Qwen-3-VL-235B 未必稳定胜过 32B，Thinking 相对 Instruct 多跳反而从 10.09% 掉到 9.47%，GPT-5.4 多跳仅 7.60%，说明显式推理与视觉接地必须紧密耦合才有效。难度分析显示多数模型从低到高难度 TSR 下降约 50%。规则化里程碑与人类评分高度一致（全达成均分近 4、全失败低于 3），LLM 与人工一致率达 86.8%。失败模式以导航失败为主（652 例 59.8%）、资源采集失败 215 例 19.7%；帧缓冲扩到 50 反降，说明更长视觉历史会干扰决策。

**Table 2**: Human evaluation of benchmark instances constructed by single-agent and multi-agent pipelines across different hidden dependency depths.

**Table 3**: Main results on MineExplorer.

**Figure 6**: TSR across task difficulty levels.

查看结构化数据

任务	指标	本文	基线	提升
单跳任务最终成功率	Single-Hop TSR (%)	Claude-Opus-4.6 达 77.69	GPT-4.1 仅 29.62、Claude-Haiku-4.5 仅 36.54	同基准下最强模型约为最弱主流模型的 2.6 倍，能力梯度清晰可分
多跳任务最终成功率	Multi-Hop TSR (%)	Claude-Opus-4.6 达 23.87	Claude-Opus-4.5 为 14.47、多数模型 <10	即使从 4.5 升级到 4.6，多跳 TSR 也提升约 9.4 个百分点，但绝对水平仍很低
整体任务成功率	Overall TSR (%)	Claude-Opus-4.6 达 41.08	Gemini-3.1-Pro-Preview 37.02、GPT-5.2 21.28	榜首与第三名差约 20 个百分点，基准可有效区分模型族
实例构造可靠性	人工有效率 (%)	多智能体流程整体 78.25	单智能体基线仅 44.25	有效率提升约 34 个百分点（相对约 +77%），平均质量分从 4.03 升到 4.53
里程碑评估可靠性	LLM-人工一致率 (%)	Minecraft 先验判定 86.8	误判（假阳+假阴）合计 <20%	证明规则化里程碑可替代脆弱的 LLM-as-judge

局限与改进

作者明确承认两点：第一，MineExplorer 仍受限于 Minecraft 沙盒，无法覆盖 MLLM 在更广泛具身世界可能遇到的物理多样性，比如精细操作、真实重力或不可预测的物理交互；第二，本文偏经验评测，没有把基准用作训练环境去改进模型，留待后续。我额外观察到几点：基准在构造阶段大量依赖 Claude-Opus-4.6 作裁判与出题，虽然作者用规则里程碑与人工复核降低模型偏见迁移风险，但出题分布本身仍带有该模型的偏好；每实例只跑 1800 步、20 帧记忆的设定对“持续探索”仍是偏短窗口，长时程任务可能被低估；Thinking 模式相对 Instruct 在多跳上不升反降（Qwen 多跳从 10.09% 到 9.47%），提示当前思维链与视觉接地耦合不足，但论文未深入解释其因果。

独立分析的弱点

第一，对 Minecraft 仍有过强依赖。即便剔除了游戏先验，方块化离散世界与真实物理仍有差距，可在 Habitat、Isaac Lab 等连续物理沙盒上复刻同一“隐式多跳+规则里程碑”框架，验证结论是否跨环境稳定。第二，构造管线对 Claude-Opus-4.6 形成单点依赖，存在“出题模型偏好”风险；可引入多模型投票或对抗式审计（让被测模型参与挑错）来去偏，并公布过滤前后任务全集供社区复核。第三，1800 步 / 20 帧的固定窗口偏短，可能系统性低估长时程探索；建议做“步数/帧缓冲”联合消放并报告饱和曲线，而非单点。第四，难度分数 $d(\tau)$ 只统计能力种类与依赖深度，未区分“推理难点 vs 动作难点”，可加细粒度子分数帮助定位模型短板。第五，Thinking 模式不升反降这一反直觉现象缺乏机制分析，建议做思维链内容审计（计划-接地一致性）给出解释，否则读者无法判断该结论是否可推广。

未来方向

作者方向：把 MineExplorer 作为训练环境，提升未来 MLLM 的长时程开放世界探索能力；并在更可控的具身沙盒出现后扩展到 Minecraft 之外。基于成果可延伸：其一，把“隐式多跳 DAG + 规则里程碑”框架迁移到其他游戏或具身平台，做成跨环境探索基准套件；其二，针对导航失败占 59.8% 这一主因，设计专门的“3D 目标定位 + 视觉-动作接地”训练或微调方案；其三，研究如何让显式推理与视觉接地解耦后再耦合，解释并修复 Thinking 模式退化；其四，把难度谱用作课程学习信号，按由易到难自动构造训练任务。

复现评估

复现门槛中等偏高、整体友好。代码与数据集已在 https://github.com/Jometeorie/MineExplorer 公开；基准规模可控（1497 个原子任务、1039 个评测实例），评分靠规则化里程碑而非大模型裁判，运行确定性较好，作者还做了三次重复实验（图11）证明方差可接受。硬件上需运行 18 个商用 API 闭源 MLLM 并各自跑 1800 步、20 帧的 Minecraft 沙盒，API 成本与时间开销不小；本地需 Minecraft 沙盒渲染与 MCU 任务库。主要不确定性在于：基准构造阶段依赖 Claude-Opus-4.6，其行为随版本变化；Minecraft 沙盒本身的随机性需要固定种子。整体而言，评测部分可复现，构造管线再跑一遍需注意模型版本一致性。

MineExplorer：在 Minecraft 中评估 MLLM 智能体的开放世界探索能力 MineExplorer: Evaluating Open-World Exploration of MLLM Agents in Minecraft