MMR-Life：拼合真实生活场景的多模态多图像推理基准 MMR-Life: Piecing Together Real-life Scenes for Multimodal Multi-image Reasoning
首个覆盖7类推理、21项任务的真实生活多图像推理基准，揭示SOTA MLLM的巨大差距
前置知识
Chain-of-Thought (CoT) 推理
链式思维推理是一种提示技术，要求大语言模型在给出最终答案前，先展示逐步的中间推理过程。通过将复杂问题分解为多个推理步骤，模型能够更系统地处理多步骤推理任务。在多模态场景中，CoT 可以帮助模型逐步提取视觉信息、建立图像间的关联并推导结论。近年来，长 CoT（long CoT）被广泛应用于推理增强型模型，如 GPT-5 和 Gemini-2.5-Pro，它们通过生成数千个 token 的推理链来提升准确率。
本文的核心发现之一就是 CoT 推理长度与准确率的对数关系，以及长 CoT 对不同推理类型的差异化效果，理解 CoT 是理解本文分析框架的基础。
Multimodal Large Language Models (MLLMs)
多模态大语言模型是能够同时处理文本和视觉（图像、视频）输入的大规模语言模型。代表性模型包括 GPT-5、Gemini-2.5-Pro、Claude-Sonnet-4 等闭源模型，以及 Qwen2.5-VL、InternVL、Gemma3 等开源模型。这些模型通常使用海量图文对数据进行预训练，并通过指令微调和强化学习（如 GRPO）来增强特定能力。MLLM 的推理能力是当前研究热点，但其在真实生活场景中的表现仍缺乏系统评测。
MMR-Life 的核心目标就是评测 37 个主流 MLLM 在真实场景多图像推理上的能力差距，理解这些模型的架构和训练范式是分析实验结果的前提。
Abductive / Analogical / Causal / Deductive / Inductive / Spatial / Temporal 推理
这七种推理类型覆盖了日常生活中常见的认知推理模式。溯因推理（Abductive）是从观察到的结果推断最可能的原因；类比推理（Analogical）是通过已知情况的相似性来推断新情况；因果推理（Causal）是从原因推断结果；演绎推理（Deductive）是从一般规则推导特定结论；归纳推理（Inductive）是从具体观察中概括规律；空间推理（Spatial）是理解物体的位置和空间关系；时间推理（Temporal）是理解事件的顺序和时序。
MMR-Life 的核心创新在于系统覆盖这七种推理类型并设计了 21 个子任务，理解每种推理的定义和区别是理解本文任务设计和实验分析的关键。
GRPO (Group Relative Policy Optimization)
GRPO 是 DeepSeek-R1 提出的一种强化学习训练方法，用于增强大语言模型的推理能力。与传统的 PPO 不同，GRPO 使用组内相对奖励来优化策略，不需要单独训练价值模型。该方法在推理任务上取得了显著成功，被广泛应用于 VL-Rethinker、MM-Eureka 等推理增强型 MLLM 的训练中。GRPO 的核心思想是通过对比同一问题的多个采样结果来学习奖励信号。
本文发现 GRPO 在小模型上的泛化能力弱于 Best-of-N 采样方法，这对当前推理增强训练范式提出了重要质疑。
Best-of-N (BoN) 采样
Best-of-N 是一种推理时增强方法：对同一个问题生成 N 个候选答案，然后使用奖励模型（Reward Model）对每个答案打分，选择得分最高的作为最终答案。这种方法不需要额外训练，只需在推理时增加采样次数和一个评分模型。BoN 的优势在于它能直接利用已有模型的生成多样性来提升性能，代价是推理成本增加 N 倍。
本文发现 BoN 在小模型上比 GRPO 训练的模型表现更好，且在大模型上与 CoT 持平，这对推理增强方法的选择有重要指导意义。
研究动机
当前多模态推理基准存在两个根本性问题。第一，从任务设计角度看，现有基准的题目与日常生活推理场景严重脱节。知识密集型任务（如 GPQA、MMMU）需要专家级领域知识，而日常推理很少依赖这种专业知识；合成拼图类任务（如 PuzzleVQA、VisualPuzzles）使用的符号化输入图像与真实世界图片有本质差异。第二，从输入图像角度看，大量基准只使用单张图片输入（如 MME-Reasoning、VisualPuzzles），而现实世界中我们感知视觉信息的方式是一系列连续的图像而非单张。即使是多图像基准，也往往只覆盖有限的推理类型。例如 MMRB 覆盖 3 种推理类型，MMIU 缺乏明确的推理类型分类。更关键的是，即使是 GPT-5 这样的顶级模型，在 GPQA 和 MMMU 上已达近 90% 准确率，但面对真实场景推理时表现如何，目前缺乏系统评估。
本文的目标是本文的目标是构建一个名为 MMR-Life 的综合基准，专门用于评估 MLLM 在真实生活场景中的多模态多图像推理能力。具体目标包括：（1）覆盖尽可能全面的推理类型（最终覆盖 7 种推理类型和 21 个子任务）；（2）使用真实世界来源的图像（而非符号化图表或合成图片）；（3）不要求领域专业知识，只需常识推理；（4）对最先进的 37 个 MLLM 进行系统评测，揭示当前模型在不同推理类型上的能力差异；（5）深入分析推理范式（thinking length、reasoning method、reasoning type 之间的关系），为下一代模型的改进提供方向。
与已有工作不同的是，本文的独特切入点在于两个维度的「真实化」。第一是场景真实化：MMR-Life 严格遵循「真实生活场景中的推理」定义（Definition 1），要求输入必须是客观存在或逼真模拟的自然图像，排除抽象图表和符号化渲染，且答案不需要领域专业知识。第二是输入真实化：采用多图像输入（平均每题 7.22 张图片），覆盖 15 种图像类型（家庭生活、日常餐饮、体育活动、交通场景等），来源包括公开数据集、网页截图、公开视频和现有基准。这种双维度的真实化设计使 MMR-Life 能够揭示现有基准无法暴露的能力缺陷，特别是空间推理和时间推理上的严重不足。
核心方法
MMR-Life 的构建方法可以类比为「设计一套全面的驾照考试」：不只是考理论知识（知识密集型），也不只是考拼图能力（合成拼图），而是在真实路况（真实生活场景）中考查各种驾驶技能（7 种推理类型）。整体技术路线分为四个阶段：首先从多种来源（Kaggle 数据集、eBird 网站、公开视频数据集、现有基准）收集真实世界图像；然后基于收集的图像设计 7 种推理类型下的 21 个子任务，每个任务对应特定的图像类型和推理模式；接着通过自动合成或人工标注生成问题-答案对，并用 GPT-5-mini 等模型生成干扰选项；最后通过三步质量控制（难度筛选、格式筛选、质量筛选）确保数据质量。最终产出包含 2,646 道多选题和 19,108 张图像的综合基准。
MMR-Life 的核心创新在于将「多图像输入」与「七类推理全覆盖」和「真实生活场景」三者结合，这在现有基准中是独一无二的。具体而言，它与已有方法的本质区别体现在三个层面：第一，与知识密集型基准（如 MMMU、GPQA）不同，MMR-Life 不依赖领域专业知识，而是考查常识推理能力，这使得评测结果更能反映模型的通用推理能力而非知识储备；第二，与合成拼图基准（如 PuzzleVQA、VisualPuzzles）不同，MMR-Life 使用真实世界图像而非符号化图表，使评测更贴近实际应用场景；第三，与单图像推理基准不同，MMR-Life 要求模型整合多张图像的信息进行推理，平均每题 7.22 张图片，且系统覆盖 7 种推理类型，能够发现单一推理类型基准无法暴露的能力不均衡问题。这种设计使 MMR-Life 成为首个真正全面评估「日常生活推理能力」的基准。
方法步骤详情
MMR-Life 的数据构建流程包含五个主要步骤。第一步是数据收集（Data Collection）：从四个来源收集真实生活图像——(1) Kaggle 等平台的公开图像数据集（如人群计数、运动分类、鸟类分布密度图），确保每个数据集内的图像具有相关性（如时序关系）；(2) 公开网页资源（如 eBird 网站的鸟类分布图）的截图；(3) 公开视频数据集的帧提取（如 DrivingDojo 驾驶视频、TVBench 监控视频），同时确保每帧清晰度；(4) 现有基准（如 CLEVRER-Humans、ContPhy）中提取并去除低质量图像。第二步是任务设计（Task Design）：基于收集的图像设计 7 种推理类型下的 21 个子任务，每种推理类型包含 3 个具体任务（如溯因推理包含人类活动归因、角色交互归因、多跳碰撞归因）。第三步是问答生成（Question-Answer Generation）：对图像信息足以支撑任务的情况（如时序推理），使用启发式规则和代码自动生成问答对；对需要推理隐含信息的情况（如溯因推理），由人工设计问答对。第四步是干扰选项生成（Negative Option Generation）：图像选项通过启发式规则采样错误候选；文本选项调用 GPT-5-mini、GPT-4o 和 Qwen2.5-VL-32B 生成，人工选择 4 个最高质量的错误选项。第五步是质量控制（Data Quality Control）：三步筛选——(1) 难度筛选：用 Qwen2.5-VL-7B、Gemma3-4B、InternVL3.5-8B 测试，若全部答对则剔除；(2) 格式筛选：人工修正选项间的格式差异以防止模型利用捷径；(3) 质量筛选：由不同作者分发检查，剔除语义模糊、有多解或需要专业知识的题目。
技术新颖性
MMR-Life 在技术新颖性上体现在以下几个方面。首先，在基准设计理念上，它首次提出了「真实生活场景中的推理」的严格定义（Definition 1），包含两个条件：(i) 必须包含多张自然图像（排除抽象图表和符号化渲染），(ii) 答案必须可通过常识推理解决（不依赖专业知识）。这个定义为后续基准设计提供了明确标准。其次，在数据构建方法上，MMR-Life 采用「多来源融合」策略，将公开数据集、网页资源、视频帧和现有基准四种来源结合，并根据任务需求选择最合适的数据源（如时序推理从视频帧提取，类比推理从 Kaggle 图像数据集构建）。第三，在质量控制上，三步筛选机制（难度筛选用小模型过滤过易题目、格式筛选防止捷径学习、质量筛选确保无歧义）形成了系统化的数据质量保障体系。第四，在评测分析上，MMR-Life 不仅报告整体准确率，还通过相关性热力图和层次聚类分析揭示推理类型之间的隐含关系（如归纳-类比推理高度相关、空间推理与其他类型脱节），为理解模型的推理泛化能力提供了新视角。
实验结果
MMR-Life 对 37 个先进 MLLM 的评测揭示了多个关键发现。首先，即使是表现最好的模型 GPT-5，在 MMR-Life 上也仅达到 58.69% 的准确率，与人类表现（72.28%）存在 14% 的差距，而 GPT-5 在 GPQA 和 MMMU 等复杂推理任务上已接近 90%。这表明真实生活场景推理对 MLLM 仍具显著挑战。Gemini-2.5-Pro 达到 56.86%，排名第二。几乎所有开源模型准确率低于 40%，其中 Skywork-R1V-38B（14.13%）和 InternVL3.5-8B（18.67%）甚至低于随机猜测水平（20%）。其次，模型在不同推理类型上的表现差异巨大。类比推理表现最好，大多数闭源模型甚至超越人类（GPT-5 达 78.87% vs 人类 57.65%）；演绎推理和归纳推理次之。但空间推理表现最差，最高准确率仅 25.10%（Gemini-2.5-Pro），远低于人类的 79.76%。因果推理和时间推理也表现不佳，GPT-5 分别仅 41.06% 和 41.70%。第三，闭源思考模型（如 GPT-5、Gemini-2.5-Pro）整体优于非思考模型，但开源思考模型（平均 27.15%）反而略低于非思考模型（平均 29.01%），说明当前开源思考模型的推理增强效果有限。第四，推理性能与思考长度呈对数关系：更长的输出通常对应更高分数，但存在明显异常——MiMo-VL-7B-RL 和 QVQ-72B-Preview 位于图的右下区域，输出很长但准确率低，表明推理效率仍是开源模型的挑战。第五，长思考并非对所有推理类型都有益：归纳推理中，加入 CoT 反而降低非思考模型性能；使用更多推理预算也不提升思考模型表现。类比推理则明显受益于 CoT 或更长 CoT。第六，推理增强方法（SC、BoN、GRPO）在大模型上效果减弱：在 Qwen2.5-VL-72B 上，BoN 和 GRPO 甚至不如简单 CoT。第七，GRPO 在小模型上泛化能力弱于 BoN，跨不同架构和训练数据集的一致性实验证实了这一点。第八，七种推理类型存在明显的模式聚类：归纳-类比推理高度相关（Pearson 系数 0.97），空间推理与其他类型最脱节（与归纳推理仅 0.40），表明空间能力难以从非空间任务中迁移学习。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 整体表现（Avg） | Accuracy (%) | GPT-5: 58.69, Gemini-2.5-Pro: 56.86 | Human: 72.28 | 最强模型与人类差距 14% |
| 类比推理（Ana） | Accuracy (%) | GPT-5: 78.87, Gemini-2.5-Pro: 73.77 | Human: 57.65 | GPT-5 超越人类 21.22% |
| 空间推理（Spa） | Accuracy (%) | Gemini-2.5-Pro: 25.10, GPT-5: 17.25 | Human: 79.76 | 最强模型与人类差距 54.66% |
| 因果推理（Cau） | Accuracy (%) | Claude-Sonnet-4-Thinking: 44.11, GPT-5: 41.06 | Human: 75.00 | 最强模型与人类差距 30.89% |
| 时间推理（Tem） | Accuracy (%) | GPT-5: 41.70, Gemini-2.5-Pro: 35.79 | Human: 79.76 | 最强模型与人类差距 38.06% |
| 演绎推理（Ded） | Accuracy (%) | GPT-5: 80.14, Gemini-2.5-Pro: 79.43 | Human: 70.59 | GPT-5 超越人类 9.55% |
| 归纳推理（Ind） | Accuracy (%) | GPT-5: 78.32, Gemini-2.5-Pro: 73.66 | Human: 63.41 | GPT-5 超越人类 14.91% |
| 溯因推理（Abd） | Accuracy (%) | Gemini-2.5-Pro: 54.40, GPT-5: 53.75 | Human: 79.76 | 最强模型与人类差距 25.36% |
| 开源最佳（Qwen2.5-VL-72B） | Accuracy (%) | 40.21 | GPT-5: 58.69 | 开源与闭源差距 18.48% |
| GRPO vs BoN (7B模型) | Avg Accuracy (%) | BoN@8: 29.54 | GRPO: 28.23, CoT: 24.68 | BoN 比 GRPO 高 1.31%, 比 CoT 高 4.86% |
局限与改进
MMR-Life 存在以下局限性。首先，虽然基准覆盖了 7 种推理类型，但每种推理类型的子任务数量有限（每类仅 3 个任务），且部分任务的题目数量较少（如空间推理仅 255 题，因果推理仅 263 题），这可能导致评估结果的统计显著性不足。其次，基准使用多选题形式（5 个选项），这与真实生活中的开放式推理场景存在差距——现实中的推理往往没有预设的选项供选择。多选题格式也可能使模型利用排除法等捷径而非真正进行推理。第三，干扰选项的生成部分依赖 GPT-5-mini 等模型，这些模型本身的偏差可能影响干扰选项的质量和多样性。第四，基准的图像来源虽然多样化，但仍以英语和西方文化背景为主，可能无法全面反映全球不同文化背景下的推理模式。第五，作者在错误分析中发现，GPT-5 和 Gemini-2.5-Pro 的主要错误类型包括推理错误（32%）、抽象错误（17%）和知识错误（17%），但基准本身并未针对这些具体错误类型设计针对性的诊断题目。第六，评测采用零样本 CoT 提示，未探索少样本提示或更复杂的提示策略对结果的影响。
独立分析的弱点
从独立分析的角度看，MMR-Life 存在以下可改进之处。第一，空间推理任务的设计可能过于依赖精确的角度估计和路线规划，这类任务对当前 MLLM 来说难度跨度太大（最高准确率仅 25.10%），导致该推理类型的区分度不足。建议增加更多渐进难度的空间推理任务，如从粗粒度的方向判断到细粒度的位置估计。第二，基准中的图像选项和文本选项混合使用（54.95% vs 45.05%），但未充分分析这两种选项类型对模型表现的影响差异。图像选项可能引入额外的视觉匹配难度，而文本选项可能受到语言理解能力的影响，建议将这两种类型分开分析以更精确地归因错误来源。第三，质量控制中小模型过滤（用 Qwen2.5-VL-7B 等三个模型测试，全部答对则剔除）可能导致基准偏向当前模型的弱点，而非全面评估推理能力。第四，GRPO 与 BoN 的比较实验中，GRPO 模型使用的是 VL-Rethinker 系列，而 BoN 使用的是 Skywork-VL Reward 作为奖励模型，两者的训练数据和奖励信号不同，可能影响比较的公平性。建议使用统一的奖励模型重新进行对比实验。第五，层次聚类分析仅基于 Pearson 相关系数，未考虑其他距离度量（如互信息、动态时间规整），聚类结果的稳定性有待验证。
未来方向
基于 MMR-Life 的评测结果和发现，未来研究可以从以下方向展开。首先，针对空间推理和时间推理的严重短板，可以开发专门的训练策略或数据增强方法。例如，利用视频数据中的空间-时间信息进行针对性训练，或构建更多空间推理的中间表示学习任务。其次，基于推理类型聚类的发现（如归纳-类比推理高度相关），可以探索跨推理类型的迁移学习策略——利用模型在强项推理类型上的能力来弥补弱项。第三，关于 CoT 对不同推理类型的差异化效果（长 CoT 有益于类比推理但无益于归纳推理），可以开发自适应推理长度控制机制，根据问题类型自动调整思考深度。第四，GRPO 在小模型上泛化弱于 BoN 的发现值得深入探究——是否存在更好的强化学习训练策略来避免过拟合？第五，可以将 MMR-Life 扩展到更多语言和文化背景，构建全球化的推理评测基准。第六，可以探索开放式生成式推理评测，突破多选题格式的限制，更真实地评估模型的推理能力。
复现评估
MMR-Life 在可复现性方面做了较好的工作。作者承诺在论文被接受后开源所有数据和代码。在附录中，他们提供了每个任务的详细数据来源和链接（Appendix C.1）、210 题的子集（包括问题和对应图像）作为补充材料、完整的实验代码、所有模型的版本号和参数设置（温度 0.5、top_p 0.5、seed 17）、以及推理时使用的提示模板（Figure 18）。然而，完整数据集（2,646 题）的公开状态尚不明确。实验需要 8 块 NVIDIA A100 GPU 进行开源模型评估，闭源模型则需要 API 访问权限。开源模型的评估通过 5 次运行取平均来减少随机性，但闭源模型的结果可能因 API 版本变化而不可完全复现。总体而言，复现难度中等：数据构建部分需要大量人工标注和质量控制，但评测部分在代码和数据开源后应可直接复现。
论文图表
