超越单模态捷径：多模态大语言模型作为跨模态推理器用于定位命名实体识别 Beyond Unimodal Shortcuts: MLLMs as Cross-Modal Reasoners for Grounded Named Entity Recognition
提出MCR框架，通过结构化跨模态推理消除MLLM在定位命名实体识别中的模态偏见
前置知识
Grounded Multimodal Named Entity Recognition (GMNER)
定位多模态命名实体识别是一项需要同时完成三个子任务的复合任务：首先从文本中识别出命名实体（如人名、地名、组织名），然后为每个实体分配语义类别（person、organization、location、miscellaneous），最后判断该实体是否出现在配对图像中，如果出现则输出其边界框坐标 (x1, y1, x2, y2)，否则输出 None。这个任务在社交媒体分析、知识图谱构建等领域有重要应用。
本文的核心任务就是GMNER，理解这个任务的定义和三个子任务之间的关系，是理解后续方法设计和实验评估的基础。
Modality Bias（模态偏见）
模态偏见是指多模态模型在处理跨模态任务时，倾向于依赖单一模态的信息而忽略其他模态的验证。在本文中，模态偏见表现为两种形式：文本偏见（textual bias）是指模型仅凭文本就做出判断，忽略图像证据；视觉偏见（visual bias）是指模型被图像中的视觉元素误导，忽略了文本语义。这种偏见本质上是模型采取认知捷径而非进行严格推理的结果。
模态偏见是本文发现的核心问题，也是MCR框架要解决的根本挑战。理解模态偏见的表现形式和成因，是理解本文动机和方法的关键。
Group Relative Policy Optimization (GRPO)
GRPO是一种强化学习优化算法，来源于DeepSeek-R1的工作。与传统的PPO不同，GRPO不需要额外的critic模型来估计价值函数，而是通过组内相对优势来更新策略。具体来说，对于每个查询，策略生成多个响应，计算每个响应的奖励，然后通过组内奖励的均值和标准差来归一化优势函数，从而实现稳定的策略优化。这种方法在推理任务中表现出色。
CVO模块采用GRPO作为优化算法来训练模型进行跨模态推理，理解GRPO的工作原理有助于理解CVO的优化机制和设计选择。
Chain-of-Thought (CoT) Reasoning
思维链推理是一种让大语言模型在给出最终答案前，先生成中间推理步骤的技术。通过将复杂问题分解为一系列子步骤，模型可以更系统地处理问题，减少直接跳跃到结论导致的错误。在多模态场景中，CoT可以引导模型逐步分析文本和图像信息，进行交叉验证。
本文的核心创新之一是将CoT推理引入GMNER任务，通过注入结构化的推理模式来强制模型进行跨模态验证，而不是依赖单模态捷径。
LoRA (Low-Rank Adaptation)
LoRA是一种高效的模型微调方法，通过在预训练模型的权重矩阵旁边添加低秩分解的旁路矩阵来实现参数高效微调。具体来说，对于一个权重矩阵 W，LoRA添加两个小矩阵 A 和 B，使得前向传播变为 W + BA。这样只需要训练 A 和 B 的参数，大大减少了可训练参数量，同时保持了模型性能。
本文使用LoRA对多模态大语言模型进行微调，这是实际实现中的重要技术选择，影响训练效率和资源需求。
研究动机
在社交媒体内容分析、知识图谱构建等实际应用场景中，定位多模态命名实体识别（GMNER）是一项基础任务，需要模型同时理解文本和图像来准确识别和定位实体。现有方法主要分为两类：流水线方法将任务分解为多个独立步骤，由不同模型分别处理，这导致错误传播累积和额外的计算成本；统一方法虽然在一个模型中完成所有步骤，但通常只将多模态大语言模型（MLLM）作为辅助工具使用，如图像描述器，并未充分发挥其跨模态推理潜力。更重要的是，当直接将MLLM应用于端到端GMNER时，模型表现出严重的模态偏见问题。具体表现为：文本偏见导致模型无视视觉证据，将文本中提到的实体错误地定位到图像中相似但不相关的区域；视觉偏见导致模型被图像中的视觉元素误导，错误地回忆出文本中不存在的实体。例如，当文本提到'Iggy'而图像中是'Kevin Durant'时，模型会将'Iggy'错误地定位到Kevin Durant的边界框。
本文的目标是本文的目标是首次探索多模态大语言模型在端到端GMNER中的应用潜力，将其从辅助工具提升为主要推理引擎。具体目标包括：第一，识别并量化MLLM在GMNER任务中的模态偏见现象；第二，提出一种能够强制模型进行严格跨模态验证的推理框架；第三，在GMNER及其子任务（多模态命名实体识别MNER和实体提取与定位EEG）上超越现有基线方法，同时有效缓解模态偏见。论文通过引入N-Rate、N-Count、N-Pre、N-Rec等量化指标来评估模态偏见的缓解程度。
与已有工作不同的是，本文的独特切入点在于将模态偏见归因于认知捷径（cognitive shortcuts）——模型绕过严格的跨模态验证，依赖单模态启发式规则来快速做出判断。这一洞察与现有工作形成鲜明对比：已有研究主要通过特征对齐来抑制视觉噪声或增强对未见实体的泛化，而本文认为问题的根源在于模型缺乏结构化的跨模态推理过程。因此，本文不是简单地改进特征表示，而是通过注入结构化推理模式和基于约束的可验证优化，强制模型在推理过程中进行逐步的跨模态一致性检查。这种从特征对齐到推理对齐的范式转换是本文的核心创新视角。
核心方法
本文提出的模态感知一致性推理（Modality-aware Consistency Reasoning, MCR）框架可以类比为一个严谨的审计流程：就像审计师需要按照标准化的检查清单逐步核对账目，MCR也要求模型按照预定义的推理模式逐步验证文本和图像信息的一致性。整个框架分为两个阶段：第一阶段是多风格推理模式注入（Multi-style Reasoning Schema Injection, MRSI），相当于给审计师培训标准检查流程，通过监督微调将多样化的推理模板注入模型；第二阶段是约束引导的可验证优化（Constraint-guided Verifiable Optimization, CVO），相当于根据审计结果进行绩效考核，通过强化学习奖励模型进行正确的跨模态验证。技术路线的核心是将抽象的跨模态一致性约束转化为可执行的推理链，并通过GRPO算法动态对齐模型的推理轨迹。
MCR的核心创新在于将跨模态一致性验证从隐式的特征对齐转变为显式的结构化推理。与已有方法的本质区别体现在三个层面：第一，约束建模。本文将GMNER任务分解为四个核心约束——实体识别约束 C_s、类型分类约束 C_t、视觉蕴含约束 C_e 和视觉定位约束 C_u，每个约束与特定的任务和模态关联，形成约束集 C = {C_s, C_t, C_e, C_u}。第二，推理多样性。不同于单一的CoT模板，MRSI通过模板、LLM和MLLM三种方式生成多种推理风格，防止推理轨迹坍缩为相似输出，避免梯度消失。第三，可验证奖励。CVO设计了基于规则的奖励函数（实体数量、实体跨度、实体类型、蕴含判断、定位精度），而非依赖可能引入偏见的奖励模型，实现了对推理过程的精确评估和优化。
方法步骤详情
MCR方法包含两个主要阶段，每个阶段有明确的输入、操作和输出。第一阶段MRSI：输入为图像-文本对 (s, v)、约束集 C 和标注 Y，首先通过模板提取器、LLM和MLLM生成多样化的推理模式 D_R，公式为 D_R = [Gamma_phi(z | s, v, C, Y)]，其中 Gamma_phi 表示不同的推理生成器。然后取 D_R 的子集 D_1 通过监督微调注入MLLM，损失函数为 L_MRSI = -E log pi_MLLM(z | x, v) + log pi_MLLM(y | x, v, z)。第二阶段CVO：输入为剩余数据 D_2 = D_R \ D_1，对每个查询 q 生成 G 个多样响应 {o_1, o_2, ..., o_G}，通过五个奖励函数计算奖励分数。实体数量奖励 R_c 鼓励广泛探索同时保持精度；实体跨度奖励 R_s 使用token级F1分数和匈牙利算法进行最优匹配；实体类型奖励 R_t 计算类型匹配准确率；定位奖励 R_u 基于IoU度量；蕴含奖励 R_e 判断实体是否可见。最终奖励为加权组合 R = lambda_1 R_c + lambda_2 R_s + lambda_3 R_t + lambda_4 R_u + lambda_5 R_e，通过GRPO目标函数更新策略。
技术新颖性
MCR框架的技术新颖性体现在以下几个方面。首先，在问题定义层面，本文首次将MLLM在GMNER中的模态偏见系统性地识别为认知捷径问题，而非简单的特征对齐不足。其次，在方法设计层面，MRSI的多风格推理模式生成机制是独特的创新：通过模板、LLM和MLLM三种来源生成推理链，确保推理轨迹的多样性，避免训练过程中的梯度消失问题。这与传统CoT方法使用单一固定模板形成鲜明对比。第三，CVO的约束引导可验证奖励设计避免了使用奖励模型可能引入的偏见，直接基于任务约束设计规则化奖励函数。第四，将GRPO引入多模态推理优化，通过组内相对优势计算实现稳定的策略更新，无需额外的critic模型。第五，整个框架实现了从特征对齐到推理对齐的范式转换，为多模态推理任务提供了新的解决思路。
实验结果
本文在多个基准数据集上进行了全面的实验验证，核心发现如下。在GMNER任务上，MCR应用于Qwen2.5VL-7B时，在GMNER上达到70.6% F1，比之前的最佳统一方法MQSPN（58.8% F1）提升11.87个百分点，比最佳流水线方法SCANNER（68.5% F1）提升2.11个百分点。在MNER子任务上达到82.8% F1，在EEG子任务上达到73.4% F1，分别超越MQSPN 2.33%和10.97%。值得注意的是，MCR在7B参数的模型上甚至超越了72B参数的Qwen2.5VL-72B（31.2% F1），展示了方法的有效性。消融实验表明，移除MRSI会导致F1下降18.95%，证明逐步跨模态验证路径是必要的先决条件。移除CVO仅带来0.18%的微小提升，而完整CVO带来2.04%的显著增益，突出了可验证奖励对增强推理能力的重要性。在模态偏见缓解方面，MCR将Qwen2.5VL-7B的视觉偏见N-Rate从13.2%（CoT+3-Shot）降低到0.1%，将MimoVL-7B的N-Rate从24.3%降低到0.2%，实现了接近零的视觉偏见。在GREC数据集上，N-acc指标从65.7%（SFT）提升到74.7%，表明文本偏见也得到有效缓解。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| GMNER | F1 | 70.6%（Qwen2.5VL-7B + MCR） | MQSPN 58.8% | +11.87% |
| GMNER | F1 | 69.6%（MimoVL-7B + MCR） | MQSPN 58.8% | +10.78% |
| MNER | F1 | 82.8%（Qwen2.5VL-7B + MCR） | MQSPN 80.4% | +2.33% |
| EEG | F1 | 73.4%（Qwen2.5VL-7B + MCR） | MQSPN 62.4% | +10.97% |
| 视觉偏见缓解 | N-Rate | 0.1%（Qwen2.5VL-7B + MCR） | CoT+3-Shot 5.8% | -5.7% |
| GREC文本偏见 | N-acc | 74.7%（Qwen2.5VL-7B + MCR） | SFT 70.6% | +4.1% |
| MNER-MI | F1 | 85.1%（Qwen2.5VL-7B + MCR） | SFT 83.8% | +1.3% |
局限与改进
尽管MCR在缓解模态偏见方面取得了显著成效，但仍存在几个重要局限性。首先，框架受限于底层MLLM的参数化知识边界。由于MCR依赖模型的内部知识库进行实体识别，当遇到预训练语料中不存在的未见实体时，模型可能无法正确识别和分类。论文中的失败案例展示了这一点：虽然模型拥有关于'Lady Gaga'的知识，但对其外观的视觉知识有限，导致被视觉相似的线索误导。其次，MLLM在实体跨度检测方面仍然存在困难，难以精确地从文本中提取实体边界。第三，当前的评估主要在社交媒体场景（Twitter）上进行，对于其他领域（如医疗、法律、金融）的泛化能力尚未验证。此外，多风格推理模式的生成需要额外的计算资源（使用DeepSeek、Qwen2.5VL-72B、Qwen3VL-30B-A3B等多个模型），增加了方法的部署复杂度。训练过程也需要8张NVIDIA Tesla L20 GPU，MRSI阶段4小时，CVO阶段20小时，对计算资源有一定要求。
独立分析的弱点
从独立分析的角度，MCR框架存在以下几个可改进的弱点。第一，推理模式多样性依赖外部模型生成，增加了系统复杂性和成本。改进方向可以是开发自动生成多样化推理模板的方法，或者设计更高效的模板采样策略。第二，奖励函数的设计虽然基于任务约束，但五个奖励的权重 lambda_1 到 lambda_5 需要手动调优，缺乏自适应机制。可以考虑引入课程学习策略，根据训练阶段动态调整权重。第三，当前方法对每个实体独立处理，未充分利用实体之间的关系信息。例如，当文本中提到'Kevin Durant'和'NBA'时，利用它们之间的语义关系可以帮助更准确的定位。第四，多风格推理虽然提高了训练效果，但也增加了推理时的计算开销，因为需要生成更长的推理链。可以探索推理时的自适应深度控制，对简单样本使用较短推理链。第五，当前框架未考虑实体识别和定位之间的交互优化，两个子任务的错误可能相互影响。
未来方向
基于本文的成果，未来研究可以从以下几个方向展开。首先，扩展MCR框架到更多多模态推理任务，如视觉问答、图像描述生成等，验证其通用性。其次，探索更高效的推理模式注入方法，例如通过知识蒸馏将多风格推理能力压缩到更小的模型中。第三，研究自适应的推理深度控制机制，让模型能够根据输入的复杂度动态调整推理步骤的数量和详细程度。第四，将MCR与外部知识库结合，解决未见实体的识别问题，例如通过检索增强生成（RAG）技术引入实时知识。第五，探索跨语言和跨文化的GMNER场景，特别是在中文社交媒体上的应用。第六，研究如何将MCR的约束引导思想应用于其他需要多模态一致性验证的任务，如多模态事实核查、视觉蕴含推理等。
复现评估
从复现性评估来看，本文具有较好的可复现性。代码和数据已在GitHub公开（https://github.com/aaaalonga/MCR），采用了MIT或CC-BY 4.0开源许可。训练数据来源于三个公开数据集：Twitter-GMNER（7000训练样本）、MNER-MI（6856训练样本）和GREC（14000训练样本，经过过滤）。实验使用8张NVIDIA Tesla L20 GPU，基于ms-swift框架进行训练和推理，使用vLLM进行解码和采样。MRSI阶段使用LoRA微调，训练2个epoch（Qwen2.5VL）或5个epoch（MimoVL），学习率0.0001，批大小16，耗时约4小时。CVO阶段训练2个epoch，学习率0.000005，批大小64，每输入采样8个响应，耗时约20小时。总体而言，复现需要中等规模的GPU资源，代码和数据的开源降低了复现门槛，但完整的训练流程仍需要约24小时的GPU时间。
论文图表
图中展示了两个典型的模态偏见错误案例。左侧(a)展示文本偏见：文本提到'Iggy'而图像中是Kevin Durant，模型错误地将'Iggy'定位到Kevin Durant的边界框。右侧(b)展示视觉偏见：文本提到'Louis Van Gaal'和'Premier League'，但模型受图像中Manchester United标志影响，错误地将'Premier League'分类为'organization'并预测为'Manchester United'。
这张图直观地展示了本文要解决的核心问题——模态偏见，通过具体案例让读者理解文本偏见和视觉偏见的表现形式，是理解论文动机的关键。