超越文本主导：理解全模态大语言模型的模态偏好 Beyond Text-Dominance: Understanding Modality Preference of Omni-modal Large Language Models

具体步骤如下：Step 1 数据构造——从XModBench-Perception的6个语义类别（动物/人类活动/乐器/家电机械/交通工具/自然声）中枚举所有C(6,3)=20个三元类别组合，采用平衡采样构造1,000个三模态冲突三元组，每个三元组的文本用模板转写为陈述句（如'鸟在叫'→'the bird is squawking'），配以模态中立的提问'Which option best describes what this example is mainly about?'，三个选项随机排序。Step 2 行为评测——10个OLLM（6个开源+4个闭源）以T=0推理（闭源用API默认参数），音频重采样到16kHz单声道，统计MSR(m)=模型选择m的样本比例/总样本数，1/|M|=均匀基线。Step 3 双向模态评测——额外构建text+image、image+audio、text+audio三对双向冲突设置，验证偏好的稳健性。Step 4 层间探针——为每个OLLM独立采样3,000个样本（8:1:1划分），对每个解码层提取末位token隐藏状态并L2归一化，训练单层MLP探针（softmax输出3类分布，损失为软交叉熵），Adam优化器学习率1e-3、batch size 256、200 epoch，选验证损失最低的checkpoint。Step 5 涌现分析——对每个模型绘制相对深度的探针准确率曲线，用前40%层准确率差值的中位数+3×MAD定义'涌现起点'，定义四阶段（Absent/Emerging/Peak/Declining）；同时对Qwen2.5-Omni-7B的4个代表性层做SVD，把隐藏状态投影到探针权重矩阵的前两个右奇异向量，可视化聚类演化。Step 6 幻觉诊断——在POPE/AVHBench(V→A,A→V)/AHa-Bench四个子任务上，把最高偏好准确率层的探针输出的'干扰模态概率'作为幻觉评分，评估时把yes/no题重写为二选一以消除肯定偏差，选项顺序随机化以消除位置偏差，对比随机基线与Layer 1的Early Probe。

技术新颖性体现在三个层面：第一，评测框架层，把双模态冲突扩展为三模态冲突，且首次在统一基准上同时量化'视觉vs文本vs音频'三方竞争，这是评测范式上的新工具；第二，机制分析层，使用'软标签'（Hinton 2015知识蒸馏思想）作为探针监督信号，而不是离散的one-hot标签，这是因为模型在最终输出层对三个选项已经有完整的概率分布，使用软标签能保留这种'偏好强弱'的连续信息，使线性探针在中间层也能学到有意义的监督；第三，应用转化层，把机制探针直接迁移为诊断器，这一设计避免了任何任务特定数据的需求，在POPE上取得AUROC 0.94的平均水平，显著优于随机基线(0.50)和早期层探针(0.51)，证明了'涌现'位置而非'原始位置'才是可用的诊断信号。

独立分析的弱点及对应改进方向：第一，数据集规模和多样性有限——1,000个三模态冲突样本虽然满足统计检验需求，但仅基于XModBench-Perception一个来源，缺少对长视频、文档、代码等多模态场景的覆盖；改进方向是构建更大规模、跨场景的多模态冲突基准，例如纳入视频时序信息、3D点云、表格数据等更丰富的模态组合。第二，层间探针使用单层MLP虽然简单高效，但表达能力受限，可能低估浅层的偏好信息；改进方向是尝试更复杂的探针架构（例如多任务MLP、注意力探针），并对比线性vs非线性探针的差异，以确定偏好信号是'线性可分'还是'非线性编码'。第三，幻觉诊断仅在POPE、AVHBench、AHa-Bench三个基准上验证，未涉及多轮对话、复杂推理等更现实的下游场景；改进方向是把探针扩展到开放式生成任务（例如LLaVA-Bench的细节描述、MathVista的图表推理），验证其在更复杂幻觉类型上的泛化性。第四，论文对音频模态的持续忽视仅给出描述性观察，缺乏根因诊断；改进方向是结合模态tokenizer分析（例如音频token的编码率、信息熵）、注意力可视化（模态间注意力权重）、训练数据统计（文本-音频对占比）等多角度归因。第五，跨模型迁移性未充分验证——论文为每个模型独立训练探针，但如果能训练一个跨模型共享的'偏好探针'将更具实用价值。

作者提出与可延伸的研究方向：第一，把模态偏好研究与'偏好对齐'结合——既然OLLM存在系统性视觉偏好，可设计偏好对齐训练目标（如加权的模态均衡损失）或RLHF-style的偏好校准，在保持能力的同时显式降低视觉/音频偏见；第二，把层间探针信号用于'主动幻觉缓解'——检测到高干扰模态概率时主动触发解码重采样或模态权重调整，从'被动检测'升级为'主动抑制'；第三，扩展到更广义的'模态内部偏好'（如不同图像区域、不同音频片段），从'模态级偏好'细化到'内容级偏好'，支持更细粒度的多模态对齐。基于论文成果可延伸的：(1)把探针机制扩展到视频、3D等其他模态，建立统一的'多模态偏好表示论'；(2)研究'模态偏好'与'语言风格偏好'（如是否倾向英文回答、是否倾向短句）的交互；(3)探索模态偏好在指令微调、SFT、RLHF等不同训练阶段的演化轨迹，定位偏好形成的'训练阶段根源'而非'层间深度根源'；(4)把这一框架应用到大模型安全审计（检测模型对恶意多模态输入的偏好偏向）与多模态数据合成（基于偏好强度筛选训练数据）。

复现评估总体较好：论文承诺在https://github.com/icip-cas/OmniPreference开源代码与数据，基于广泛使用的XModBench基准（已有公开数据），评测流程（MSR指标、层间探针协议）定义清晰、参数明确（Adam、lr=1e-3、batch=256、200 epoch、8:1:1划分）。算力门槛方面，层间探针训练仅需在已加载的隐藏状态上拟合单层MLP（每层几十毫秒级），不需重新训练OLLM，单张A100即可完成所有开源模型的评测；闭源Gemini系列通过官方API访问，无需本地算力，但需付费API额度。复现难度为中等，主要技术挑战在于：(1)需要处理多种模态输入（文本-图像-音频），需ffmpeg、torchaudio等音频处理工具链；(2)层间探针需要访问模型的内部hidden_states（开源模型通过transformers库的output_hidden_states=True可获取），闭源模型仅能获得logits无法复现机制分析部分；(3)幻觉检测评估需把yes/no题重写为二选一格式并随机化选项顺序，这一预处理细节直接影响结果；(4)软标签提取需要在最终prompt token位置读取全词表softmax，需注意attention mask的设置。总体而言，作者提供的开源承诺和明确参数使得本文工作具有较高的可复现性，但闭源模型的不可探针性是机制研究层面的根本限制。