伪统一：熵探测揭示统一多模态模型中的发散信息模式 Pseudo-Unification: Entropy Probing Reveals Divergent Information Patterns in Unified Multimodal Models
用信息论框架揭示UMMs伪统一现象
前置知识
统一多模态模型
统一多模态模型（UMMs）是指在一个模型架构中同时实现多模态理解和生成的系统。与传统分别训练文本生成（如LLMs）和图像生成（如T2I模型）的方法不同，UMMs共享参数空间，旨在实现真正的跨模态协同。主要架构类型包括：All-in-One Transformer（如Harmon、Janus-Pro、Show-o）、Mixture-of-Transformers（如BAGEL）、以及MLLM+Diffusion Pipeline（如OmniGen2）。这些模型的设计初衷是让文本生成的创造性推理能力能够转移到图像合成中，实现基于推理的文本到图像生成。
本文研究对象，理解UMMs的内部工作机制和局限性是多模态AI领域的核心问题，对于构建真正统一的多模态智能系统至关重要。
熵和条件熵
熵H(Z)衡量随机变量的不确定性或信息量，对于嵌入序列，熵越高表示表示空间越各向同性和信息丰富。条件熵H(Zr|Zp)表示在已知输入Zp的情况下，输出Zr的剩余不确定性。在生成模型中，低条件熵对应高保真度生成（输出严格对齐输入），高条件熵对应创意性生成（输出从广泛语义分布中采样）。本文将条件熵作为诊断生成模式的关键指标：文本生成通常呈现高条件熵（创意模式），图像生成通常呈现低条件熵（保真模式）。
本文方法的核心，用于量化UMMs的内部信息流动和生成模式差异，是诊断伪统一现象的理论基础。
Rényi熵
Rényi熵是Shannon熵的推广，定义为一族熵测度，包含一个阶数参数α。α阶Rényi熵为Hα = (1/(1-α)) log Σi pi^α，当α→1时收敛到Shannon熵。矩阵基Rényi熵通过在高维特征空间中计算核矩阵K来估计熵，公式为Hα(K) = (1/(1-α)) log tr(A^α)，其中A = K/tr(K)是归一化的概率矩阵。这种方法不需要显式的概率密度估计，适用于Transformer模型产生的高维、变长嵌入序列。本文设置α = 1.01来近似Shannon熵同时保持数值稳定性。
本文的关键技术创新，使得在缺乏显式概率密度的Transformer模型中能够估计熵，从而实现模型内部信息流的探测。
RKHS（再生核希尔伯特空间）
再生核希尔伯特空间是泛函分析中的一个概念，通过正定核函数将输入映射到高维特征空间。高斯核k(x,y) = exp(-||x-y||^2/2σ^2)将原始空间中的相似性映射到RKHS中的内积。本文将嵌入序列视为RKHS中的经验样本，通过高斯核构造Gram矩阵，将熵重新定义为表示结构的几何性质而非概率密度的函数。这提供了对深度隐式模型中信息的新操作语义：prompt熵捕捉模态嵌入的内在不确定性，prompt-response联合熵量化结构丰富度。
本文的理论基础，使得熵估计可以在隐式、高维、变长的表示空间中进行，是整个探测框架数学可行性的保障。
伪统一现象
伪统一是指统一多模态模型虽然在架构上统一了文本和图像生成，但在实际运行中两个模态表现出发散的响应模式的现象。具体表现为：文本生成保持大语言模型的创意性特征（高熵，从广泛语义分布中采样），而图像生成则遵循文本到图像模型的保真度约束（低熵，产生高度确定、严格对齐的输出）。这种双轨响应机制意味着模型没有真正统一生成逻辑，而是继承了模态特定的优化目标。
本文的核心发现和诊断对象，揭示了当前UMMs的根本局限性，指出了未来研究方向需要关注信息流的一致性而非仅仅参数共享。
研究动机
统一多模态模型的设计初衷是将大语言模型的创造性推理能力与图像生成的高保真度融合，实现真正的跨模态协同。然而在实践中，这种协同效应仍然难以实现：UMMs无法将LLM式的推理转移到图像合成中，表现出发散的响应行为。如图1所示，在关于美国国旗的推理任务中，BAGEL（14B参数）的文本生成正确检索到美国国旗，但图像生成却无法产生它，形成了明显的跨模态不一致。更令人惊讶的是，较小的Harmon模型（仅1.5B参数）在相同的任务中展现了更优的跨模态推理性能。这种现象表明，当前UMMs虽然共享参数空间，但并未实现真正的多模态统一，而是分别继承和保持各自模态的生成模式。
本文的目标是本文的目标是从模型内部信息流动的角度诊断UMMs的伪统一现象，揭示其根本原因。作者提出一个两层信息论探测框架：在提示词层面分析文本和图像输入的内部表示（通过比较嵌入熵和层熵），在响应层面探测prompt-response依赖关系（通过估计条件熵）。通过在10个代表性UMMs上应用该框架，作者旨在揭示伪统一是否源于双重发散：模态不对称编码（视觉和语言遵循不同的熵轨迹）和模式分裂响应（文本生成呈现高熵创意，图像合成强制低熵保真）。
与已有工作不同的是，现有研究在探测UMMs统一性方面存在根本性局限。数据驱动的探测方法无法捕捉协同效应，新的统一基准仍然局限于案例研究，无法揭示某些模型在内部统一方面优于其他模型的内在原因。当前的模型内部分析忽略了prompt-response依赖关系，尽管LLM研究已经逐层检查了prompt表示，但很少调查prompt-response的相互依赖。因此，需要一个更通用的探测框架，通过检查内部信息流来诊断统一性，超越表面性能指标。
核心方法
本文方法采用信息论视角来诊断UMMs的伪统一现象，核心思想是将统一建模为视觉和语言隐式联合分布P(X,Y)的学习，其中X为视觉输入（图像块序列），Y为文本输入（文本token序列）。在这个框架下，多模态任务对应于该共享分布上的条件操作，如图像captioning实现P(Yr|X,Yp)，文本到图像生成实现P(X|Y)。UMMs实现真实统一的关键取决于该隐式联合模型的内部一致性，这可以通过熵和条件熵来探测。
本文的核心创新在于将经典信息论中的熵和条件熵重新表述到再生核希尔伯特空间（RKHS）中，使得它们能够在缺乏显式概率密度、高维且变长的Transformer表示中非参数化计算。将嵌入序列视为RKHS中的经验样本，通过高斯核建模它们的相似性，将熵重新定义为表示结构的几何性质而非概率密度的函数。这个公式化提供了对深度隐式模型中信息的新操作语义，使得在异构模态和变长序列间的一致估计成为可能。
方法步骤详情
方法分为三个主要步骤。第一步是提示词表示分析：对于每个模型和每种模态（文本/图像），从输入层和所有隐藏层提取嵌入序列，使用高斯核构造核矩阵K，归一化为概率矩阵A = K/tr(K)，然后计算矩阵基Rényi熵Hα(K) = (1/(1-α)) log tr(A^α)。分析嵌入熵随提示词长度和类型的变化，以及层熵随深度的演化。第二步是响应模式探测：对于文本生成和图像生成两个任务，分别提取prompt嵌入序列Zp和response嵌入序列Zr，构造自核矩阵Kpp和Krr以及交叉核矩阵Kpr、Krp，拼接成联合核矩阵Kjoint，计算联合熵Hα(Kjoint)，然后定义条件熵代理H_hat(Zr|Zp) = Hα(Kjoint) - Hα(Kpp)，逐层比较文本生成和图像生成的条件熵。第三步是跨模型综合分析：在10个代表性UMMs上重复上述分析，比较熵轨迹和条件熵模式。
技术新颖性
本文的技术新颖性体现在三个方面。首先，提出了首个针对UMMs统一性的模型内部信息论探测框架，从提示词编码和响应响应两个层面系统地诊断多模态协同，填补了现有研究要么缺乏模型内部洞察、要么忽略prompt-response依赖关系的空白。其次，开发了适用于Transformer模型的高维、变长、隐式表示的非参数熵估计方法，通过将信息论测度重新表述到RKHS中，解决了经典密度估计在此类设置下不可行或高度不稳定的理论鸿沟。最后，通过在10个代表性UMMs上的广泛分析，揭示了伪统一源于双重发散：模态不对称编码和模式分裂响应。
实验结果
本文通过在10个代表性UMMs上进行实验，揭示了伪统一现象的内在机制。在提示词编码层面，文本提示词的嵌入熵随长度单调增加，反映更长提示词激活表示空间中更多独立方向，产生更丰富和更各向同性的嵌入，但绝对熵水平因架构而异，共享同一LLM骨干的模型显示相似基线。在图像提示词方面，所有模型在所有图像类型上显示几乎相同的层熵轨迹，表明UMMs以结构不可知的方式编码视觉输入。层熵分析揭示了四种不同的模式：BAGEL系列文本提示词遭受早期层熵坍缩，仅在后段反弹到5-6的中等平台；Harmon系列文本提示词显示快速熵上升，稳定在7-8附近；Show-o和Janus系列两种模态的熵都早期激增并平台化；OmniGen2显示混合模式。在响应模式层面，除了Harmon之外，每个模型在文本生成中显示比图像生成更高的条件熵，反映了生成模式的基本差异：文本生成中的较高熵对应创意响应模式，图像生成中的较低熵反映保真响应模式。Harmon是唯一例外，其图像生成条件熵在早期层超过文本生成，文本熵在深度上稳步上升，最终在最终层超越图像熵，反映了根本上统一的生成逻辑。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 文本提示词嵌入熵 | 熵值 | BAGEL系列5.8281-6.4741，Harmon系列4.1422-4.3885，Janus-Pro系列6.1928-6.8678，OmniGen2 3.7270-4.0090 | 无（这是首次此类分析） | 揭示了架构和规模对表示几何的塑造作用，发现LLM骨干主导嵌入熵基线 |
| 图像提示词嵌入熵 | 熵值 | BAGEL系列9.6304-10.0747，Harmon系列3.6590-5.7185，Janus-Pro系列8.2558-9.4128，OmniGen2 5.9166-8.0143 | 无（这是首次此类分析） | 发现UMMs对图像输入进行结构不可知编码，架构先验而非语义需求驱动编码动力学 |
| 跨模态条件熵差异 | 条件熵差（文本-图像） | 除Harmon外所有模型显示文本条件熵显著高于图像，Harmon显示跨模态收敛 | 无（这是首次此类分析） | 定量证实了伪统一现象，识别出唯一实现真正统一的模型Harmon |
| 熵验证实验 | 熵值与独立信息簇数量关系 | 完全相同序列熵值0，5个簇4.9025，20个簇8.4693，100个簇12.8448 | 理论预期：熵应随簇数增加而单调增加 | 验证了矩阵基Rényi熵有意义地反映表示多样性，单调性与理论预期一致 |
| 条件熵代理验证实验 | 条件熵与语义依赖关系 | 相同序列接近0，轻度扰动为中等值，独立采样为最高值 | 理论预期：条件熵应随依赖关系减弱而增加 | 验证了条件熵代理对语义依赖的敏感性，证实其作为诊断工具的有效性 |
局限与改进
本文存在若干局限性。理论方面，条件熵代理不是形式上的Shannon条件熵，尽管作者通过控制实验验证了其与经典条件熵在语义依赖下行为一致，但缺乏理论保证其总是等价于真实的条件熵。方法论方面，熵估计依赖于高斯核带宽参数σ的选择，作者在实验中固定了该值但没有讨论其对结果的敏感性。实验方面，评估主要在两个数据集（T2I-CoReBench的1080个文本提示和MMBench的3217张图像）上进行，虽然这些是既定基准，但可能无法代表所有应用场景。架构方面，虽然评估了10个代表性UMMs，但快速发展的领域意味着新的架构可能显示不同的模式。评估方面，本文专注于内部信息流分析，但没有实际改进模型性能。作者承认难以通过调整提示词输入来重塑熵。
独立分析的弱点
本文存在几个可改进的弱点。首先，带宽参数σ的选择缺乏敏感性分析和理论指导，不同的σ可能显著影响熵估计结果。其次，熵验证实验使用的合成数据可能过于理想化，真实模型的嵌入空间可能具有更复杂的几何结构。第三，实验主要关注英文数据集，跨语言的信息流差异未被探索。第四，响应模式分析只比较了最终层或平均条件熵，没有分析条件熵随层的演化动态。第五，虽然识别了Harmon为唯一实现真正统一的模型，但没有提供将这种优势转移到其他架构的具体方法。第六，方法专注于离线静态分析，没有探索实时监测和调整信息流的可能性。第七，没有提供量化统一程度的具体指标，统一的定义是定性的。第八，实验主要在学术界常用的模型上进行，没有包括工业界的大型闭源模型。第九，方法假设隐藏状态直接反映信息流，但现代模型可能使用各种正则化、注意力机制、残差连接等技术，这些可能扭曲信息流的分析。第十，没有探索条件熵与其他信息论量的关系。
未来方向
作者提出了两个明确未来方向，一是重新思考预训练目标以强制统一的熵动力学，二是从是否有效评估转向如何以及为什么统一分析。基于本文成果，可以延伸多个研究方向。理论方面，可以扩展RKHS框架以包括其他信息论量如互信息和信息瓶颈。方法论方面，可以开发在线探测技术，在推理过程中实时监测熵和条件熵。架构设计方面，可以基于Harmon的发现设计新的统一归纳偏置。可解释性方面，可以可视化熵和条件熵在表示空间中的分布。跨模态分析方面，可以扩展到视频生成、音频生成、3D生成等新模态。因果分析方面，可以进行消融研究。多语言研究方面，可以开发多语言统一探测数据集。评估方法方面，可以基于本文的诊断框架设计新的评估指标。训练改进方面，可以将熵和条件熵作为损失函数的一部分。应用方面，可以将诊断工具集成到模型开发流程中。
复现评估
本文的复现评估显示混合的开源情况和实现难度。论文提到使用10个代表性UMMs，其中一些模型可能有开源代码和权重，但另一些可能未开源或需要申请访问。数据集方面，T2I-CoReBench和MMBench是公开可用的学术基准。实现细节方面，论文提供了关键的数学公式和算法描述，包括高斯核定义、Rényi熵公式、条件熵代理定义，以及参数设置（α = 1.01）。然而，一些关键细节可能缺失或不够明确，例如带宽参数σ的具体值、如何从不同模型的特定层提取隐藏状态等。计算资源方面，评估10个模型需要显著的GPU内存和计算时间。代码可用性方面，论文没有明确提供代码仓库链接。实现难度方面，虽然核心算法相对清晰，但集成到不同模型框架可能需要大量工程努力。总体而言，有经验的实验室应该能够复现主要结果，但需要访问相应的模型权重、数据集和足够的计算资源。
论文图表
Figure 1通过一个具体示例展示了伪统一现象。作者进行了一个不公平的比较，在关于美国国旗的推理任务上对比BAGEL（14B参数）和更小的Harmon（1.5B参数）。图中显示了两种模态的响应：文本响应和图像响应。BAGEL的文本生成正确检索到美国国旗，详细描述了国旗的设计，但图像生成却无法产生美国国旗。相反，尽管Harmon的保真度较低且输出更短，但两种模态都围绕核心概念对齐。这个直观的例子清楚地展示了伪统一的核心问题：即使是大模型，文本和图像生成也可能显示完全不同的理解水平和响应模式。
Figure 1对理解论文至关重要，因为它提供了伪统一现象的直观、具体的例证。抽象的信息论概念可能难以理解，但这个实际例子清楚地展示了问题的严重性：一个14B参数的模型在文本上正确理解了提示，但在图像生成上完全失败，而一个只有1.5B参数的小模型却在两种模态上都成功了。这个对比立即抓住了读者的注意力，确立了论文的研究动机，并为后续的技术分析提供了直观的背景。