视见的代价：在单体范式下实现可信多模态推理 The Expense of Seeing: Attaining Trustworthy Multimodal Reasoning Within the Monolithic Paradigm
提出模态翻译协议与SSC准则，诊断VLM视觉集成失败。
前置知识
视觉-语言模型（VLM）
VLM是同时处理图像和文本的多模态模型，主流采用视觉编码器（如ViT）+跨模态投影头+大语言模型三段式架构。
本文诊断框架完全围绕VLM的编码器-投影器-LLM范式展开，必须先理解其结构才能理解ToS/CoS/FoS如何定位不同环节的失败。
Clever Hans效应
指模型利用统计捷径完成任务而非真正理解输入的现象。本文指VLM利用LLM的强语言先验绕过视觉输入执行'伪推理'。
这是本文要诊断的核心病理，模态翻译协议就是为了把伪推理与真融合区分开。
模态对齐与投影瓶颈
VLM需将连续高维视觉特征映射到离散文本token空间，由跨模态投影头完成，由于带宽不匹配成为信息瓶颈。
理解'信息压缩惩罚'是理解Divergence Law的关键，它解释了为何单纯堆参数无法根本解决VLM对齐问题。
数据消融（Data Ablation）
通过删除视觉输入来测试模型能力的方法，典型代表是Multimodal Gain和Multimodal Leakage指标。
本文正是反对这一主流评估范式，论证其无法分离数据集偏差与架构瓶颈，是理解MTP必要性的前提。
KDD知识发现
从结构化或非结构化数据中提取有效、可理解、可用知识的过程，本文针对KDD的高风险场景（金融、医疗、分子）讨论VLM可信性。
作者将多模态评估问题重新框定为KDD问题，强调结构化场景下方能构造任务充分的$V_{label}$作为语义基准。
研究动机
当前VLM在多模态基准上屡创高分，但其视觉推理能力遭到严重质疑。BabyVision、MMVP、ConMe等基准显示SOTA VLM常在3岁儿童都能完成的视觉任务上失败；MATHVERSE甚至发现部分VLM在移除图像后准确率反而提升。主流评估指标Multimodal Gain ($MG=S_v-S_{wv}$) 和Multimodal Leakage ($ML=\max(0, S_{wv}-S_t)$) 都依赖'数据消融'范式——通过删除视觉输入测模型。作者论证此范式存在两大致命缺陷：(1) ML用max函数无法捕捉对齐训练对基础LLM推理能力的破坏性干扰；(2) MG测量的是'人工饥饿条件下附加信号的杠杆'，不能直接归因于架构能力。从信息论看，删除关键信息后的失败可能是数据偏差或任务定义问题，而非架构不能处理视觉。
本文的目标是本文目标有三：(1) 摆脱数据消融的旧范式，提出'模态翻译'方法——保留语义有效负载、改变模态表征来诊断模型；(2) 设计三个样本级诊断指标ToS、CoS、FoS和一个数学准则SSC，能够在任意数据集上定位架构失败的具体环节（编码器或投影头）；(3) 提出多模态缩放分歧律作为反向假设——单纯扩大LLM规模不仅不会解决视觉瓶颈，反而会扩大符号推理天花板与实际VLM表现之间的差距。最终将SSC从被动诊断提升为主动架构蓝图，引导下一代VLM走向真正多模态融合。
与已有工作不同的是，已有工作（如MMStar、SeePHYS、MATHVERSE）的核心方法都是'消融'或'新基准'，作者论证这混淆了数据集偏差与架构能力，且评估结果不可推广到任意数据集。本文第一个提出信息论视角的'翻译而非消融'诊断框架，并把诊断对象从'模型整体表现'细化到'视觉编码器vs跨模态投影头'。同时，已有工作几乎都默认'更大LLM等于更好VLM'，本文首次提出反向的Divergence Law假说，并将其与SSC准则绑定形成可证伪的预测。
核心方法
方法整体思路可以概括为'三模态对比+三指标定位+一准则+一律'。直觉上，与其删除视觉信号，不如用等价的符号文本替代它，从而分离'模型是否具备任务相关推理能力'与'视觉表征是否丢失信息'。技术路线分四步：(1) 对每个样本定义三种评估模态 $S_{Full}$、$S_{SymT}$、$S_{SymV}$；(2) 从这三者出发构造三个诊断指标 ToS、CoS、FoS，分别回答'视觉是否拖累推理'、'看与读是否对称'、'单流与双流是否一致'；(3) 把三者打包为SSC准则，要求对任何任务 $max(ToS, CoS, |FoS|)=0$；(4) 通过分析SSC随模型规模的变化，提出Divergence Law作为预测性假说。
核心创新在于'保留语义的模态翻译'取代'删除模态的数据消融'。已有方法 $S_{Full}$ 与 $S_{wv}$ 的差异无法排除信息量变化的混淆，本文通过引入 $V_{label}$（任务充分的符号文本描述）和 $T_{img}$（渲染成图像的文本）这两个对照模态，把语义有效负载固定下来，仅改变表征通道。第二个创新是诊断分辨率：FoS的符号（正或负）能区分视觉编码失败（Positive Collapse）还是跨模态投影失败（Negative Collapse）。第三个创新是把诊断指标反过来作为训练目标——SSC既是诊断约束，也是优化方向。
方法步骤详情
完整方法步骤如下。第一步：定义 $S_{Full}=S(M(V,T))$，即标准VLM在原始视觉+文本输入上的得分。第二步：构造任务充分符号描述 $V_{label}$（反渲染、专家标注或符号提取），得到 $S_{SymT}=S(M(\emptyset, T+V_{label}))$。第三步：把文本查询 $T$ 渲染成图像 $T_{img}$，强制模型只通过视觉通道读文本，得到 $S_{SymV}=S(M(V+T_{img}, \emptyset))$。第四步：用公式 $ToS=S_{SymT}-S_{Full}$ 测量视觉引入的推理惩罚；用 $CoS=S_{SymT}-S_{SymV}$ 测量看与读的不对称；用 $FoS=S_{Full}-S_{SymV}$ 定位瓶颈环节。第五步：$FoS>0$ 触发视觉编码低效（Positive Collapse），$FoS<0$ 触发跨模态投影失败（Negative Collapse）。第六步：把 $max(ToS, CoS, |FoS|)=0$ 形式化为SSC准则。第七步：把FoS作为梯度信号、SSC作为正则项融入VLM训练。
技术新颖性
技术新颖性体现在三个层面。方法论上，首次把信息论'信道容量'思想引入VLM评估，用翻译代替消融解决了MG/ML指标的根本性偏倚。诊断粒度上，单一指标FoS能区分编码器与投影头两类完全不同性质的失败，这是以往基准测试无法做到的。范式上，把SSC从'事后评估'升格为'训练时的正则化目标'和'架构设计蓝图'，并提出可证伪的Divergence Law（$ToS$随参数规模上升），与当前业界'越大越好'的盲目缩放叙事形成鲜明对照。三个高风险KDD案例（金融K线、肺部X光、分子毒性筛选）也展示出 $V_{label}$ 构造的实操可行性。
实验结果
本文是KDD社区的立场论文（position paper），没有跑传统意义上的对比实验，核心'结果'是提出了一整套可操作的分析框架，并给出了若干思想性例证。在金融时序KDD案例中，作者假设一个VLM对K线图做突破预测：$S_{SymT}$ 用完美OHLC表格文本替代K线图，若达95%准确率而 $S_{Full}$ 仅60%，即暴露架构瓶颈——LLM具备金融推理能力但视觉编码器主动阻碍了知识提取。在医学诊断案例中，当临床文本提示'30年烟龄'时VLM直接预测癌症，但 $S_{SymT}$ 用真实影像学发现'肺部清晰'后正确预测'健康'，则暴露了文本先验覆盖视觉证据的危险失败模式。在分子挖掘案例中，$S_{SymV}$ 移除文本、将其直接渲染进分子图像，若 $S_{Full}$ 反而不如 $S_{SymV}$，则证明投影头无法对齐连续视觉坐标空间与离散token空间。这些例证共同表明：当前VLM在KDD关键场景中频繁违反SSC，$ToS>0$、$CoS>0$、$FoS\neq 0$ 是普遍现象。
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 金融K线图突破预测（思想性示例） | 准确率（Accuracy） | $S_{Full}=60\%$（标准VLM），$S_{SymT}=95\%$（OHLC符号文本） | $S_t$（纯文本基线LLM）≈ 95% | $ToS=35$ 个百分点，揭示视觉编码引入巨大推理惩罚 |
| 肺部X光癌症诊断（思想性示例） | 诊断准确率 | $S_{Full}=$ 预测癌症（错误，文本先验主导），$S_{SymT}=$ 预测健康（正确，符号发现覆盖） | 临床真实标签为'健康' | 暴露文本先验覆盖视觉证据的'Clever Hans'失败，$FoS$ 显著为负 |
| 分子2D结构毒性筛选（思想性示例） | 任务准确率 | $S_{SymV}$（文本渲染入图像）> $S_{Full}$（双流融合） | $S_{SymT}$（SMILES文本+性质文本） | FoS<0，定位为Negative Collapse（跨模态投影失败） |
| MATHVERSE已有观察（引用对照） | 带图vs无图准确率差 | 部分VLM在删除图像后准确率反而提升 | 传统假设：图像应带来增益 | 本文将其重新解释为ToS>0的间接证据，而非数据集偏差 |
局限与改进
局限性分三层。第一层是本文承认的范围限制：模态翻译协议要求 $V_{label}$ 能被合理构造（反渲染、专家标注或数据库查找），因此只能覆盖KDD类结构化任务；开放感知类任务（如图文情绪描述）不适用，作者也明确不做此类声明。第二层是Divergence Law的证伪性问题：作为假说它需要大量跨规模VLM实验验证，但本文未提供这类实验，仅用'图1'做了示意性曲线，缺乏可重复的实证数据。第三层是SSC作为训练目标的可操作性：把 $max(ToS, CoS, |FoS|)$ 这种分段非光滑函数作为正则项，在优化稳定性、收敛性、与交叉熵损失的平衡上都没有给出具体方案，留给未来工作。此外，$V_{label}$ 构造质量直接决定SSC的诊断有效性，若 $V_{label}$ 信息不足，会低估 $S_{SymT}$，从而误判 $ToS$。
独立分析的弱点
独立分析本文存在以下弱点。(1) 立场论文性质：全文无一项实证实验，'95% vs 60%'等数值都来自思想性例证而非真实测量，说服力有限。(2) $V_{label}$ 高度依赖人工：构造OHLC→K线、影像报告→CT、SMILES→分子图的反渲染需要专业领域知识，难以在通用VLM基准上推广。(3) SSC准则 $\max(ToS, CoS, |FoS|)=0$ 是强约束：对当前VLM几乎总是违反，准则的诊断价值高于其作为训练目标的可达性。(4) 缺乏对开放感知任务的讨论：现代VLM的核心卖点是图像描述、视觉问答等开放任务，本文刻意回避这些场景使框架适用范围受限。改进方向：补充一个真实VLM（如LLaVA、InternVL）在多个公开基准上的MTP实测，绘制ToS随模型规模的经验曲线，并把SSC松弛为 $\max(ToS, CoS, |FoS|)\leq \epsilon$ 的软约束。
未来方向
作者在第7-8节明确提出四个未来方向。(1) 语义等价工程（SEE）：在工业级数据集上自动生成四元组 $(V, V_{label}, T, T_{img})$，确保跨模态互信息等价，作为SSC训练的基础设施。(2) SSC作为目标函数：把 $ToS, CoS, |FoS|$ 公式化为可微正则项融入对齐训练阶段，形塑损失景观，抑制对文本先验的依赖。(3) SSC引导的忠实单体架构：利用 $FoS$ 符号作为实时梯度信号动态调节投影头带宽，在检测到Negative Collapse时扩张容量。(4) 动态SSC审计引擎：部署阶段自动扰动输入流、在线计算 $ToS/CoS/FoS$，在分布漂移时实时报告'视见代价'。可延伸方向还包括：(a) 把SSC扩展到视频-语言模型、音频-语言模型；(b) 用因果推断工具分离'视觉信息未被编码'与'视觉信息未被融合'；(c) 探索非单体VLM（专家混合、模块化路由）作为绕开Divergence Law的替代路径。
复现评估
本文为纯理论/方法论立场论文，**未发布任何代码或数据集**，所有指标、案例、曲线均以描述性文字或图示形式给出，因此'复现'主要指复现其论证逻辑与数学公式。算法层面仅涉及三个评估模态定义与三个指标计算 $ToS=S_{SymT}-S_{Full}$、$CoS=S_{SymT}-S_{SymV}$、$FoS=S_{Full}-S_{SymV}$ 与SSC准则 $\max(ToS, CoS, |FoS|)=0$，这些可在一周内由熟练研究者自行实现。数据层面依赖领域数据集（金融K线、ChestX-ray、分子图）的领域专家构造 $V_{label}$，无现成脚本。算力方面，Divergence Law实证验证需跨规模VLM（0.5B/7B/70B/400B）的大规模推理，至少需要数十块A100/H100 GPU小时。综合评估：概念复现容易，数值复现困难。
论文图表