从2D网格到1D Token：重塑多模态图像融合的共享表示 From 2D Grids to 1D Tokens: Reforming Shared Representations for Multimodal Image Fusion

方法步骤的完整描述包括两阶段训练和推理流程。阶段一（重建预热）：在这个阶段，交叉模态融合被禁用，模型专注于学习单模态重建和稳定的Base/Detail分解。对于每个模态，输入图像首先通过冻结的tokenizer映射到1D token表示，然后通过token-to-map接口转换为2D特征图，接着通过私有编码器分解为Base分量和Detail分量，最后解码器将这两个分量重建为原始图像。重建损失结合了结构相似性损失和像素级均方误差损失，前者保持结构一致性，后者稳定重建过程。为了鼓励Base和Detail之间的互补性，引入了分解正则化项，该正则化鼓励不同模态的Detail之间保持多样性，同时强制不同模态的Base之间保持一致性。阶段二（跨模态融合）：在这个阶段，Base和Detail融合模块被激活。两个模态分解得到的Base和Detail分别通过各自的融合层进行融合，得到融合后的Base和Detail。融合损失基于输入图像的元素级最大值和梯度最大值，分别约束融合图像的强度和梯度。最后解码器将融合后的Base和Detail解码，并与残差参考相加得到最终融合图像。在推理时，输入图像经过tokenizer得到1D token，通过STE进行选择性编辑，然后经过token-to-map接口转换为2D特征图，分解后融合并解码。Token-to-map接口采用分层映射设计：先将token维度从12提升到64，然后线性映射得到32乘32的粗特征图，用3乘3卷积和可学习缩放系数的残差局部聚合分支进行细化，最后通过三阶段上采样恢复256乘256的分辨率，在每个上采样阶段使用7乘7、5乘5、3乘3的卷积核合并来自原始图像的尺度对齐细节特征。

技术新颖性体现在多个方面。首先，这是首次将紧凑1D token序列作为多模态图像融合的共享表示载体，挑战了密集2D网格在这一领域的主导地位。与仅在损失层面尝试分离Base和Detail的方法不同，本文从表示层面重新设计了共享信息的载体，这是一个更根本性的创新。其次，本文提出的token-to-map接口设计使得1D token能够自然地融入现有的2D融合生态系统，而非完全替代它们，这种兼容性设计使得方法可以与各种2D融合backbone结合，降低了采用门槛。第三，选择性Token Editing（STE）是一种全新的稀疏干预机制，它通过探针发现而非手工指定外观敏感的token位置，提供了轻量级但有效的全局外观控制，这种机制的可学习性和自适应性使其具有超越手工设计的潜力。第四，本文证明了简单的token级干预就能持续改善融合质量，这与通常需要复杂损失设计或多阶段优化策略的方法形成鲜明对比，显示了表示层面优化的威力。第五，两阶段训练策略确保了共享表示的稳定性，tokenizer保持冻结避免了预训练token空间在训练过程中的漂移，这是一个重要的工程设计考虑。最后，本文的框架设计将tokenizer的角色与融合解码器的角色进行了明确分离：tokenizer提供紧凑的全局指导，2D分支负责保留局部结构，这种分工明确的思想在其他视觉任务中也具有借鉴意义，可能启发未来的表示学习研究。

独立分析的弱点包括几个方面。第一，tokenizer的冻结策略虽然稳定了token空间，限制了训练过程中的漂移，但同时也限制了模型适应新模态或新任务的能力。对于与预训练域差距很大的模态（如某些特殊医学图像或工业检测图像），冻结的tokenizer可能无法充分捕捉外观因子，导致融合质量下降。改进方向可以是探索轻量级的tokenizer微调机制，在保持大部分token空间稳定的同时，允许少量可适应参数来学习新模态的外观特性，或者设计自适应的tokenizer选择策略，根据输入模态动态选择最合适的tokenizer配置。第二，STE的位置选择依赖于离线的探针步骤，这增加了训练的复杂度和计算开销，虽然探针步骤本身是轻量级的，但仍然需要额外的计算资源和时间。虽然在TiTok-32配置下位置12和18是稳定的，但当tokenizer配置变化时需要重新探针，这降低了方法的自动化程度。改进方向可以是设计端到端的学习机制，让模型自动学习哪些token位置对外观敏感，与融合任务联合优化，减少对超参数和探针步骤的依赖，或者开发更通用的外观敏感位置学习算法，使其能够自适应不同的tokenizer配置。第三，当前框架仍然需要2D融合路径来处理局部细节，这限制了模型的最大压缩潜力，也意味着模型必须同时维护两个计算路径，增加了复杂度。改进方向可以是探索更深度的token空间融合，减少对2D路径的依赖，可能进一步提升模型的压缩效率和简洁性，或者设计更高效的token到空间的映射机制，用更少的计算量实现同等或更好的局部细节重建。第四，token-to-map接口的分层映射设计虽然有效，但可能不是最优的架构选择，其中的一些超参数（如卷积核大小、上采样阶段数）可能需要针对不同任务进行调整。改进方向可以是神经架构搜索来自动找到最优的token-to-map映射结构，或者研究基于注意力机制的动态上采样策略，根据输入内容自适应地调整映射过程。第五，消融研究表明不同数量的token会影响融合质量（32个token最佳，64和128个token性能下降），但论文缺乏对token数量与融合质量关系的系统分析和理论解释，这限制了对方法本质的理解。改进方向是可以进行更广泛的token数量与质量权衡研究，建立理论模型指导token数量的选择，为不同应用场景提供配置指南。第六，STE的编辑目前是静态的偏置添加，没有考虑输入内容的变化，可能不是最优的动态编辑策略。改进方向可以探索条件化的token编辑，根据输入图像的特征动态调整编辑的方式和程度，实现更精细的外观控制。

作者提出和基于成果可延伸的未来研究方向包括多个方面。第一，探索更轻量的token-to-map接口设计，以减少推理过程中的延迟和内存开销，使框架更适合部署导向的融合系统，特别是在移动设备或嵌入式系统上的应用。这可能涉及更高效的神经架构设计、模型剪枝或量化技术。第二，研究自适应tokenizer选择策略，根据输入模态、任务需求或计算资源限制，动态选择最合适的tokenizer配置，实现性能与效率的最优平衡。这可能需要建立一个tokenizer性能数据库或训练一个tokenizer选择器。第三，开发更高效的token编辑策略，超越当前的稀疏偏置设计，可能包括可学习的token变换网络、条件token生成模型，或者基于优化方法的token搜索算法，使得token编辑能够更精准地影响融合图像的外观。第四，将1D token接口扩展到其他视觉任务，如图像增强、风格迁移、跨模态图像生成或图像编辑，探索其作为通用全局外观控制接口的潜力和局限性，验证这一思想的普适性。第五，研究token空间的语义解释，理解不同token位置和通道编码的视觉信息类型，可能实现更精细和可控的外观操作，这对于推动可解释的图像处理具有重要意义。第六，探索端到端的tokenizer训练与融合的联合优化框架，在保持紧凑表示的同时获得更好的任务对齐，这可能需要设计新的训练策略或损失函数来平衡重建质量和融合性能。第七，将框架扩展到三模态或更多模态的融合场景，如红外-可见光-深度融合、MRI-CT-PET融合等，评估1D token接口在更复杂场景下的可扩展性和有效性，这可能会揭示当前设计的潜在局限性并启发改进方向。第八，研究STE的泛化性，探索在不同tokenizer家族（如FlexTok、ResTok）上应用相同机制的方法，虽然具体的位置可能不同，但稀疏编辑的核心思想可能仍然适用，这可能需要设计更通用的探针策略或学习算法来自动发现外观敏感位置。第九，探索动态token数量或维度，根据图像复杂度或任务需求自适应调整token表示的大小，实现更灵活的计算资源分配。

复现评估方面，论文提供了较为详细的实现信息，但仍然存在一些挑战。作者计划发布项目页面，通常包含代码、模型和数据集链接，这是一个积极的信号，表明作者对可复现性的重视。数据集方面，使用的基准都是公开的：M3FD包含202对图像，RoadScene包含152对图像，TNO包含30对图像，Harvard包含55对测试图像对，FMB用于语义分割评估，这些数据集都可以公开获取，确保了实验的可重复性。算力需求方面，论文提到使用混合精度训练和梯度裁剪，模型有约1.325M可训练参数，加上冻结的tokenizer总参数更大但只有约1.325M需要优化，训练分为两个阶段共120个训练周期，初始学习率为0.0001，每20个周期衰减0.5倍，最小学习率为0.000001。这种配置在现代GPU上应该是可实现的，虽然具体的训练时间和硬件需求没有明确说明，但从参数规模和训练周期来看，计算量适中。代码实现方面，论文提供了模块级架构细节，包括tokenizer、token提升、token-to-map映射、局部细化、多阶段上采样、细节注入、私有编码器、融合层和残差解码器的具体操作，这为实现提供了清晰的指导。然而，一些实现细节如网络的具体深度、激活函数选择、归一化层配置等没有完全描述，这可能影响精确复现，需要研究者进行一些实现细节的推测和调整。消融研究提供了丰富的验证，包括token位置编辑、token数量影响、效率比较、不同1D表示技术的比较、Gumbel-Softmax槽位预算消融，这些详细的分析有助于理解方法的工作原理和关键组件的贡献，也为复现提供了验证基准。总体而言，论文提供了足够的细节和开放资源承诺，复现应该是可行的，但可能需要一些实现细节的推测和调整，特别是对于token-to-map接口的具体实现和两阶段训练的细节。如果作者能够发布完整的训练代码和预训练模型，复现的难度将大大降低。