ScalSelect：面向高效视觉指令调优的可扩展无训练多模态数据选择方法 ScalSelect: Scalable Training-Free Multimodal Data Selection for Efficient Visual Instruction Tuning
通过指令条件早期表示和子空间感知全局选择，用16%数据达到97.5%性能
前置知识
视觉指令调优（Visual Instruction Tuning, VIT）
视觉指令调优是训练多模态大语言模型的核心范式，通过大规模图像-指令对数据微调模型，使其能够理解和执行自然语言描述的视觉任务。典型流程包括：使用预训练视觉编码器提取图像特征，通过投影层对齐视觉和语言表示空间，然后在大规模图文对话数据上进行指令微调。LLaVA、Qwen-VL等模型都采用这种范式，在VQA、OCR等任务上取得显著进展。
本文的核心场景就是优化VIT的数据选择效率，理解VIT的训练流程和数据构成是理解论文动机的前提。
注意力机制中的交叉模态对齐
在多模态大模型中，视觉token和文本token通过Transformer的自注意力机制进行交互。研究发现，LLM的早期层（如第一层）主要负责将视觉和文本表示对齐到共享空间，视觉token在此阶段获得最高的注意力权重；中间层更偏向文本主导的推理；最终层则负责输出映射。这种层次化特性意味着不同层编码的信息类型不同。
ScalSelect的核心设计——使用LLM第一层的注意力信号构建样本表示——正是基于对这种层次化特性的理解。
统计杠杆评分（Statistical Leverage Score）
统计杠杆评分是矩阵分析中的重要概念，用于衡量矩阵某一行（或列）对最佳低秩近似的影响程度。具体来说，给定矩阵X_c的截断SVD分解X_c ≈ U_k Σ_k V_k^T，样本i的杠杆评分π_i等于左奇异向量矩阵U_k第i行的L2范数平方。高杠杆评分的样本在低秩子空间中具有更大影响力，选择这些样本能更好地保留矩阵的全局结构信息。
ScalSelect正是基于杠杆评分进行样本选择，这是其能够实现全局子空间保持的理论基础。
CUR矩阵分解
CUR分解是一种低秩矩阵近似方法，通过选择原矩阵的行子集（R）和列子集（C）以及连接矩阵（U）来近似原矩阵。与传统SVD不同，CUR选择的子集直接来自原矩阵，具有更好的可解释性。理论上，基于杠杆评分的采样策略可以保证CUR分解的相对误差界，即近似误差不超过最优低秩近似误差的(1+ε)倍。
ScalSelect的子空间感知选择策略受到CUR分解理论的启发，通过选择能跨越主导子空间的样本来保留数据集的全局结构。
研究动机
大规模视觉指令调优虽然推动了多模态大模型的发展，但面临严重的计算效率问题。以LLaVA-665K数据集为例，包含66.5万样本，在8张H100 GPU上进行全量微调仍需相当长的时间。然而，研究发现这些大规模数据集存在显著冗余——大量样本在内容或监督信号上高度重叠，对模型训练的边际贡献有限，却带来巨大的计算开销。现有数据选择方法试图解决这一问题，但各自存在明显缺陷：基于训练的方法（如使用代理模型估计样本重要性）需要额外的训练阶段，部分抵消了数据选择带来的效率提升；基于梯度的方法需要通过目标模型进行反向传播，计算开销大且难以扩展到大规模数据集；现有的无训练方法要么依赖外部代理模型（如CLIP），要么构建与指令无关的样本表示，要么采用二次复杂度的成对相似度计算，在大规模数据集上难以实际应用。
本文的目标是本文的具体目标是开发一种可扩展的无训练多模态数据选择方法，使其能够：（1）在不需要任何额外训练或梯度计算的情况下，从大规模视觉指令调优数据集中识别出信息量最大的样本子集；（2）在选择16%数据（约10万样本）的预算下，保留全量训练97.5%以上的性能；（3）实现与样本数量成线性关系的时间复杂度，从而能够扩展到百万级别的数据集；（4）不依赖任何外部代理模型或辅助数据集，仅利用目标VLM本身的特性进行选择。
与已有工作不同的是，本文的独特切入角度在于从「全局子空间保持」而非「局部样本关系」的视角看待数据选择问题。现有方法大多关注样本之间的两两关系（如相似度、影响力），采用的是局部视角——选择与已选样本不同的样本。然而，这种局部多样性并不能保证整体表示空间的全局结构得到保留。ScalSelect则采取全局视角：关注每个样本对整个数据集表示空间主导子空间的贡献。论文观察到，在大规模VIT下，数据集诱导的表示空间通常是高度冗余且近似低秩的，大部分有意义的变化集中在少数主导方向上。因此，选择能最好跨越这些主导方向的样本子集，就能保留数据集的全局结构信息。这种视角转换不仅在理论上更具说服力，还带来了线性时间复杂度的实际优势。
核心方法
ScalSelect的方法可以用一个形象的比喻来理解：假设你有一个巨大的图书馆（数据集），每个书架上放着不同主题的书（样本）。传统方法会比较每两本书的相似度来决定保留哪些，这就像要在图书馆里逐一比较每本书的内容，工作量巨大。ScalSelect则换了一个思路：先看整个图书馆的知识结构（主导子空间），找出那些能代表整个图书馆知识体系的核心书籍，而不是去计算每两本书之间的相似度。技术路线上，ScalSelect分为两个阶段：第一阶段是指令条件早期表示（Instruction-Conditioned Early Representation），利用目标VLM本身的第一层Transformer注意力信号，构建既包含视觉信息又与指令相关的样本表示；第二阶段是子空间感知全局选择（Subspace-Aware Global Selection），将所有样本表示堆叠成矩阵，通过截断SVD估计主导子空间，然后计算每个样本的统计杠杆评分作为重要性分数，选择评分最高的样本组成最终子集。
ScalSelect最本质的创新在于两点。第一，它发现LLM第一层的注意力信号是构建样本表示的理想来源。已有研究观察到，LLM早期层主要负责跨模态对齐，视觉token在此获得最高注意力，而这些注意力本身就编码了「指令关注图像的哪些区域」的信息。通过从用户指令token到视觉token的注意力聚合，可以得到一个既紧凑又与指令相关的视觉表示。这与现有方法要么使用外部编码器（如CLIP）、要么聚合所有视觉token（指令无关）的做法形成鲜明对比。第二，它将数据选择重新定义为「子空间压缩」问题：不是要找「多样化的样本」，而是要找「能跨越数据集主导子空间的样本」。基于CUR分解的理论，通过杠杆评分选择的样本可以保证对最优低秩近似的相对误差界。这种全局视角彻底避免了成对比较，实现了线性时间复杂度。
方法步骤详情
ScalSelect的完整流程包含以下步骤。首先，对于数据集D中的每个样本s_i，包含视觉输入V_i和T_i轮对话。通过视觉编码器和投影层将图像编码为视觉token序列{v_1^i, ..., v_{N_v}^i}，通过分词器和嵌入层将文本编码为token嵌入。然后，在LLM的第一层Transformer中，计算多头自注意力矩阵A^(1)，并跨注意力头取平均。对于每个视觉token v_j^i，聚合所有用户指令token对它的注意力分数α_j^i，得到该视觉token受指令关注的程度。接着，将视觉token按注意力分数降序排列，选择累积注意力达到阈值τ（默认0.9）的token子集V_i。对这些选中的视觉token在第一层的隐藏状态取平均，得到样本表示x_i。在第二阶段，将所有N个样本的表示堆叠成矩阵X ∈ R^{N×d}，进行列中心化得到X_c。对X_c进行截断SVD，选择最小的k使得前k个奇异值的累积能量达到总能量的90%。最后，计算每个样本的统计杠杆评分π_i = Σ_{j=1}^k (s_{ij})^2，其中s_{ij}是第j个左奇异向量的第i个元素，选择评分最高的样本组成最终子集。
技术新颖性
ScalSelect的技术新颖性体现在三个层面。首先，在表示构建层面，它是第一个利用LLM第一层指令-视觉注意力信号构建样本表示的数据选择方法。这与使用CLIP等外部编码器的方法不同——外部编码器的表示空间与目标VLM存在分布差异；也与简单聚合所有视觉token的方法不同——后者丢失了指令相关信息。其次，在选择策略层面，它首次将全局子空间保持的思想引入多模态数据选择。现有方法关注样本间的局部关系（相似度、多样性），而ScalSelect关注每个样本对全局表示结构的贡献。这在理论上可以保证保留数据集的主导结构，在实践中避免了成对比较。第三，在效率层面，整体时间复杂度为O(Ndk + Nk)，其中d是表示维度（固定），k是子空间维度（通常很小，实验中k=9），因此相对于样本数N是线性的。这与需要成对比较的方法（O(N^2)）或需要代理模型训练的方法形成鲜明对比。
实验结果
ScalSelect在多个维度的实验中展现出优异性能。在基线对比实验中（LLaVA-V-625K数据集，100K选择预算），ScalSelect的平均相对性能达到Full-Finetune的97.85%，显著优于Random采样（95.66%）、Length（83.10%）和Perplexity（81.80%）等简单启发式方法，也超过COINCIDE（96.85%）、PRISM（96.01%）和RDS+（95.71%）等现有方法。特别值得注意的是，在MME认知子集（MME-C）上，ScalSelect得分308.57，超过Full-Finetune的278.57；在POPE精确度（POPE-P）上也达到94.73 vs 93.05。在预算扩展实验中，从50K到400K样本，性能持续提升：50K时保留95.34%，100K时97.85%，300K时99.66%，400K时甚至超过Full-Finetune达到101.16%。跨模型实验显示，ScalSelect在更强大的Qwen3-VL模型上表现更好：Qwen3-VL-4B达到104.00%，Qwen3-VL-8B达到102.39%，表明更强的模型可能从数据选择中获益更多。跨数据集实验在LRV-Sub-180K上也验证了方法的泛化性，29K样本达到97.51%的性能。消融实验表明，指令条件和列中心化都是关键设计：移除指令条件导致OCRBench显著下降，移除列中心化使子空间维度崩溃到k=1。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 多模态理解综合评估 | 平均相对性能 | 97.85% | Random 95.66% | +2.19% |
| MMBench-En | 准确率 | 59.19 | Full-Finetune 63.96 | 92.5%相对 |
| MME-Cognition | 分数 | 308.57 | Full-Finetune 278.57 | +10.8% |
| POPE-Precision | 精确度 | 94.73 | Full-Finetune 93.05 | +1.8% |
| OCRBench | 分数 | 19.40 | Full-Finetune 20.30 | 95.6%相对 |
| Qwen3-VL-4B综合 | 平均相对性能 | 104.00% | Full-Finetune 100% | +4.0% |
局限与改进
尽管ScalSelect表现出色，仍存在一些值得讨论的局限性。首先，方法依赖于目标VLM本身来提取表示，这意味着需要对目标模型进行一次前向推理来构建样本表示。虽然这只是单次前向传播且只需第一层，但对于超大规模数据集（如数百万样本），这一步的计算开销仍然可观。其次，实验主要在LLaVA-Vicuna-7B和Qwen3-VL系列上进行，虽然覆盖了不同规模的模型，但对于其他架构（如InternVL、DeepSeek-VL2）的泛化性还需进一步验证。第三，子空间维度k在实验中被自动确定为9（90%能量阈值），但这个阈值的选择是启发式的，论文承认在不同数据集上k值会变化（如Middle Layer实验中k=59），缺乏对最优k值选择的深入分析。第四，实验中观察到MME-P和MME-C之间存在明显的性能权衡——随着选择样本数增加，MME-P持续提升而MME-C略有下降，这表明方法在不同能力维度上的表现并不均衡。最后，论文的理论分析（附录C）虽然提供了相对误差界的理论参考，但实际采用的是确定性选择而非随机采样，理论与实践之间存在一定差距。
独立分析的弱点
从独立分析的角度，ScalSelect存在几个可改进的弱点。第一，当前方法在表示构建阶段使用固定阈值τ=0.9选择视觉token，这个阈值对所有样本一视同仁。然而，不同样本的指令复杂度和视觉内容差异很大——简单识别任务可能只需关注少量视觉区域，而复杂推理任务可能需要更全面的视觉信息。改进方向可以是自适应阈值策略，根据指令类型或视觉token注意力分布自动调整τ值。第二，杠杆评分计算假设表示空间的线性结构，但多模态表示可能存在复杂的非线性流形结构。可以考虑引入核方法或流形学习技术，在非线性空间中定义类似杠杆评分的重要性度量。第三，当前方法是一次性选择（select-then-train），无法根据训练过程中的反馈动态调整选择策略。可以探索迭代选择机制，在训练过程中根据模型的学习进度重新评估样本重要性。第四，实验显示不同评估基准间存在性能权衡（如MME-P vs MME-C），可以考虑多目标优化策略，在选择过程中同时考虑多个能力维度的平衡。
未来方向
基于ScalSelect的成果，未来研究可以从多个方向延伸。首先，将子空间感知选择的思想扩展到其他模态组合，如纯语言指令调优、音频-视觉-语言多模态学习等，验证这种全局视角的普适性。其次，探索ScalSelect与其他训练效率技术的结合，如与课程学习（Curriculum Learning）结合——先选择高杠杆评分样本训练基础能力，再用低评分样本补充多样性；或与数据增强结合——对高重要性样本进行更精细的增强。第三，研究动态数据选择的可行性，即在训练过程中根据模型状态动态调整选择策略，可能比静态选择更高效。第四，将方法扩展到持续学习场景，在模型能力不断增长时如何高效地选择新数据进行增量训练。第五，深入研究表示空间的低秩特性与下游任务性能的关系，为选择策略提供更坚实的理论指导。
复现评估
从复现评估角度看，ScalSelect具有较好的可复现性。论文承诺开源代码（虽然实验时仓库可能还未完全开放），核心算法不涉及复杂的工程实现。数据方面，实验使用公开的LLaVA-665K和LRV-Instruction数据集，均可公开获取。算力需求适中：表示构建阶段需要对目标模型进行一次前向推理（只需第一层），对于62.5万样本的数据集，在单张现代GPU上可在数小时内完成；SVD分解和杠杆评分计算在CPU上即可高效完成。训练阶段使用标准的LLaMA-Factory框架，超参数清晰记录在论文附录中。复现的主要挑战可能在于：（1）需要访问目标VLM的内部注意力权重和隐藏状态，对于闭源模型可能不适用；（2）实验在8×H100 GPU上进行，对于资源有限的研究者可能需要调整batch size等设置。总体而言，方法原理清晰、实现相对简单、数据公开可用，复现难度中等偏低。
论文图表