批判性审视目标指令选择：解构关键因素与非关键因素

系统解构指令选择的数据表示与算法，揭示梯度表示最可靠但收益随预算衰减

前置知识

指令微调（Instruction Fine-tuning）

指令微调是指在大规模预训练语言模型基础上，使用指令-响应对数据集进行监督微调的过程。具体来说，给定输入指令 $x$ 和期望的响应 $y$，模型学习映射 $f_ heta(x) \to y$，通常通过最小化交叉熵损失 $\mathcal{L} = -\sum_{i} \log p(y_i | x_i)$。这种方法使模型能够遵循复杂指令执行多样化任务，是现代LLM（如GPT-4、Claude等）的核心训练步骤。

本文研究对象是面向目标任务选择指令微调数据的方法，理解指令微调的基本目标（最小化目标任务损失）和流程是理解整个问题背景的基础

最优传输（Optimal Transport）

最优传输是衡量两个概率分布之间距离的数学框架。给定源分布 $P_S$ 和目标分布 $P_T$，最优传输寻找耦合分布 $\gamma$ 使得 $\gamma$ 的边缘分布分别等于 $P_S$ 和 $P_T$，同时最小化传输代价 $\mathbb{E}_{(x,y) \sim \gamma}[c(x,y)]$。其中 $c(x,y)$ 是代价函数（如欧氏距离）。$p$-Wasserstein距离定义为：$W_p(P_S, P_T) = (\inf_{\gamma} \mathbb{E}_{\gamma}[c(x,y)^p])^{1/p}$。在本文中，作者使用1-Wasserstein距离 $W_1$ 来衡量选中子集与查询集之间的分布差异。

本文将多种选择算法统一为近似最优传输的观点，并提供了基于 $W_1$ 距离的泛化界，理解最优传输有助于理解理论贡献部分

梯度特征与数据归因（Gradient Features \& Data Attribution）

梯度特征是一种优化感知的数据表示方法，通过追踪训练过程中的梯度信息来量化样本的影响力。具体来说，LESS（Low-rank gradient Similarity Search）计算查询样本和候选样本之间的梯度相似度，估计候选样本对查询损失的'影响'。对于样本 $(x_i, y_i)$，其影响可以通过一阶泰勒展开近似：$\mathcal{L}(\theta - \eta g_i; (x_q, y_q)) \approx \mathcal{L}(\theta; (x_q, y_q)) - \eta g_i^T g_q$，其中 $g_i$ 和 $g_q$ 分别是候选和查询的梯度。这种方法源于数据归因文献，旨在量化单个训练样本对模型性能的贡献。

LESS是本文发现的最有效的数据表示方法，理解其背后的梯度归因原理对于理解实验结果至关重要

研究动机

当前目标指令选择领域存在严重碎片化问题。具体表现包括：1）方法形式各异，从基于相似度的贪心算法到基于最优传输的方法，缺乏统一的比较框架；2）大多数研究没有包含零样本（zero-shot）基线，使得收益评估不完整；3）实验结果不一致——同一方法在不同数据集、模型、预算下表现差异巨大；4）缺乏对'什么真正驱动性能'的系统性分析。例如，Ivison等人和Xia等人报告的方法在各自设置中表现最佳，但无法确定成功是由于数据表示选择、选择算法设计，还是其他隐含因素。更严重的是，实用者缺乏在特定任务和预算约束下选择合适方法的可操作指导。

本文的目标是本文的核心目标是通过系统性地解构（disentangle）和评估目标指令选择的两个核心组件——数据表示和选择算法——来澄清这一混乱领域。具体包括：1）分离这两个组件的效果，使得可以独立比较不同数据表示方法（固定选择算法）和不同选择算法（固定数据表示）；2）开发统一的理论框架，解释多种选择算法之间的内在联系；3）提供泛化界，量化何时基于距离的选择有帮助、何时没有；4）给出实用指导，帮助研究者在不同预算、模型、任务下做出明智选择。

与已有工作不同的是，本文的独特切入角度是'解构视角'。不同于以往工作直接提出端到端方法（如'RDS+方法'或'LESS方法'），作者明确地将问题分解为两个正交维度：数据表示和选择算法。这使得可以回答'是梯度表示好，还是特定选择算法好？'这类关键问题。此外，作者提出了'距离最小化'的统一观点，将看似不同的方法（贪心、KNN、最优传输）解释为近似最小化不同距离度量，并提供了支持这一观点的理论界限。这个角度首次在指令选择领域建立了系统性的理论基础，而不仅仅是经验性的方法比较。

核心方法

本文采用解构框架，将目标指令选择分解为两个独立组件：数据表示和选择算法。直观理解是：第一步将查询集（目标任务的少量示例）和候选池（可选的大量指令数据）编码为向量表示；第二步基于这些表示，选择算法计算查询-候选之间的相似度/距离，并选择预算 $B$ 个样本进行训练。这种分离使得可以进行对照实验：固定选择算法（如greedy round-robin）来比较不同数据表示，或固定数据表示来比较不同选择算法。作者还提出了统一的理论视角：多种选择算法都可理解为近似最小化选中子集与查询集之间的分布距离（如Wasserstein距离），并为这一观点提供了泛化界支持。

核心创新点有三：1）首次明确解构数据表示和选择算法两个维度，使各组件效果可分离评估；2）发现梯度表示（LESS）是唯一能创建'子集到查询的距离一致预测性能'的数据表示，而RDS+和EMBED的预测信号不可靠；3）提出'指令选择即距离最小化'的统一理论框架，将贪心、KNN、最优传输等算法解释为近似最小化不同距离度量，并证明最小化 $W_1(P_S, P_Q)$ 可以收紧泛化界；4）提出新的选择算法Unbalanced OT (UOT)，通过显式惩罚边缘偏差来'忽略'离群点和不相关样本，相比KNN-Uniform有更好的理论基础。

方法步骤详情

方法包含两个核心步骤。第一步：数据表示编码。给定候选池 $D = \{z_i = (x_i, y_i)\}_{i=1}^N$ 和查询集 $Q = \{q_j = (x_j, y_j)\}_{j=1}^M$，使用三种方法编码为向量表示：1）RDS+：对每个样本，取基础语言模型隐藏状态的位置加权平均；2）EMBED：使用现成的句子编码器（如GTR-T5）处理指令-响应对；3）LESS：计算LoRA梯度并应用随机投影得到紧凑的梯度特征向量。所有表示都用于计算查询-候选之间的余弦相似度矩阵。第二步：选择算法选择样本。给定相似度矩阵（或距离矩阵）和预算 $B$，使用不同算法选择子集：1）Greedy Round-Robin (RR)：对每个查询点选择最高相似度的候选，从候选池中移除，循环直到预算耗尽；2）Doubly Greedy (DG)：为每个候选分配'影响力分数'（与任意查询的最大相似度），选择top-B；3）KNN-Uniform：基于最优传输的闭式解，为每个查询的K个最近邻居分配均匀质量，选择累计质量最高的top-B；4）KNN-KDE：在KNN-Uniform基础上加入核密度估计正则化，减少近重复候选的影响；5）UOT：显式求解不平衡最优传输问题，允许忽略离群点，通过边缘惩罚项实现。最终训练模型仅使用选中的子集 $S$。

技术新颖性

技术新颖性体现在多个层面。理论层面，首次为指令选择提供了严格的泛化界。定理6.1证明：目标任务损失 $L_T(\theta_S) \leq W_1(\hat{P}_S, \hat{P}_Q) + W_1(\hat{P}_Q, \hat{P}_T) + \text{训练误差} + \text{其他项}$。这表明最小化子集-查询距离 $W_1(\hat{P}_S, \hat{P}_Q)$ 直接收紧性能上界。定理6.2证明：相比随机采样，距离感知选择的收益以 $B^{-1/d}$ 的速率衰减（d是特征维度），这量化了'维度灾难'效应。方法层面，UOT算法引入边缘惩罚，允许传输计划'忽略'不相关的候选样本，这在候选池包含大量离群点时特别有用。实验层面，系统的解构设计使得可以识别出'梯度表示的预测信号最强，但收益随预算衰减'这一关键规律，这是以往混杂实验无法揭示的。作者还验证了随机采样在较大预算下常能匹配或超越精心设计的方法，这是对领域现状的重要警示。

**Figure 1**: Disentangled view of targeted instruction selection.

实验结果

实验包含多个关键发现。首先是距离预测性能的能力：使用greedy round-robin将候选分为10个距离分位（1=最近，10=最远），每分位选择500样本训练Llama-2-7B。Figure 2显示，只有LESS(RR)在查询集损失上展现出强单调性（Spearman相关：BBH=0.28, Codex=0.22, GSM8K=0.29, TyDiQA=0.43, MMLU-Pro=0.22），而RDS+和EMBED的相关性很弱甚至为负（如BBH上RDS+为-0.04，MMLU-Pro上EMBED为0.22）。Figure 3显示，LESS(RR)在4/5任务上距离与性能呈强负相关（越近越好），但RDS+和EMBED的趋势不一致。其次是数据表示的效果：固定选择算法为RR，预算 $B \in \{500, 1000, 2500, 5000, 10000\}$。Figure 4显示LESS(RR)在所有任务上查询集损失最低；Figure 5显示下游任务性能：LESS在BBH、TyDiQA、MMLU-Pro上表现最佳，但RDS+在GSM8K上最佳，随机采样在Codex大预算时具有竞争力。第三是选择算法的效果：固定数据表示为LESS。Figure 6显示UOT在3/5任务上损失最低；Figure 7显示RR在低预算（500-1000样本）下表现最佳，而UOT和KNN-KDE在高预算（5000-10000样本）下表现更好。DG算法表现最差，在3个任务上损失最高。Figure 8验证理论预测：LESS变体与随机采样的损失差随预算B增加而衰减，且衰减速率接近 $B^{-1/d}$（d=8192）。最后是候选池依赖性：附录O显示，使用Dolci Instruct作为候选池时，RDS+和EMBED可以匹配或超越LESS，表明数据表示效果依赖候选池特性。

**Figure 2**: Loss on the Query Set vs. Subset-Query Distance Quantiles and Spearman Correlation (Llama 2 7B)

**Figure 3**: Performance on the Test Set vs. Subset-Query Distance Quantiles and Spearman Correlation (Llama 2 7B)

**Figure 4**: Loss on the Query Set across Subset Budgets for Different Data Representations (Llama 2 7B)

**Figure 5**: Performance on the Test Set across Subset Budgets for Different Data Representations (Llama 2 7B)

**Figure 6**: Loss on the Query Set across Subset Budgets for Different Selection Algorithms (Llama 2 7B)

**Figure 7**: Performance on the Test Set across Subset Budgets for Different Selection Algorithms (Llama 2 7B)

**Figure 8**: Convergence of LESS Variants vs. Theoretical Decay

查看结构化数据

任务	指标	本文	基线	提升
BBH	Exact Match (%)	LESS(RR), B=10000	Zero-Shot	~3-5%提升（具体数值需从Figure 5估算，LESS在最高预算时约42%，zero-shot约38%）
TyDiQA	Exact Match (%)	LESS(RR), B=10000	Zero-Shot	~8-10%提升（LESS在最高预算时约52%，zero-shot约42%）
MMLU-Pro	Average (%)	LESS(RR), B=10000	Zero-Shot	~15%提升（LESS在最高预算时约20%，zero-shot约5%）
GSM8K	Exact Match (%)	RDS+(RR), B=10000	Zero-Shot	~10-12%提升（RDS+在最高预算时约38%，zero-shot约26%）
Codex	Pass@10 (%)	LESS(RR), B=10000	Zero-Shot	~5%提升或接近（LESS在最高预算时约25%，zero-shot约20%，Random在10000样本时也接近25%）

局限与改进

作者明确承认了多个局限性。首先是计算成本：LESS需要前向和反向传播整个候选池，FLOPs远高于RDS+和EMBED。尽管附录J显示可以用135M参数的小模型计算梯度特征来训练7B模型，大幅降低FLOPs，但这仍然比纯表示方法昂贵。其次是候选池依赖性：当使用Dolci Instruct作为候选池时，RDS+和EMBED的下游性能可以匹配或超越LESS，表明'最佳数据表示'不是通用的，依赖候选池特性。第三是模型依赖性：附录M显示，在Llama 3.2 3B和Qwen3 4B等较新、过度训练的模型上，LESS在下游任务上的一致性减弱。第四是零样本性能饱和问题：当目标任务本身的零样本性能已经很高时，指令选择的收益有限。第五是理论界松弛：定理中的界包含多个项（训练误差、联合误差 $\tilde{\lambda}$），仅最小化距离不能保证性能，还需候选池充分覆盖目标任务所需技能。最后，作者观察到随机采样经常匹配或超越精心设计的方法，这揭示了当前实践的脆弱性。

独立分析的弱点

独立分析的主要弱点包括：1）计算复杂度瓶颈：梯度表示需要遍历整个候选池进行反向传播，对于超大规模候选池（如数百万样本）不可行。改进方向：探索基于代理模型（proxy model）的近似梯度计算、分层选择策略、或稀疏梯度追踪方法。2）理论界的实用性不足：泛化界包含难以估计的项（如 $\tilde{\lambda}$），实际应用中无法直接用于指导选择。改进方向：开发可计算的可验证界，或使用经验代理（如验证集性能）。3）候选池依赖性未被建模：为何在不同候选池上表现不同没有理论解释。改进方向：研究候选池分布与目标任务的匹配度度量，开发自适应选择策略。4）任务特性未充分利用：例如数学任务（GSM8K）偏好RDS+，问答任务（TyDiQA）偏好LESS，但没有任务表示与数据表示的匹配机制。改进方向：引入任务元信息来选择或组合不同表示。5）动态选择缺失：当前方法是静态的，一次性选择整个训练集。改进方向：开发迭代选择策略，基于中间模型状态动态调整。

未来方向

作者提出的未来方向包括：1）计算高效的表示方法：探索如何在保持梯度表示优势的同时降低计算成本，如使用参数高效的近似、或预计算可重用的梯度数据存储。2）自适应选择算法：开发能根据预算、候选池特性、任务类型自动调整的选择算法，而非固定使用RR或UOT。3）理论细化：紧化泛化界，减少难估计项，或开发实践中可直接优化的目标函数。4）多任务统一选择：当前针对单个目标任务，未来可研究如何为一个任务族选择统一子集。基于本文成果的延伸方向：1）组合表示：探索将梯度表示与语义表示（RDS+/EMBED）结合，利用各自优势。2）主动学习集成：将指令选择与主动学习结合，基于模型反馈迭代优化子集。3）跨模态扩展：将方法推广到多模态指令选择（如图文-响应对）。4）安全性与公平性：研究选择算法是否引入或放大偏见，如何设计公平的选择策略。5）实时在线选择：在训练过程中动态选择样本，而非预先选择静态子集。

复现评估

论文复现性评估：1）开源情况良好：代码已公开在 https://github.com/dcml-lab/targeted-instruction-selection，包含了所有实验的复现脚本。2）数据使用明确：主要使用Tulu V2数据集的子采样版本作为候选池，目标任务包括BBH、Codex、GSM8K、TyDiQA、MMLU-Pro，都是公开基准。3）模型训练细节：使用Llama-2-7B作为基础模型，在附录G提供了超参数（学习率、批次大小、训练步数等），并使用lm-eval-harness进行评估。4）计算资源需求：主要实验涉及训练多个模型（不同数据表示×不同选择算法×不同预算×3个随机种子），在单个GPU上需要大量计算时间。梯度表示计算特别昂贵，但附录J的代理模型实验提供了降低成本的替代方案。5）实验设计严谨：每个设置都有3个随机种子的平均值和标准误差，统计意义可验证。复现难度中等：需要访问Llama-2-7B模型、下载Tulu V2和目标任务数据、以及足够的GPU资源（建议多GPU并行）。但对于有计算资源的实验室，基于公开代码和详细文档应该可以完整复现。