释放金融数据价值：蒸馏与难度感知训练研究 Unlocking Data Value in Finance: A Study on Distillation and Difficulty-Aware Training
通过高质量CoT蒸馏和难度感知RL训练提升金融LLM性能
前置知识
Chain-of-Thought (CoT) 蒸馏
CoT蒸馏是一种将大模型的逐步推理能力迁移到小模型的技术。在本文中，作者使用Qwen3-235B-A22B-Thinking这样的大型推理模型，针对金融领域的问答对生成详细的逐步推理过程（Chain-of-Thought），然后用这些带有推理链的数据来微调较小的8B模型。这个过程类似于老师（大模型）把解题思路完整展示给学生（小模型），而不是直接给答案。具体流程包括：首先对原始数据进行语义去重，然后用大模型生成CoT，再通过长度自适应验证过滤掉错误的推理链，最后将验证通过的数据用于SFT训练。
理解CoT蒸馏是理解本文数据工程流程的核心。论文的关键论点是：在垂直领域（如金融），数据质量比模型规模更重要，而CoT蒸馏正是将'高质量推理数据'从大模型转移到可用于训练的数据集中的关键技术手段。
GRPO (Group Relative Policy Optimization)
GRPO是一种强化学习算法，是本文用于RL阶段的核心训练方法。与传统的PPO算法不同，GRPO不需要单独训练一个价值网络（critic），而是通过在同一个prompt下生成多个回答（本文设置为4个rollouts），然后计算每个回答相对于组内其他回答的优势（advantage）来更新策略。具体来说，对于每个样本生成一组回答，计算每个回答的奖励分数，然后用组内的相对排名来估计优势函数，这样可以减少方差并提高训练稳定性。本文中设置了KL散度系数为0.001，学习率为$1 \times 10^{-6}$，rollout温度为0.6，top-p为0.85。
GRPO是本文RL训练阶段采用的具体算法。理解其工作原理有助于理解为什么作者需要精心设计奖励函数（格式奖励和正确性奖励），以及为什么RL阶段需要'困难但可验证'的样本——因为GRPO依赖于多个回答之间的相对比较来学习。
难度感知数据选择 (Difficulty-Aware Data Selection)
这是本文在RL数据准备阶段采用的核心策略。具体做法是：先用训练好的SFT模型（ODA-Fin-SFT-8B）对ODA-Fin-SFT-318k中的每个样本生成4个回答，计算每个样本的失败率（failure rate）。只有失败率超过50%的样本才会被保留用于RL训练，因为这些样本对模型来说是'困难'的，能够在RL阶段提供有意义的学习信号。此外，还要求样本的最终答案token长度小于16，以确保可以使用轻量级验证器（CompassVerifier-7B）进行可靠的在线验证。最终从318K SFT数据中筛选出12K个RL训练样本。
难度感知选择是本文的核心创新之一。它解释了为什么RL阶段能有效提升模型性能——通过聚焦于模型当前能力边界上的困难样本，RL训练能够推动模型突破SFT的模仿学习瓶颈，实现真正的推理能力提升，而不仅仅是在已会的题目上进一步强化。
Length-Adaptive Verification
长度自适应验证是本文设计的一种分层验证策略，用于过滤蒸馏生成的CoT数据中的错误。其核心思想是：根据期望答案的长度和类型，采用不同的验证方法。对于简短答案（如分类标签、具体数字），使用CompassVerifier-7B作为奖励模型严格判断最终预测的正确性；对于需要长篇分析的复杂查询，则使用更大的Qwen3-235B-A22B-Instruct作为评判者，评估生成回答的逻辑连贯性和事实准确性。这种分层设计既保证了验证的准确性，又控制了计算成本。
验证策略的质量直接决定了最终训练数据的质量。本文通过这种自适应的分层验证，在保证数据质量的同时实现了大规模数据处理的可行性。论文的实验表明，经过严格验证的318K CoT数据比原始的697K未验证数据能产生更好的训练效果。
奖励塑形 (Reward Shaping)
本文在RL训练中设计了一个复合奖励函数，由格式奖励$R_{fmt}$和正确性奖励$M_{outcome}$两部分组成。格式奖励确保模型在$\langle think \rangle$标签内进行推理，计算公式为$R_{fmt} = 0.25 \cdot I_{start} + 0.25 \cdot I_{end} + 0.5 \cdot I_{pair}$，其中$I_{start}$和$I_{end}$分别表示开始和结束标签的存在，$I_{pair}$表示恰好存在一对正确配对的标签。正确性奖励采用层级提取策略：优先从$\boxed{}$中提取答案，然后回退到正则表达式模式（如'The answer is...'），最后使用原始响应文本。最终奖励为$R = R_{fmt} \times M_{outcome}$，其中正确答案的$M_{outcome}=1.0$，错误或无效答案为0.5。
奖励设计是RL训练成功的关键因素。本文的乘法式奖励设计确保模型只有在同时满足格式约束和语义正确性时才能获得最大奖励，而错误答案仍能获得部分奖励（0.5），这防止了训练早期的稀疏奖励问题。论文的消融实验证明，这种精心设计的奖励机制对于提升模型在各类金融任务上的表现至关重要。
可验证性-多样性权衡 (Verifiability-Diversity Trade-off)
这是本文在RL数据选择中发现的核心权衡关系。在金融RL中，为了确保在线验证的可靠性，需要限制样本答案的长度——较短的答案更容易被验证器准确判断。但过度限制答案长度会减少任务多样性和复杂性。本文通过实验发现：限制答案为单个token（6.2K样本，19个来源）虽然验证精度高但任务多样性有限，平均性能74.3%；允许128个token（24.9K样本，24个来源）增加了多样性但验证噪声增大，性能降至73.1%；16个token的约束（12.2K样本，22个来源）达到了最优平衡，平均答案长度为4.8个token，既保证了可靠验证又覆盖了数值推理和短语提取任务，最终达到74.6%的最佳性能。
理解这一权衡关系对于设计有效的金融RL系统至关重要。它揭示了为什么简单的'更多数据更好'的直觉在RL阶段是错误的——关键不在于数据量，而在于找到验证精度和任务多样性之间的最优平衡点。这一发现对其他垂直领域的RL训练也有重要启示。
研究动机
大语言模型（LLM）在金融领域的部署面临独特挑战。金融应用通常涉及高风险决策，错误可能导致重大经济损失，因此需要精确推理和可靠输出。金融任务的独特特征包括：高密度的领域特定术语、严格的数值推理要求以及对事实幻觉的零容忍。这些特征暴露了当前LLM训练范式的根本局限性，特别是在数据质量、推理监督和领域特定对齐方面。尽管'以数据为中心的AI'理念已被广泛认可，但该领域缺乏对金融背景下什么构成'高质量'数据的系统性理解。现有的金融模型如FinMA-7B-full、Xuanyuan-6B-Chat和Plutus-8B-Instruct在复杂推理任务上表现挣扎，而近期的推理增强模型如Fin-R1-7B和DianJin-R1-7B虽然有所改进，但平均性能仍停留在61.4%-70.3%的水平，与通用大模型相比优势不明显。
本文的目标是本文的具体目标是从数据工程的角度出发，通过严格的受控实验研究，证明在金融这样的垂直领域中，后训练数据的质量和难度/可验证性特征是决定模型性能的关键因素，而非模型架构或参数规模。作者希望系统地研究两个核心问题：第一，在SFT阶段，高质量的CoT蒸馏数据是否能建立比原始数据更强的指令遵循和领域知识基础；第二，在RL阶段，选择困难但可验证的样本是否能有效推动模型突破SFT的平台期，实现系统性的能力提升。最终目标是发布高质量的开源数据集（ODA-Fin-SFT-318k和ODA-Fin-RL-12k）和训练好的模型，推动以数据为中心的金融AI研究。
与已有工作不同的是，本文的独特切入角度在于：它不是引入新的训练目标或架构创新，而是采用严格的受控实验设计，将数据质量作为唯一变量来研究其对模型性能的影响。具体来说，作者提出了一个两阶段数据层级假设：（1）在SFT阶段，数据纯净度和高质量推理轨迹建立强指令遵循和领域知识基础；（2）在RL阶段，选择困难但可验证的样本（即挑战性大但能被验证器可靠评分的任务）对于推动模型超越SFT平台期至关重要。这种'数据优先'的研究范式在金融垂直领域是独特的，它挑战了传统的'模型中心'范式（强调架构修改或参数扩展），为理解数据质量在垂直领域适配中的决定性作用提供了实证证据。作者特别强调，所有数据集都完全来自现有开源资源，不依赖专有数据，系统性地蒸馏开源仓库的数据优于在更大的专有语料库上训练的模型。
核心方法
本文的方法论可以概括为一个两阶段的数据驱动训练流程。直觉上，作者认为在金融这样的垂直领域，模型性能主要由后训练数据的质量和难度/可验证性特征决定，而非模型架构的创新。技术路线分为两个主要阶段：首先，在SFT阶段，作者构建了一个高质量的链式思维（CoT）监督数据集ODA-Fin-SFT-318k，通过多阶段蒸馏和验证流程将原始金融问答对转化为包含详细推理步骤的高质量训练数据；然后，在RL阶段，作者构建了ODA-Fin-RL-12k，这是一个针对困难但可验证任务精心策划的子集，通过让SFT模型在每个样本上生成多个回答并计算失败率来筛选出真正具有挑战性的样本。整个流程使用标准的SFT和GRPO训练管线，使得性能提升可以主要归因于数据质量的改进，从而能够解耦高质量CoT蒸馏和难度/可验证性导向的RL数据选择的贡献。
本文的核心创新点与已有方法的本质区别在于其'数据优先'的研究范式。传统的金融LLM训练通常关注模型架构改进（如引入特定的注意力机制或记忆模块）或训练算法创新（如新的RL目标函数），而本文将焦点完全放在数据工程上。具体创新包括三个方面：第一，提出多阶段蒸馏和验证协议，将原始金融Q&A对转化为高质量CoT数据，包含语义去重、通过大规模推理模型进行CoT合成、以及长度自适应验证以确保事实正确性；第二，首次系统研究了金融RL中的验证器设计和奖励精度-多样性权衡，发现16个token的答案长度约束是最佳平衡点；第三，提出难度感知数据选择策略，通过评估SFT模型在每个样本上的失败率（>50%保留）来聚焦于真正具有挑战性的样本。与DianJin-R1-7B和Fin-R1-7B等现有方法相比，本文的关键区别在于：不追求算法创新，而是证明了在标准训练框架下，精心设计的数据工程能够产生显著的性能提升。
方法步骤详情
本文的方法包含以下完整步骤：（1）数据源收集：从HuggingFace和Github收集超过25个开源仓库的697,034个样本作为原始数据池（Raw Pool），覆盖情感分析、金融推理、预测和量化交易等任务。（2）语义去重：使用Qwen3-Embedding-8B将所有样本编码为稠密向量表示，移除余弦相似度超过严格阈值的样本，确保训练集的多样性。（3）推理合成：对于缺乏推理链的样本，提示Qwen3-235B-A22B-Thinking生成逐步CoT；对于已有高质量CoT的数据集（如Agentar-DeepFinance-100K和DianJin-R1-Data）直接保留。（4）长度自适应验证：对于简短答案使用CompassVerifier-7B进行严格验证，对于长篇分析使用Qwen3-235B-A22B-Instruct作为评判者。（5）Token长度过滤：移除超过16,384个token的样本。（6）SFT训练：在16×NVIDIA A100 GPU上进行3个epoch的全参数微调，学习率$1.0 \times 10^{-5}$，余弦调度，热身比例0.1。（7）RL数据选择：用ODA-Fin-SFT-8B对每个样本生成4个回答，保留失败率>50%且答案token长度<16的样本，得到12K RL训练数据。（8）RL训练：使用GRPO在8×NVIDIA A100 GPU上训练，4个rollouts，KL散度系数0.001，学习率$1 \times 10^{-6}$。
技术新颖性
本文的技术新颖性体现在多个层面。首先，在研究范式上，它代表了从'模型中心'到'数据中心'的范式转变，通过严格的受控实验设计证明了在垂直领域中数据质量的决定性作用——这是首次在金融LLM领域进行如此系统的实证研究。其次，在数据工程方面，本文提出的多阶段蒸馏和验证协议是创新的：不同于简单的数据清洗或过滤，它结合了语义去重（使用Qwen3-Embedding-8B）、CoT合成（使用Qwen3-235B-A22B-Thinking）、长度自适应验证（分层使用不同规模的验证器）和token长度过滤，形成了一个完整的数据质量保证体系。第三，在RL数据选择方面，本文首次提出了'困难但可验证'的样本选择标准，并通过系统实验发现了16个token答案长度约束的最优平衡点——这解决了一个之前未被充分研究的实际问题：如何在RL训练中平衡奖励信号的准确性和任务多样性。第四，在奖励设计方面，本文的乘法式奖励函数$R = R_{fmt} \times M_{outcome}$设计巧妙，既确保了格式约束，又通过给错误答案保留部分奖励（0.5）解决了训练早期的稀疏奖励问题。这些创新的组合使得ODA-Fin-RL-8B在仅使用开源数据的情况下，达到了与4倍参数规模的Qwen3-32B相当的性能（74.6% vs 74.7%）。
实验结果
本文的核心发现可以归纳为以下几个方面。首先，在综合性能方面，ODA-Fin-RL-8B在9个基准测试上取得了74.6%的平均分，这是所有8B规模开源金融LLM中的最高成绩，与4倍参数规模的Qwen3-32B（74.7%）几乎持平，同时显著超越了所有专业金融LLM。具体来说，相比基础模型Qwen3-8B，ODA-Fin-RL-8B平均提升了3.1个百分点；相比最强的竞争对手DianJin-R1-7B（70.3%），领先4.3个百分点。其次，在数值推理方面，ODA-Fin-RL-8B展现了卓越的能力：在TaTQA上达到89.3%，比Qwen3-8B高2.2个百分点，比DianJin-R1-7B高7.3个百分点，甚至比Qwen3-32B高4.2个百分点；在FinQA上达到73.3%，比SFT模型提升3.5个百分点；在ConvFinQA上达到80.4%。第三，在通用金融理解方面，ODA-Fin-RL-8B在Finova上取得54.6%的最佳成绩（所有8B模型中），比Qwen3-8B提升9.7个百分点，比DianJin-R1-7B提升11.9个百分点。第四，消融实验揭示了关键的数据质量规律：原始数据训练（697K样本）对Qwen3-8B造成灾难性性能下降（平均从71.5%降至66.1%），表明随着基础模型能力增强，它们对噪声数据更加敏感；完整的318K蒸馏CoT数据始终优于部分CoT或数据增强策略。第五，RL阶段的消融研究发现：从SFT模型开始RL训练优于从基础模型开始（74.6% vs 68.4%）；基于模型的验证器优于基于规则的验证器；16个token的答案长度约束是最优选择（74.6%），优于1个token（74.3%）和128个token（73.1%）。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| FinEval（通用金融知识） | 准确率 | 77.0% | DianJin-R1-7B 77.9% | 略低于最强基线0.9个百分点，但在所有指标中保持稳健 |
| Finova（智能体级金融推理） | 准确率 | 54.6% | Qwen3-8B 44.9% | +9.7个百分点（相比基础模型），所有8B模型中最佳 |
| FinanceIQ（专业金融认证考试） | 准确率 | 74.2% | DianJin-R1-7B 76.9% | 略低于DianJin-R1-7B 2.7个百分点，但高于Qwen3-8B的72.5% |
| FOMC（美联储政策情感分类） | 加权F1 | 61.0% | DianJin-R1-7B 60.8% | +0.2个百分点，与最强基线相当 |
| FPB（金融短语库情感分析） | 加权F1 | 83.4% | Qwen3-32B 77.3% | +6.1个百分点，显著超越更大规模模型 |
| Headlines（金融新闻标题情感） | 加权F1 | 78.5% | Qwen3-32B 76.8% | +1.7个百分点，超越更大规模模型 |
| FinQA（财务报告数值推理） | 准确率 | 73.3% | DianJin-R1-7B 67.2% | +6.1个百分点，相比SFT模型提升3.5个百分点 |
| TaTQA（表格文本混合推理） | 准确率 | 89.3% | Qwen3-32B 85.1% | +4.2个百分点，所有模型中最高 |
| ConvFinQA（多轮对话数值推理） | 准确率 | 80.4% | DianJin-R1-7B 74.6% | +5.8个百分点，与Fin-RL-3持平 |
局限与改进
本文存在以下几个方面的局限性。首先，在模型规模方面，作者仅在7B-8B规模的模型上进行了实验，未验证所提出的数据工程方法在更大规模模型（如32B、70B）上的有效性，也未探讨数据质量与模型规模之间的交互效应。其次，在任务覆盖方面，尽管评估了9个基准测试，但主要集中在金融理解和数值推理领域，对于更复杂的金融任务（如量化交易策略生成、风险评估报告撰写、合规文档审查）的覆盖有限，而这些任务在实际金融应用中同样重要。第三，在数据来源方面，所有数据都来自开源资源，虽然这证明了系统性蒸馏开源数据的价值，但未与使用专有金融数据训练的模型进行直接比较，无法评估数据来源对最终性能的具体影响。第四，在RL阶段，作者将答案token长度限制在16个以内，这虽然保证了验证的可靠性，但也排除了需要长篇分析的复杂金融推理任务，可能限制了模型在开放式金融分析任务上的能力。第五，在验证策略方面，CompassVerifier-7B作为轻量级验证器，其在复杂金融语义理解上的准确性可能有限，特别是在涉及专业会计准则、隐含语境（如财报电话会议中的暗示）等场景下。第六，论文未提供详细的训练成本分析（GPU小时数、计算费用），这对于评估方法的实际可复现性和成本效益至关重要。最后，虽然作者声称数据工程是关键，但未充分探讨算法创新（如更先进的RL算法或课程学习策略）与数据质量之间的协同效应。
独立分析的弱点
本文存在几个值得深入分析的弱点。首先，在SFT数据构建方面，作者使用Qwen3-235B-A22B-Thinking进行CoT合成，但未探讨不同大模型作为'教师'对最终数据质量的影响——如果使用GPT-4、Claude等其他模型生成CoT，结果可能会有显著差异，这表明方法的鲁棒性尚未充分验证。其次，在RL数据选择中，50%的失败率阈值是通过经验设定的，缺乏理论支撑或系统的超参数搜索；同样，16个token的答案长度约束虽然通过消融实验验证，但这个约束本质上排除了需要详细推理过程的复杂金融任务，可能限制了模型的泛化能力。第三，论文的消融实验主要在Qwen2.5-7B和Qwen3-8B上进行，但这两个模型的能力差异较大（Qwen3-8B明显更强），导致某些结论（如'原始数据对更强模型伤害更大'）可能不够稳健。第四，在评估方面，作者使用了多个基准测试，但这些测试的难度和代表性参差不齐——例如FinMA-7B-full在FPB上达到91.1%但在其他任务上大幅下降，表明某些基准可能过于简单或存在数据泄露问题。第五，论文未提供训练过程中的详细监控数据（如loss曲线、奖励分布变化、KL散度动态），这使得读者难以理解训练过程中的具体学习动态。改进方向包括：（1）进行跨模型的教师模型消融实验；（2）引入自适应的失败率阈值而非固定50%；（3）探索更灵活的答案长度约束策略；（4）增加更多高难度的金融推理基准测试；（5）提供更详细的训练动态分析。
未来方向
基于本文的研究成果，未来可以在以下几个方向深入探索。首先，在模型规模扩展方面，可以研究所提出的数据工程方法在更大规模模型（如32B、70B甚至更大）上的效果，探索数据质量与模型规模之间的交互效应——是否更大规模的模型对高质量数据的需求更为迫切，或者它们能够从更多样化（但质量稍低）的数据中学习。其次，在任务扩展方面，可以将方法应用于更复杂的金融任务，如量化交易策略生成、风险评估报告撰写、合规文档审查、多模态金融分析（结合图表和文本）等，这些任务在实际应用中价值更高但难度也更大。第三，在RL策略改进方面，可以探索更先进的RL算法（如DPO、KTO等离线方法）与数据质量的协同效应，或者引入课程学习策略，在训练过程中动态调整样本难度。第四，在验证器改进方面，可以开发专门针对金融领域的更强验证器，或者采用多验证器集成策略来提高验证的可靠性。第五，在数据工程方面，可以探索主动学习策略来更高效地选择训练样本，或者引入人类反馈来进一步提升数据质量。最后，可以研究数据质量在持续学习场景中的作用——当新的金融数据不断产生时，如何维持和更新模型的金融知识。
复现评估
本文在可复现性方面做出了显著努力。作者公开发布了所有关键资源：（1）数据集ODA-Fin-SFT-318k和ODA-Fin-RL-12k均可在HuggingFace上获取（OpenDataArena/oda-finance集合）；（2）训练好的模型ODA-Fin-SFT-8B和ODA-Fin-RL-8B同样公开可用；（3）训练配置详细说明，包括GPU数量（SFT: 16×A100, RL: 8×A100）、批量大小、学习率等超参数；（4）评估框架部分开源（Finova使用官方框架，其他使用vLLM推理框架）。然而，复现仍面临一些挑战：首先，完整的训练流程需要大量计算资源（16张A100 GPU用于SFT，8张用于RL），这对大多数研究团队来说是显著的门槛；其次，数据构建流程涉及多个阶段（语义去重、CoT合成、验证），每个阶段都需要调用大型模型（Qwen3-235B-A22B-Thinking），计算成本未明确披露；第三，论文未提供完整的训练代码或详细的数据处理脚本，某些实现细节（如语义去重的具体阈值、验证的prompt模板）可能需要读者自行推断。总体而言，对于拥有足够计算资源的研究团队，本文的复现难度为中等——核心方法清晰、数据和模型公开，但完整流程的复现需要显著的工程投入和计算成本。
论文图表