通过翻译-推理集成训练实现自改进的多语言长推理 Self-Improving Multilingual Long Reasoning via Translation-Reasoning Integrated Training
TRIT框架通过翻译与推理的相互强化，无需外部数据即可提升多语言长推理能力。
前置知识
多语言推理
多语言推理指的是大型语言模型处理非英语（如法语、日语、泰语等）数学或逻辑问题的能力。现有模型在英语推理上表现优异，但在非英语环境下常出现两大问题：一是模型倾向于用英语进行推理，导致推理语言与提问语言不一致；二是强制模型用提问语言推理时，准确率会显著下降。这种语言间的能力差距源于模型训练数据中英语占主导，以及不同语言的问题理解能力差异。
理解多语言推理的挑战是本文研究动机的核心，TRIT框架正是为了解决这些挑战而设计的。
强化学习与可验证奖励（RLVR）
RLVR是一种训练范式，通过强化学习让模型在可验证奖励的引导下改进。在数学推理任务中，奖励可以基于答案正确性（如最终答案是否匹配标准答案）。模型生成多个推理路径，根据奖励信号调整策略。这种方法无需人工标注的偏好数据，特别适合有明确评估标准的任务。
TRIT框架采用RLVR作为基础训练范式，并设计了复合奖励函数来同时优化准确性和语言一致性。
组相对策略优化（GRPO）
GRPO是DeepSeek提出的一种强化学习算法，用于训练大型语言模型。它通过采样一组响应并计算组内相对优势来更新策略，避免了显式价值网络的需要。具体而言，对于每个问题，GRPO采样G个响应，计算每个响应的奖励，然后通过组内标准化得到优势估计。这种方法降低了方差，提高了训练稳定性。
TRIT使用GRPO作为优化算法，联合训练跨语言推理、翻译和目标语言推理三种任务。
跨语言思维对齐（CTA）
CTA衡量模型在不同语言下对同一问题的推理过程是否一致。例如，对于同一个数学问题，模型用英语推理和用日语推理的思维链（chain-of-thought）是否逻辑一致。高CTA分数表明模型真正理解了问题语义，而非依赖语言特定的模式。CTA通常通过外部评估模型计算思维链的语义相似度来衡量。
TRIT通过翻译训练间接提升CTA，与直接优化CTA的M-Thinker方法形成对比，展示了不同的优化路径。
退化重复（Degenerate Repetition）
退化重复是指模型在生成推理链时出现无意义的重复内容，例如连续重复同一个词或短语数十次。这种问题在目标语言推理中尤为常见，严重影响输出的可读性和实用性。即使答案正确，重复的推理链也会降低用户体验。退化重复可能在迭代训练中加剧，需要显式的惩罚机制来抑制。
TRIT在奖励函数中加入了重复惩罚项，确保迭代训练时输出质量不会下降，这是其优于M-Thinker的关键设计之一。
研究动机
长推理模型（Long Reasoning Models, LRMs）在多语言环境下存在严重缺陷。当输入问题为非英语时，模型倾向于用英语进行推理，导致推理语言与提问语言不一致（Language Consistency低）。更严重的是，即使强制模型用提问语言推理，其准确率也会大幅下降。例如，在MMATH基准测试中，基础模型（如DeepSeek-Distill-Qwen-1.5B）在日语、韩语等语言上的准确率比英语低20-30个百分点。这种性能差距源于两个核心问题：一是模型对非英语问题的理解能力不足，不同语言的问题表述可能导致模型误解题意；二是模型缺乏用目标语言进行复杂推理的能力，即使问题被正确理解，推理过程也容易出错或退化为英语。
本文的目标是本文提出TRIT（Translation-Reasoning Integrated Training）框架，旨在无需外部反馈或多语言数据的前提下，同时提升模型的多语言问题理解和多语言推理能力。具体目标包括：1）在MMATH基准测试上显著提升多语言推理的准确率和语言一致性；2）通过翻译训练改善跨语言问题对齐，使模型对语义等价的问题产生一致的表示；3）确保方法在不同规模的模型（从1.5B到4B参数）上都有效；4）保持迭代训练时的输出质量，避免退化重复问题。
与已有工作不同的是，现有方法主要关注推理链的对齐，而忽视了问题理解的差异。例如，M-Thinker使用外部评估模型来对齐多语言推理链与英语推理链，但当问题本身被误解时，这种对齐无法纠正根本错误。TRIT的独特之处在于将翻译训练集成到推理优化中：模型不仅学习如何用目标语言推理，还学习如何将英语问题准确翻译成目标语言。通过使用推理准确率作为翻译质量的代理信号，TRIT创建了一个闭环系统——翻译为推理提供多语言问题数据，推理准确率为翻译质量提供反馈。这种设计避免了对外部评估模型或额外多语言数据的依赖，实现了真正的自改进。
核心方法
TRIT的总体思路是让翻译和推理相互促进，形成一个自改进的闭环。想象一个学生在学习解决外语数学题：他首先尝试直接理解外语问题并解答（跨语言推理），然后学习将问题翻译成母语再解答（翻译-推理集成）。如果翻译准确，解答应该正确；如果解答错误，可能是翻译出了问题。通过这种方式，学生的翻译能力和推理能力同时提升。TRIT将这个过程形式化为两个阶段：第一阶段训练跨语言推理能力并筛选可靠的问题；第二阶段联合训练翻译和目标语言推理，使用推理准确率评估翻译质量。整个过程通过强化学习优化，无需外部标注。
TRIT的核心创新是使用推理准确率作为翻译质量的延迟监督信号。传统方法要么依赖外部翻译模型（如External-Translation），要么依赖外部评估模型来对齐推理链（如M-Thinker）。TRIT则让模型自己生成翻译，并通过下游推理任务的表现来评估翻译质量。具体而言，对于每个翻译后的问题，模型采样多个推理路径并计算平均准确率。如果准确率大于0，说明翻译保留了关键语义，给予正奖励；否则，翻译可能丢失了重要信息，给予零奖励。这种设计创建了一个闭环：翻译为推理提供多语言数据，推理为翻译提供质量反馈。与M-Thinker相比，TRIT在问题层面进行对齐，而非推理链层面，这即使在基线CTA已经很高的情况下仍能提供有效的优化信号。
方法步骤详情
TRIT的方法分为两个阶段，每个阶段都包含具体步骤。 第一阶段：跨语言推理（Cross-Lingual Reasoning）。输入是一组英语问题Q_en和目标语言L_tgt。对于每个英语问题，模型采样G个响应，使用语言特定的指令提示模型用目标语言回答（见Figure 8）。计算每个响应的最终奖励r_final，该奖励是准确性、语言一致性、重复惩罚和格式奖励的复合函数。只有平均奖励r_avg超过阈值θ的问题才会被保留，进入下一阶段。这个过滤步骤确保只有模型能可靠解决的问题才用于后续训练，避免将推理错误归咎于翻译质量。阈值θ设为1/3，在控制噪声和保留足够训练数据之间取得平衡。 第二阶段：翻译-推理集成与反馈（Translation-Reasoning Integration & Feedback）。对于每个通过过滤的英语问题，模型生成K个翻译候选（使用Figure 11的提示模板）。对于每个有效翻译，模型采样G个推理路径并计算平均准确率Acc。如果Acc > 0，说明翻译保留了关键语义，给予翻译奖励r_trans = 1，并将该翻译-问题对加入目标语言推理训练集；否则r_trans = 0。同时，将所有翻译数据（无论质量如何）加入翻译训练集。这样，翻译训练使用所有数据，而目标语言推理只使用正确翻译的数据。 两个阶段的数据通过GRPO联合优化。训练数据包括三类：跨语言推理数据（来自第一阶段）、翻译数据（来自第二阶段）、目标语言推理数据（来自第二阶段）。GRPO对每类数据分别计算组内优势，并累积损失函数。整个框架形成一个闭环：翻译提供多语言问题，推理评估翻译质量，质量信号又用于改进翻译。
技术新颖性
TRIT的技术新颖性体现在三个方面。首先，它是第一个将翻译训练集成到多语言推理强化学习框架中的方法。现有方法要么只训练推理（如SLC-RL），要么使用外部翻译（如External-Translation），要么单独对齐推理链（如M-Thinker）。TRIT让模型同时学习翻译和推理，实现端到端优化。其次，TRIT使用推理准确率作为翻译质量的代理信号，避免了对外部评估模型的依赖。这种延迟监督机制简单有效，且适用于任何有可验证奖励的任务。第三，TRIT通过问题层面的对齐（而非推理链对齐）来改善跨语言理解。实验表明，即使基线CTA已经很高（如Qwen3-1.7B的0.93），TRIT仍能通过提升问题对齐来改进推理性能，而M-Thinker则面临奖励饱和问题。
实验结果
TRIT在多个基准测试和模型上都取得了显著改进。在MMATH基准测试上，TRIT平均比最强基线（M-Thinker或External-Translation）提升约5-7个百分点。具体而言，在DeepSeek-Distill-Qwen-1.5B上，TRIT将LC&Acc从24.1%提升到33.5%，迭代一次后进一步提升到40.2%。在Qwen3-1.7B上，TRIT达到44.5%，比M-Thinker的37.3%提升7.2个百分点。在Qwen3-4B上，TRIT达到60.2%，比External-Translation的58.8%提升1.4个百分点。语言一致性方面，TRIT在所有设置下都接近100%，表明模型几乎总是用目标语言进行推理。 翻译质量评估显示，TRIT显著改善了数学问题的翻译。在MATH500上，TRIT训练的模型生成的翻译在胜率/负率比上明显优于基线模型，尤其在弱模型上改进更大（DeepSeek-Distill-Qwen-1.5B的胜率:负率=2.2:1）。更重要的是，这些改进泛化到了通用文本：在FLORES-200基准测试上，TRIT使DeepSeek-Distill-Qwen-1.5B的COMET分数提升8.4分，Qwen3-1.7B和Qwen3-4B分别提升2.2和1.5分。 跨语言问题对齐分析显示，TRIT大幅提升了英语和目标语言问题表示之间的相似度。使用MEXA评估，TRIT在DeepSeek-Distill-Qwen-1.5B的最终层将相似度从62.7%提升到78.6%，提升15.9个百分点。这种对齐改进与推理性能改进正相关，表明问题层面的对齐是TRIT成功的关键机制。 消融实验证实了每个组件的重要性。移除跨语言推理数据导致性能从44.5%下降到37.4%，移除目标语言推理数据下降到36.3%，移除翻译数据下降到41.8%。使用英语过滤替代跨语言过滤导致性能下降到42.1%。这些结果表明，三个训练组件和跨语言过滤设计都是必要的。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| MMATH（多语言数学推理） | LC&Acc（语言一致性与准确率） | TRIT: 44.5% (Qwen3-1.7B), 60.2% (Qwen3-4B), 33.5% (DeepSeek-Distill-1.5B) | M-Thinker: 37.3% (Qwen3-1.7B), 55.9% (Qwen3-4B); External-Translation: 42.7% (Qwen3-1.7B), 58.8% (Qwen3-4B) | 比M-Thinker平均提升约5-7个百分点，比External-Translation平均提升约2-3个百分点 |
| FLORES-200（通用翻译质量） | COMET分数 | DeepSeek-Distill-1.5B: 51.7分, Qwen3-1.7B: 85.5分, Qwen3-4B: 88.7分 | 基线模型: 43.4分 (1.5B), 83.2分 (1.7B), 87.2分 (4B) | 提升1.5-8.4 COMET分数，弱模型改进最大 |
| MATH500（数学翻译质量） | 胜率/负率比（Win/Lose Ratio） | DeepSeek-Distill-1.5B: 2.2:1, Qwen3-1.7B: 3.3:1, Qwen3-4B: 1.9:1 | 基线模型胜率较低 | 翻译质量显著提升，尤其在弱模型上 |
| 跨语言问题对齐 | MEXA相似度（最终层） | DeepSeek-Distill-1.5B: 78.6% | External-Translation: 62.7% | 提升15.9个百分点 |
局限与改进
论文承认的局限性包括：1）仅评估了五种目标语言（法语、葡萄牙语、日语、韩语、泰语），未能覆盖更多语言，特别是资源稀缺的语言；2）由于计算限制，仅在最大4B参数的模型上进行了实验，更大模型的效果未知；3）框架依赖英语作为源语言，对非英语源语言（如中文到日语）的效果未探索。 从我的分析来看，还有以下局限：1）阈值θ需要针对不同模型和语言进行调优，论文中固定为1/3可能不是最优；2）翻译质量评估依赖推理准确率，这假设翻译错误会导致推理错误，但某些翻译错误可能不影响推理（如无关细节的误译），导致假阳性；3）训练需要采样多个响应和翻译，计算成本较高，可能限制实际应用；4）框架假设英语问题总是可用的，对于非英语源语言的场景需要额外适配。
独立分析的弱点
TRIT的主要弱点包括： 1. **英语中心化假设**：TRIT以英语为源语言，假设所有问题都可以翻译成英语。这在非英语母语场景中可能不适用，例如中文用户提出的问题可能没有对应的英语版本。改进方向是支持多源语言，例如允许从任意语言翻译到目标语言，或使用多语言平行语料。 2. **阈值敏感性**：过滤阈值θ对性能有显著影响（如Figure 4所示）。θ过低会导致噪声过高，θ过高会减少训练数据。论文固定θ=1/3，但不同模型和语言可能需要不同阈值。改进方向是自适应阈值调整，例如根据模型能力动态调整θ。 3. **翻译质量评估的粗糙性**：使用二值奖励（Acc>0则r_trans=1，否则0）可能过于粗糙，无法区分高质量翻译和勉强可用的翻译。改进方向是使用连续奖励，例如基于准确率数值的奖励。 4. **计算成本**：每个训练步骤需要采样多个响应和翻译（G=6，K=4），导致计算量较大。改进方向是优化采样策略，例如使用重要性采样或减少采样数量。 5. **对重复惩罚的依赖**：虽然重复惩罚有效，但可能抑制一些合理的重复表达。改进方向是更精细的重复检测，例如区分语义重复和形式重复。
未来方向
基于TRIT的成果，未来研究方向包括： 1. **扩展到更多语言**：将框架应用到资源稀缺的语言，如斯瓦希里语、乌尔都语等。这需要解决数据稀缺问题，可能通过跨语言迁移学习或数据增强。 2. **非英语源语言**：支持任意源语言到目标语言的翻译-推理集成，例如中文到日语、法语到德语等。这需要重新设计训练流程，可能引入多语言翻译链。 3. **更大模型规模**：在7B、13B甚至70B参数的模型上验证TRIT的有效性。大模型可能具有更强的跨语言能力，TRIT的改进是否依然显著值得探索。 4. **与其他技术的结合**：将TRIT与思维链提示（Chain-of-Thought Prompting）、自一致性（Self-Consistency）等技术结合，进一步提升推理性能。 5. **非数学领域扩展**：将框架应用到其他推理任务，如逻辑推理、常识推理、代码生成等。这需要设计相应的可验证奖励函数。 6. **改进翻译质量评估**：使用更细粒度的翻译质量指标，如BLEU、COMET或基于嵌入的相似度，替代二值推理准确率。 7. **在线学习与持续改进**：将TRIT部署为在线学习系统，根据用户反馈持续改进翻译和推理能力。
复现评估
TRIT的复现性较好。论文提供了完整的代码和数据（GitHub链接：https://github.com/NJUNLP/TRIT）。训练数据基于公开的DAPO-MATH-17K数据集，并提供了数据构建的详细说明。模型训练使用标准的AdamW优化器和GRPO算法，超参数在附录中详细列出。然而，复现仍有一定门槛：1）需要多GPU训练资源（batch size 512，序列长度8192），对计算资源要求较高；2）需要外部模型（DeepSeek-V3.2-Exp）生成基线翻译和评估翻译质量，这增加了依赖；3）五种目标语言的翻译质量验证需要额外模型（Qwen3-32B）。总体而言，有经验的团队应该能够复现主要结果，但完全复现所有实验需要相当的计算资源。
论文图表
展示了一个日语推理例子，答案数学正确但中间步骤包含大量重复的“ですですです...”，严重影响可读性。
这个案例说明了退化重复问题的严重性，以及TRIT中重复惩罚的必要性。
展示了TRIT中用于生成翻译的提示模板，要求保留数学符号和格式，进行语义忠实的翻译。
这张图展示了翻译任务的具体实现，是方法细节的一部分。