← 返回 2026-10-29

LongZero：从零数据增强大语言模型的长上下文推理 LongZero: Enhancing Long-Context Reasoning in LLMs from Zero Data

Zhennan Wan, Jianfei Chen 📅 2026-10-21 👍 8 2026-11-11 18:30
GRPO 强化学习 自合成数据 长上下文推理 零数据自提升
arXiv HuggingFace PDF

让模型自己出题、自建长文档、自筛难度，再用GRPO从零外部数据提升长上下文推理

前置知识

RLVR（可验证奖励的强化学习）

一种后训练范式：不训练奖励模型，而是用程序化规则（如答案精确匹配、代码执行通过测试）直接给模型输出打0/1奖励，再用策略梯度优化。因为奖励信号客观可靠，它能稳定地放大模型的推理能力，是DeepSeek-R1等推理模型的核心配方。

LongZero属于RLVR路线，其两类自合成数据的答案都'由构造保证正确'，正是为了让奖励可以用简单的规则匹配计算，理解RLVR才能理解为何数据可验证性是全文的设计中心。

GRPO（组相对策略优化）

DeepSeekMath提出的RL算法：去掉PPO的价值网络，对每个prompt采样一组$G$个输出，用组内平均奖励作为baseline，以 $\hat{A}_{i,t} = (r_i - \text{mean}(r))/\text{std}(r)$ 作为该组所有token的优势。本文还采用DAPO的token级损失平均和k3估计器计算KL惩罚。

LongZero的训练算法就是GRPO；更重要的是，GRPO组内归一化的性质（全对或全错的问题梯度为零）直接催生了本文的'不稳定带'难度过滤机制，两者互为因果。

多跳问答（Multi-hop QA）

回答一个问题需要串联多条分散的事实：先根据问题定位线索A，A指向实体B，再由B找到答案C，每一'跳'都是一次证据检索与实体解析。HotpotQA、2WikiMultihopQA、MuSiQue是经典基准，在长上下文场景中各跳证据被埋进不同长文档，难度大增。

LongZero的推理数据就是自写的多跳问答：问题链每条3-5跳，中间实体用描述性短语指代（如'该杂志母社的创始人'），迫使模型逐跳解析，这是其训练任务的核心形态。

MRCR（多轮共指针中针）

OpenAI提出的长上下文评测：在一段长多轮对话中，用户反复请求'写一首关于X的诗'这类同类任务，最后要求模型给第k个同类响应加上随机前缀复现出来。难点在于模型自己的响应彼此高度相似，必须精确追踪每条响应的位置和内容。

LongZero的检索数据完全模仿MRCR任务格式，但对话内容全部由被训模型自己写，答案由程序决定第k条needle因而'correct by construction'，这是理解其第二类数据的钥匙。

不稳定带（unstable band）难度过滤

利用GRPO'问题被全部答对或全部答错时梯度为零'的性质做数据筛选：让模型带完整上下文多次作答同一问题，只保留'有时答对、有时答错'的问题——它们恰好落在模型能力边缘，能提供非零学习信号，同时清除了大量有缺陷的数据。

这是LongZero让数据难度自适应模型能力的关键机制，也是'自产自筛'范式的精髓：同一段过滤代码对4B和8B模型自动产出不同难度的训练集。

研究动机

RLVR已在数学、代码等短上下文推理上取得巨大成功，把它推广到长上下文推理（多份报告、长对话、整本书）时，训练数据成为决定性因素：有用RL数据必须同时满足(i)长度可观、(ii)需要证据检索与整合、(iii)难度足以产生学习信号、(iv)答案可自动验证。这样的数据极难获得——人工标注长文档问答成本高昂，自然存在的长上下文问答数据远不够RL消耗。现有流水线只能依赖外部资源：LoongRL把HotpotQA问题藏在UUID链和干扰文档中，QwenLong-L1.5和SPELL让模型在真实文档上出题并自我验证，LongTraceRL从知识图谱游走和搜索智能体轨迹生成问题，另有方法依赖更强的teacher模型（如397B参数模型）生成并审核训练数据。这些路线有结构性缺陷：真实世界事实带来混淆——模型可能凭参数知识作答而不读给定上下文（知识冲突效应），公开文本还可能与评测集重叠造成污染；且随着被训模型越来越强，合适的teacher也越来越难找，形成递归困境。

本文的目标是本文的目标是回答一个清晰的研究问题：大语言模型能否在完全不使用任何外部数据的条件下——不用人工标注、不用外部语料、不用teacher模型——提升自己的长上下文推理能力？具体而言，LongZero要让被训练的模型$\pi_\theta$自己合成一整套长上下文RL训练集$D = D_{\text{rea}} \cup D_{\text{ret}}$，其中任务满足RLVR的四个数据要求：长度可观（推理数据token中位数19.4K、检索数据11.4K）、需要跨文档定位与整合证据、难度自适应于模型当前能力（不稳定带过滤）、答案由构造保证正确且可程序化验证；随后用GRPO在自产数据上训练，并验证在虚构世界上学到的技能能否迁移到五个真实长上下文推理基准（LB1、LBv2、FRAMES、AA-LCR、LongReason）。

与已有工作不同的是，本文的独特切入点是逆转生成顺序。直接让模型写一篇长文档再对它出题，会把任务本要解决的弱点继承进数据——一个尚不能可靠理解长上下文的模型，同样无法可靠地为自己刚写的长文出题或验证答案。作者的关键观察是：可以先让模型写一个简短的结构化规范（问题、支撑事实、答案），再单独把证据扩展成长文本，这样答案在任何长文本存在之前就已固定，唯一的错误风险收敛到扩展环节，而短规范是可以被可靠生成和检查的。第二个切入是难度自适应：利用GRPO组内归一化的性质，只保留模型'有时答对有时答错'的不稳定带问题，因为全对/全错的问题梯度为零，而持续答错的问题经作者检查常是数据缺陷（如两份文档给出矛盾属性）。与Absolute Zero、R-Zero等零数据RL相比，它们只处理短字符串任务；LongZero首次解决'长文本本身也要被合成并与问答保持一致'这一额外难题。

核心方法

直觉上，LongZero让模型'自己出题、自己造语境、自己筛难度、自己解题'，形成完全不依赖外部的自我提升闭环。技术上，它用被训模型$\pi_\theta$合成两类互补的长上下文任务：推理数据$D_{\text{rea}}$是从虚构世界出发的多跳问答——一个世界渲染为$M=8$篇不同文体的长文档（中位数19.4K token），问题需要跨文档找到分散事实、排除相似干扰项并组合出逐字出现的答案；检索数据$D_{\text{ret}}$模仿MRCR——模型在自己写的8-16K token长对话中复现指定的第$k$条响应。两类数据的答案都由构造决定，而不是依赖模型对长文本的判断。数据经不稳定带过滤后按2:1（推理:检索）混合，共3456条训练样本，用GRPO（verl实现，每步64 prompts×$G=8$，恒定学习率$10^{-6}$，$\varepsilon=0.2$，$\beta=0.001$）训练72步（4B模型）/108步（8B模型）。流水线中写规范、规划、扩写、答题过滤均由被训模型完成，只有组装、验证、洗牌由确定性程序完成。

核心创新是'先短规范、后长扩展'的生成顺序与'不稳定带'难度过滤的组合，与已有方法有三点本质区别。第一，答案先于长文本固定：模型先写严格JSON规范$S=(V, F, F^-, Q)$（实体、原子事实、干扰事实、问题链），要求答案必须是某条事实中逐字出现的具体名称而非描述，之后才扩写文档，因此正确性由构造保证，程序再以'忠实性门'检查答案是否逐字出现在扩展文本中，被扩写破坏的问题直接删除。第二，虚构世界设计：所有实体皆为虚构，且强制至少两人同姓、两个组织名易混淆，每链配2-3个共享桥实体但角色/时间/属性不同的干扰事实，模型无法靠参数知识作弊，只能认真读上下文，这正是长上下文能力想要的训练信号。第三，难度过滤把数据难度校准到模型当前水平：模型带完整上下文作答，每波2个样本、最多$W=4$个答案，一旦一正一错即保留，前4个全同则丢弃。对比实验表明这套自产自筛机制甚至优于397B参数teacher模型出题并验证的路线——数据难度与策略能力的匹配比生成器的绝对强度更重要。

方法步骤详情

推理数据六步：(1)程序采样领域（12选1，如生物制药、铁路货运）、8种文体组合和风格卡（1870-1990年间的40年时段、12种命名风格、禁用滥用名）；(2)$\pi_\theta$输出严格JSON世界规范：8-14个实体、$Q=4$条问题链（每条$H_q=3$至$5$跳、链间共享桥实体）、每链$K_q=2$至$3$个干扰事实，中间实体用描述性短语指代，答案须逐字出现；(3)规划：模型把全部事实分配到8篇文档，同一问题的支撑事实分散到不同文档、干扰事实远离其模仿对象，程序修复幻觉或重复的事实ID；(4)扩展：每篇文档独立生成（4B目标2400-2700词、8B目标4000-4500词），每事实恰好陈述一次、禁止陈述他文档事实和任务指令，估计超27.5K token的世界丢弃；(5)程序洗牌8篇文档成上下文$x$，忠实性门检查答案（或等价别名）是否逐字出现，否则删题；(6)难度过滤：模型带完整上下文作答，最多4个答案，一正一错即保留，并按世界哈希划分训练/验证集。检索数据：模型对'写一首关于{名词}的{体裁}'共4340个请求各响应100次得43.4万条响应池，程序选目标请求的$N=8$条响应作'针'插入其他响应之间拼成8193-16384 token对话，答案$s\|a_k$由构造正确。最后GRPO训练：推理奖励为whole-word匹配（容差128字符，'15'不匹配'5'），检索奖励为difflib SequenceMatcher相似度。

技术新颖性

技术新颖性有四层。其一，首次把zero-data RL带入长上下文：Absolute Zero用代码执行验证、R-Zero用共同进化的出题者与解题者、SPIRAL用零和博弈自博弈，但它们的任务都是短字符串；长上下文任务必须同时合成'长输入+问题'并保持两者一致，LongZero用'规范-扩展'分离干净地解决了这个额外难题。其二，它实证了数据-策略能力匹配优先于生成器强度：397B teacher写并验证的问题打不过4B模型自写自筛的问题，因为teacher不知道策略会觉得哪些题难，而自我合成天然对齐。其三，不稳定带过滤是优雅的自适应机制——同一段过滤代码对不同模型自动产出不同难度（4B保留17.7%、8B保留13.1%的不稳定问题），并顺带清除大量缺陷数据（作者检查发现持续答错的题常因文档属性矛盾）。其四，虚构世界+描述性指代+同桥实体干扰事实的设计系统性封堵参数知识捷径，并把难度显式分解为$\text{Difficulty}(x,q) \propto |x| \cdot H_q \cdot K_q$（上下文长度×跳数×干扰数）作为可操控旋钮，比在真实文档上堆噪声更可控。

Overview of LONGZERO data generation, with real data synthesized by Qwen3-4B-Thinking-2507.
Figure 2: Overview of LONGZERO data generation, with real data synthesized by Qwen3-4B-Thinking-2507.

实验结果

总体性能（Table 2，两次运行取均值，所有方法共享RL配置）：在Qwen3-4B-Thinking-2507上，LongZero平均分57.42，比base的54.68高2.74分，超过Enhanced HotpotQA基线（56.57）和teacher合成QA基线（55.99），且五基准中四个最优：LB1 67.22（base 65.43）、LBv2 43.34（40.56）、FRAMES 55.76（51.27）、LongReason 81.30（79.66），AA-LCR 39.50（36.50）仅次于Enhanced HotpotQA的41.50。在Qwen3-8B上，LongZero平均45.66对base 44.63，同样超过两基线（45.03/44.83），在LB1（65.49）、FRAMES（49.39）、LongReason（78.40）最优，AA-LCR 3.00并列最佳，仅LBv2（32.01）未超base（32.11）。值得注意的是397B teacher合成数据的基线没有超过自合成，说明更强的生成器不保证更好的训练数据。消融（Table 3）：仅推理数据55.38、仅检索数据53.85、1:1混合55.95、2:1混合57.42，两类数据互补——推理数据教跨文档串联事实（LB1/FRAMES上贡献主要提升），检索数据教在相似项中定位并精确复现，且推理数据应占主导（2:1在五基准中四项最优）。长度泛化：训练上下文中位数仅19.4K/11.4K token，却提升了需要数倍长度输入的LBv2（中截断至120K）和AA-LCR（72-115K输入），说明'定位分散证据+拒绝相似干扰'的技能可迁移到更长输入。数据效率：4B保留17.7%不稳定问题、8B保留13.1%，8B需过滤约19.5K问题（4B约14.4K）才能凑齐数据，符合'越强的模型出题越准、浪费越少'的自我合成循环预期。训练动态（Figure 3）：两类验证分数持续上升、无早期饱和。

Data synthesized by each model for itself. Upper: synthesis needed for the 2,560 unstable reasoning questions used, estimated from each model's rates. Lower: training (validation) data; token counts use each model's tokenizer.
Table 1: Data synthesized by each model for itself. Upper: synthesis needed for the 2,560 unstable reasoning questions used, estimated from each model's rates. Lower: training (validation) data; token counts use each model's tokenizer.
Results on five long-context reasoning benchmarks (mean of two runs; LongReason: 32K split; Avg: unweighted mean). Best results for each base model are in bold and second-best results are underlined.
Table 2: Results on five long-context reasoning benchmarks (mean of two runs; LongReason: 32K split; Avg: unweighted mean). Best results for each base model are in bold and second-best results are underlined.
Ablation on the training data of Qwen3-4B-Thinking-2507: reasoning data only, retrieval data only, and mixtures of the two in a 1:1 and a 2:1 ratio.
Table 3: Ablation on the training data of Qwen3-4B-Thinking-2507: reasoning data only, retrieval data only, and mixtures of the two in a 1:1 and a 2:1 ratio.
Generation settings for reasoning data, all with top-p 0.95.
Table 4: Generation settings for reasoning data, all with top-p 0.95.
RL hyperparameters shared by all methods.
Table 5: RL hyperparameters shared by all methods.
LB1 F1 of Qwen3-4B-Thinking-2507 on each of its three datasets. Avg is the LB1 score in Table 2.
Table 6: LB1 F1 of Qwen3-4B-Thinking-2507 on each of its three datasets. Avg is the LB1 score in Table 2.
LB1 F1 of Qwen3-8B on each of its three datasets, which contain 200 questions each.
Table 7: LB1 F1 of Qwen3-8B on each of its three datasets, which contain 200 questions each.
LBv2 accuracy of Qwen3-4B-Thinking-2507 by difficulty and by input length, using the labels provided with LBv2.
Table 8: LBv2 accuracy of Qwen3-4B-Thinking-2507 by difficulty and by input length, using the labels provided with LBv2.
LBv2 accuracy of Qwen3-8B by difficulty and by input length, using the labels provided with LBv2.
Table 9: LBv2 accuracy of Qwen3-8B by difficulty and by input length, using the labels provided with LBv2.
LB1 F1 of the ablation variants of Qwen3-4B-Thinking-2507 on each dataset. Avg is the LB1 score in Table 3.
Table 10: LB1 F1 of the ablation variants of Qwen3-4B-Thinking-2507 on each dataset. Avg is the LB1 score in Table 3.
LBv2 accuracy of the ablation variants of Qwen3-4B-Thinking-2507 by difficulty and by input length.
Table 11: LBv2 accuracy of the ablation variants of Qwen3-4B-Thinking-2507 by difficulty and by input length.
Training dynamics of LONGZERO up to the reported checkpoints. Validation scores are measured every 6 steps on held-out reasoning and retrieval data (overall: weighted by set size). The training reward mixes both data types.
Figure 3: Training dynamics of LONGZERO up to the reported checkpoints. Validation scores are measured every 6 steps on held-out reasoning and retrieval data (overall: weighted by set size). The training reward mixes both data types.
查看结构化数据
任务指标本文基线提升
LongBench多文档QA（LB1，HotpotQA/2Wiki/MuSiQue合并600题） F1（Qwen3-4B-Thinking-2507） 67.22 base 65.43；Enhanced HotpotQA 65.94；Teacher QA 66.12 +1.79（对base），+1.28（对最佳基线）
LongBench v2（503道四选一现实长文任务） 准确率（Qwen3-4B-Thinking-2507） 43.34 base 40.56；Enhanced HotpotQA 43.04；Teacher QA 41.85 +2.78（对base），+0.30（对最佳基线）
FRAMES（824题，附oracle维基百科文章的检索增强问答） 答案包含率（Qwen3-4B-Thinking-2507） 55.76 base 51.27；Enhanced HotpotQA 51.46；Teacher QA 52.97 +4.49（对base），+2.79（对最佳基线）
AA-LCR（100题，72K-115K token文档集） GPT-5.6-Luna评判（Qwen3-4B-Thinking-2507） 39.50 base 36.50；Enhanced HotpotQA 41.50；Teacher QA 38.50 +3.00（对base），-2.00（对最佳基线Enhanced HotpotQA）
LongReason 32K分片（794道选择题） 准确率（Qwen3-4B-Thinking-2507） 81.30 base 79.66；Enhanced HotpotQA 80.92；Teacher QA 80.48 +1.64（对base），+0.38（对最佳基线）
五基准平均（Qwen3-8B Thinking） 五项未加权平均分 45.66 base 44.63；Enhanced HotpotQA 45.03；Teacher QA 44.83 +1.03（对base），+0.63（对最佳基线）
五基准平均（Qwen3-4B-Thinking-2507） 五项未加权平均分 57.42 base 54.68；Enhanced HotpotQA 56.57；Teacher QA 55.99 +2.74（对base），+0.85（对最佳基线）

局限与改进

作者承认的局限：其一，AA-LCR上Qwen3-8B基本失败——所有方法得分接近零（约1-3分），因为72-115K的输入占满YaRN扩展出的131K窗口，LongZero的200个响应中有120个没输出答案；其二，Qwen3-8B在LBv2上未提升（32.01对32.11）；其三，真实基准上的增益小于合成验证集上的增益（分布偏移）；其四，结论一节承认需要更好的数据正确性保证。我自己的观察：附录C.3的案例暴露了不稳定带过滤的盲区——当干扰事实把同一角色安到另一个易混淆人名上时，文档支持两个答案，模型各答对一次，这样的矛盾题反而进入训练集，而奖励系统强化的是参考答案，可能教模型忽略上下文中真实存在的冲突证据；任务类型上，两类数据都是'定位+逐字复现'式任务，缺少摘要、计数、数值聚合、深层因果推理等类型；训练世界最多27.5K token、8篇文档，距离真正的长上下文前沿（百万token级）很远；所有世界只用英语；每基准只跑两次取均值，8B上某些差异（如LBv2的-0.10）可能在噪声范围内；AA-LCR依赖GPT-5.6-Luna评判引入judge方差；方法还与基座的JSON生成能力耦合，弱模型可能连规范都写不好，存在冷启动问题。

独立分析的弱点

独立分析的弱点及改进方向：第一，一致性检查缺位——难度过滤无法发现'文档支持两个答案'的矛盾题（C.3案例），改进是在扩展前对规范做程序化一致性校验（作者也如此建议），或扩展后用NLI模型抽查文档间冲突。第二，任务多样性不足——多跳实体QA和needle复现主要训练检索与串联能力，真实长上下文还包括总结、跨章节因果推理、数值聚合等，改进是引入作者提议的计数/比较/算术题型，并用rubric奖励扩展到开放式任务。第三，规模天花板——27.5K token的世界上限源于单次扩写8篇文档的成本与质量约束，改进可采用分层生成（先章纲后章节）加增量一致性维护来合成更长语境。第四，不稳定带过滤的计算浪费——4B/8B分别有69.3%/68.3%的问题永远答对、13.0%/18.6%永远答错，合计约八成被丢弃，且永远答错里既有缺陷题也有真难题，改进是先做轻量一致性预检，再对持续答错的题做修订重生而非直接丢弃。第五，验证面窄——只在两个Qwen模型上验证，未覆盖不同架构或更大规模（32B+），也未验证iterative版本的收益。第六，评测统计强度弱——每配置只跑两次，部分提升小于1分，应报告方差。

未来方向

作者明确提出的方向：一是迭代式LongZero，让训练后的模型重新生成并重新过滤自己的数据，形成多轮自我提升循环；二是每个世界写更多文档以合成更长的训练上下文；三是增加需要计数、比较或在规范上做算术的问题类型；四是探索更好的数据正确性保证（如扩展前的一致性检查）。基于其成果可延伸的方向：把'规范-扩展'框架与真实文档结合——在真实长文档上回填自写问题，缩短虚构到真实的分布差距并利用海量无标注语料；引入可验证上下文奖励（如LongRLVR的思路）进一步惩罚脱离证据的回答；把难度过滤升级为自一致性多数投票或pass-rate估计以减少采样浪费；扩展到多轮工具调用/搜索智能体场景，让模型自合成需要检索轨迹的长任务；生成跨语言世界以验证迁移的普适性；以及把出题与解题显式分离做对抗式自博弈，用出题者奖励主动塑造问题难度分布。由于整条流水线只需单节点8卡、两三百GPU时，这些延伸对学术实验室都可负担。

复现评估

复现条件相当好。代码和数据已在GitHub开源（github.com/zhennan1/LongZero），基座模型Qwen3-4B-Thinking-2507与Qwen3-8B均为公开权重；附录A.1给出全部超参数——Table 4列出生成设置（各阶段温度、最大token如规范生成28,672），Table 5列出RL配置（GRPO/verl、每步64 prompts×$G=8$、恒定学习率$10^{-6}$、$\varepsilon=0.2$、$\beta=0.001$、最大32,768输入/8,192输出token、Ulysses序列并行2路）；附录A.2给出所有prompt模板（世界规范、规划、扩写、难度过滤、检索对话），附录C还给出保留/被过滤/漏网三类具体样本帮助理解失败模式。算力门槛低：RL训练在单节点8×A800-SXM4-80GB上完成，4B约27小时（213 GPU时）、8B约29小时（230 GPU时）；合成阶段用vLLM自服务推理，无需teacher模型API；评测用RTX 5090/4090节点，一个检查点全基准双跑约12小时（约100 GPU时）。唯一外部依赖是AA-LCR需GPT-5.6-Luna API评判（每检查点约200次调用）。总体难度中等：难点在verl长上下文RL的工程细节与数据流水线的程序化校验逻辑，但论文披露充分，复现可行性高。

论文图表

Core idea of LONGZERO. (a) Existing methods build long-context RL data from external corpora. (b) LONGZERO lets the policy write the question, evidence, and answer, expand them into long-context data, and learn with RL from answering its own questions.
Figure 1: Core idea of LONGZERO. (a) Existing methods build long-context RL data from external corpora. (b) LONGZERO lets the policy write the question, evidence, and answer, expand them into long-context data, and learn with RL from answering its own questions.

对比图。(a)现有路线：从外部语料（图中标注2026年语料库'难以理解全文'）出发，或加干扰文档、或让teacher模型直接合成QA，构造长上下文RL数据训练策略$\pi_\theta$；(b)LongZero路线：策略自己先直接写出问题、证据和答案（紧凑结构化形式），再把证据间接扩展成长上下文数据，然后通过回答自己出的问题做RL学习，全程零外部数据。

一图概括论文的动机与核心主张：把'依赖外部语料/teacher模型'与'零数据自我合成'两条路线对立起来，读者30秒内即可抓住论文要解决的问题和给出的答案。

相似论文推荐

长上下文强化学习的数据配方：超越奖励工程 🎯 76.0%
LongR：用密集效用奖励释放长上下文推理能力 🎯 74.3%
Ring-Zero：将零样本强化学习扩展至万亿参数以催生推理能力 🎯 74.3%
LongTraceRL：基于搜索代理轨迹和评分奖励的长上下文推理学习 🎯 73.3%
LongAct：利用内禀激活模式实现长上下文强化学习 🎯 72.8%