← 返回 2026-05-29

超越数学和代码的可验证奖励:基于语料库的轻量级过程监督用于事实性问答 Verifiable Rewards Beyond Math and Code: Lightweight Corpus-Grounded Process Supervision for Factual Question Answering

Shicheng Fan, Haochang Hao, Dehai Min, Weihao Liu, Philip S. Yu, Lu Cheng 📅 2026-05-28 👍 10 2026-07-13 08:36
事实性验证 共现统计 强化学习 过程监督 问答系统
arXiv HuggingFace PDF

用Wikipedia共现统计替代神经验证器,实现低成本、高性能的事实性问答过程监督

前置知识

过程监督

强化学习中的一种监督方式,对推理过程中的每个中间步骤进行评估。例如在数学推理中,不仅判断最终答案是否正确,还检查每个推导步骤是否合理。这使得模型能够学习到哪些步骤是正确的、哪些是错误的,从而更精确地调整策略。

论文的核心创新就是提供了一种轻量级的句子级过程监督方法,理解过程监督是理解CorVer如何实现细粒度信用分配的基础

共现统计

统计两个或多个词项在语料库中同时出现的频率。例如,在维基百科中统计Albert Einstein和Princeton这两个词在1000-token窗口内共同出现的次数。高共现频率意味着这两个实体经常在相同的上下文中被讨论,暗示它们之间存在某种关联。

CorVer的核心技术就是利用主谓宾对在维基百科中的共现频率作为句子事实正确性的代理指标

GRPO

Group Relative Policy Optimization,一种强化学习算法,不需要显式的价值模型。它通过在一个组内对多个采样完成的奖励进行归一化来计算优势函数,从而更新策略。例如,对同一个问题采样16个回答,计算每个回答相对于组内平均的优势,然后进行策略梯度更新。

CorVer使用GRPO作为强化学习框架,理解GRPO如何工作有助于理解句子级奖励如何被映射到token级优势

Infini-gram

一种可扩展的n-gram语言模型,能够处理万亿级token的语料库。它通过内存映射的方式在磁盘上存储n-gram索引,支持快速的CNF合取范式查询。例如,可以查询Einstein AND Princeton在维基百科中在1000-token窗口内的共现次数,而不需要加载整个语料库到内存。

CorVer使用Infini-gram作为共现统计的查询引擎,这是实现低延迟、低成本句子级奖励的关键技术基础

研究动机

大型语言模型在知识密集型问答任务上频繁产生事实性错误的答案。研究显示,这种失败是系统性的,LLM的事实回忆与预训练语料库中的主宾共现频率紧密耦合,因此涉及罕见实体的事实被不成比例地错误回忆。与数学推理或代码生成不同,在这些领域有计算器、编译器等程序化验证器提供廉价、确定性的奖励信号,事实性问答缺乏可扩展的句子级奖励。现有方法如FSPO使用NLI蕴含、KnowRL验证原子事实、FaithRL使用过程奖励模型,但这些方法在RL规模下部署成本高昂,每个rollout的每个句子都需要调用神经验证器,而且对于罕见实体的事实往往不可可靠,因为神经验证器依赖于与策略相同的参数化知识,共享了共现盲点。

本文的目标是本文的目标是设计一种轻量级、即插即用的过程奖励机制,能够在不依赖神经验证器的情况下,对事实性问答中的句子级事实正确性进行细粒度信用分配。这个奖励机制需要显著降低计算成本,使得在大规模RL训练中可行,避免神经验证器固有的循环性问题,为不同句子提供相反的梯度信号,实现密集的句子级监督。

与已有工作不同的是，本文的独特切入角度在于将预训练语料库中的共现规律从问题转化为解决方案。Min等人已经证明,在推理时查询维基百科索引中的主宾共现可以可靠地标记不支持的声明。本文的创新在于将这个推理时的共现信号转化为训练时的过程奖励,通过查询一个用Infini-gram构建的维基百科共现索引,用每个生成句子的主宾对来计算奖励。这个信号是一个语料库统计量而不是模型输出,因此不共享参数化盲点,在罕见实体上也能提供指导。这是首次将语料库共现统计用于RL训练中的细粒度过程监督,填补了数学代码任务和事实性问答之间的技术空白。

核心方法

CorVer的整体思路是将维基百科中的主宾共现统计转化为句子级事实正确性的奖励信号,然后通过简单的对齐机制将句子级奖励映射到token级优势。直觉是,如果一个句子中提到的主语和宾语在维基百科中频繁共现,那么这个句子很可能是正确的。技术路线上,CorVer使用一个0.5B的三元组提取器从每个生成句子中提取主宾对,将这些实体降维为内容词,然后用Infini-gram引擎查询它们在维基百科中的共现次数。这个共现次数通过一个四层映射函数被转换为一个小幅辅助奖励,句子级奖励通过token到句子的对齐函数sigma被组合到token级回报中。

CorVer的核心创新点是发现并利用了句子级事实正确性与维基百科中的主宾共现频率呈单调关系。通过人工标注700个句子的验证实验显示,当共现次数ci大于等于20时,句子有81.0%的概率是正确的,当ci等于0时,句子有76.0%的概率是错误的。这个关系使得共现次数可以作为句子级事实正确性的方向可靠的代理指标。与现有方法相比,CorVer的本质区别在于它使用的是语料库统计量而不是神经模型输出,因此不与策略共享盲点,它使用的是毫秒级的索引查询而不是昂贵的神经推理,它提供的是句子级而不是仅响应级的信用分配。

方法步骤详情

CorVer的方法步骤包括:输入是事实性问题x,策略pi_theta采样得到的完成y,遵循think和answer模板。将两个块中的标签去除后,共同解析为m个句子。对于每个句子,使用QuCo-extractor-0.5B提取第一个有效的三元组,得到头实体和尾实体,如果两个实体都非空且非代词则保留。将每个实体降维为内容词,构建一个词级合取查询,用Infini-gram引擎在固定的维基百科快照中查询这些词在1000-token窗口内的共现次数ci。通过分段常量映射将ci转换为奖励,ci等于0时奖励为负0.3,0小于ci小于5时为负0.1,5小于等于ci小于20时为0.0,ci大于等于20时为正0.1。定义token到句子的对齐sigma,计算响应级回报和每token原始回报,最后通过标准裁剪代理步骤对组归一化的token级优势进行策略更新。

技术新颖性

CorVer的技术新颖性体现在三个层面。方法论层面,它是第一个将语料库共现统计用于RL训练中的细粒度过程监督的工作。传统方法依赖神经验证器或LLM-as-judge,而CorVer用索引查询替代了这些昂贵的模型调用,这是一个范式转换。算法设计层面,它巧妙地将推理时的共现验证信号重新用于训练时的GRPO奖励。原来的方法是过滤查询,现在是训练信号,这种重新利用是新颖的。工程实现层面,它证明了可以用一个0.5B的轻量级提取器加上一次索引查询来达到甚至超过使用大模型验证器的效果。CorVer的奖励设计保持了简洁性,四个简单的奖励等级,两个整数阈值,没有复杂的超参数调优。

CorVer pipeline
Figure 2: CorVer pipeline

实验结果

CorVer的核心发现可以总结为四点。第一,在30个模型基准测试单元格中,CorVer在每个单元格上都优于原始基线,在TriviaQA上平均提升4.1个百分点。具体来说,在Llama-3.1-8B-Instruct上,CorVer在TriviaQA上从71.86%提升到76.52%,在NQ-Open上从40.66%提升到48.34%,在PopQA上从28.85%提升到35.30%。第二,CorVer在20个单元格中的18个上优于四个神经验证器基线,包括FoRAG、RLFH、FSPO和KnowRL。第三,CorVer的训练速度比所有基线快4.8到8.4倍。CorVer在四个模型上的平均训练时间是3.2小时,而四个基线需要14.5到29.5小时。第四,句子级事实正确性与共现次数之间的单调关系得到了人工验证。在700个句子的人工标注实验中,正确概率从ci等于0时的23%单调增长到ci大于等于20时的81%。

Factual QA accuracy across benchmarks and models
Table 1: Factual QA accuracy across benchmarks and models
Ablation of CorVer components
Table 2: Ablation of CorVer components
PopQA accuracy by popularity quartile
Table 3: PopQA accuracy by popularity quartile
Cross-model scaling of CorVer gains
Figure 3: Cross-model scaling of CorVer gains
Average training time per method
Figure 4: Average training time per method
Empirical correct probability across co-occurrence buckets
Figure 5: Empirical correct probability across co-occurrence buckets
查看结构化数据
任务指标本文基线提升
TriviaQA accuracy 76.52% 71.86% +4.66 pp
NQ-Open accuracy 48.34% 40.66% +7.68 pp
PopQA accuracy 35.30% 28.85% +6.45 pp
SimpleQA accuracy 5.92% 5.20% +0.72 pp
TruthfulQA accuracy 10.28% 6.61% +3.67 pp
Training Speed hours 3.2 15.5-29.5 4.8-8.4x faster

局限与改进

CorVer的局限性主要体现在三个方面。第一,共现奖励是基于语料库的代理而不是声明级的事实检查器,提取器只捕获主宾对,不捕获谓词语义,无法检测正确实体在事实错误的关系中共现的错误。第二,奖励内在依赖于它所索引的语料库,对于罕见实体覆盖稀疏,奖励信号的信息量最少,对于维基百科中没有的知识,CorVer无法提供有效的监督。第三,评估使用的是宽松的子串加别名匹配,绝对准确率可能高估了部分正确的字符串。此外,CorVer的奖励映射只有四个离散等级,这是一个粗粒度的设计,对于更细粒度的事实性区分可能不够。

独立分析的弱点

CorVer存在以下主要弱点。罕见实体覆盖稀疏,PopQA四分位分析显示,对于最稀有的Q1实体的增益只有5.47个百分点,而对于Q3实体增益达到8.39个百分点。改进方向可以扩展索引从维基百科到网页规模或预训练语料库规模。无法检测关系错误,CorVer只检查主宾共现,不检查关系的正确性。改进方向可以扩展提取器不仅提取主宾对,还提取关系信息。离散奖励映射的粒度有限,当前只有四个奖励等级,改进方向可以使用连续的奖励函数或增加更多的离散等级。对长尾分布的敏感性,大部分句子的计数会集中在少数几个bin中,改进方向可以使用对数尺度或其他非线性变换。

未来方向

基于CorVer的成果,可以延伸出以下未来研究方向。与其他RL或偏好优化方法的集成,CorVer的低每句子成本使得它可以作为即插即用的事实性辅助模块。与其他奖励的复合,共现信号可以作为快速过滤,只有当共现次数在某些不确定区间时才调用更昂贵的神经验证器。语料库扩展,当前使用的是640万文章的英语维基百科,未来可以扩展到网页规模或预训练语料库规模。跨语言和多模态应用,共现统计的思想可以自然扩展到其他语言。关系感知验证的改进,可能有其他方式更好地利用关系信息。动态奖励映射,可以探索自适应或可学习的奖励映射函数。理论分析,更深入的理论分析可以解释为什么这个关系存在。

复现评估

CorVer的复现性评估如下。代码即将发布,使用的QuCo-extractor-0.5B模型来自相关工作,Infini-gram引擎来自开源实现。维基百科快照使用的是公开可用的20231101.en版本。训练提示来自NQ-Open训练集和WebQuestions,评估使用的是五个公开基准测试,都是标准数据集。论文使用单个A100或H200 GPU进行训练和评估,训练使用LoRA,对于一个完整的CorVer训练,训练时间大约是2.5小时。复现的主要挑战在于构建Infini-gram索引,需要一定的存储和计算资源。超参数设置相对简单,奖励权重为1.0,四个奖励等级为负0.3、负0.1、0.0、正0.1,两个阈值为5和20。论文提供了详细的消融实验和人工验证,有助于理解方法的工作原理。综合来看,CorVer的复现难度中等偏易。

论文图表

Verifiable rewards beyond math and code
Figure 1: Verifiable rewards beyond math and code

这张图对比了数学推理、代码生成和事实性问答三个任务的可验证奖励信号。数学和代码任务有程序化确定性的奖励信号,而事实性问答缺乏可扩展的句子级奖励。现有方法依赖神经验证管道,在RL规模下成本高昂。CorVer填补了这个空白,使用语料库索引的共现统计,不需要神经验证器。

这张图对理解论文非常重要,因为它清晰地展示了CorVer解决的核心问题,以及CorVer的独特定位。它为整个论文提供了动机背景。