奖励科学过程：面向智能数据分析的过程级奖励建模 Rewarding the Scientific Process: Process-Level Reward Modeling for Agentic Data Analysis
提出首个面向数据分析Agent的环境感知过程奖励模型DataPRM，三元奖励+主动环境交互突破通用PRM盲区
前置知识
Process Reward Model (PRM)
过程奖励模型（PRM）相对于 outcome reward model，不再只对最终输出打总分，而是对解题链路上每一步 (thought-action-observation) 都给局部奖励。PRM 在数学推理和代码生成等静态任务中已显著改善 test-time scaling 和 RL 训练。常见形式有判别式与生成式两类。
本文核心就是为数据分析 Agent 设计专门的 PRM，必须先理解通用 PRM 的工作机制、典型训练范式和已知盲点，才能看清 DataPRM 要补哪些洞。
ReAct / Agent Loop
ReAct 范式把 LLM Agent 一次交互拆为『思考-行动-观察』三元组循环：模型先写推理解释下一步动作，再调用工具（通常是代码解释器）执行，得到反馈后进入下一步。这种『推理+行动交织』模式让 LLM 基于真实环境反馈迭代调整，是数据分析 Agent 的主流骨架，本文将其复用到验证器中。
DataPRM 的关键架构创新就是用 ReAct 来『做验证』——让奖励模型也能主动调用解释器和工具去探查中间状态，这与静态 CoT PRM 有本质区别。
Test-Time Scaling (TTS) / Best-of-N
Test-Time Scaling (TTS) 指推理阶段通过增加算力（更多采样、更长搜索、更精细验证）提升表现。Best-of-N 是最简单策略：对同一问题采样 N 条候选由 reward model 打分后选最高分；更复杂的有 Beam Search 与 DVTS。其有效性高度依赖 reward model 判别能力。
DataPRM 的核心实验场景就是 TTS：把 DataPRM 作为验证器嵌入 Best-of-N / Beam Search / DVTS，与 Qwen3-235B 等基座配合，在 ScienceAgentBench 与 DABStep 上对比通用 PRM。
GRPO (Group Relative Policy Optimization)
GRPO 是 DeepSeekMath 提出的 RL 算法变体，去掉传统 PPO 的 critic 网络，转而对同一 prompt 采样 G 条候选轨迹，把总 reward 在组内做归一化当作 advantage。它计算开销小、对长 CoT 友好，已成为开源 RLHF/RLVR 框架（verl、DAPO）的默认骨干。
论文在 5.4 节把 DataPRM 作为 dense reward 塞进 GRPO，证明过程级奖励可以同时改善 pass@1 和 pass@3 并避免熵坍缩，是与 outcome reward 对比的关键实验。
POMDP 与可观测性
部分可观测马尔可夫决策过程 (POMDP) 用元组 $(U,S,A,T,O)$ 描述 Agent：真实状态 $s\in S$ 通常不可见，Agent 只能拿观测 $o\in O$。数据分析场景中，真实环境状态（数据分布、文件结构、字段含义）就是隐变量，Agent 只能通过执行代码拿到局部观测。
理解 POMDP 有助于抓住论文的核心论点：通用 PRM 把环境当静态先验 $P_{prior}$，只能『想象』运行结果；DataPRM 通过执行采样观测 $o_t$ 把先验更新为后验 $P_{post}$，这就是它能抓到 silent error 的根本原因。
研究动机
当前数据科学领域的 LLM Agent 几乎全部依赖 outcome supervision——只对最终结果（答案或生成的图像）打分，过程中是否犯逻辑错误、是否做无意义的探索、是否得到错误的中间结论一概不管。这种『只看终点的奖励』在数学题或代码补全等任务上勉强可用，但在数据科学里非常危险，因为科学结论依赖于过程严谨性：一个看似合理但建立在错误过滤操作上的图表，可能就是一篇被撤稿论文的雏形。更具体地，作者通过实证发现两大类失败：(1) Silent Errors——代码成功执行但结果是错的，比如 5.5km 风险缓冲区根本没画出来但 agent 在文本里声称画出来了；(2) Grounding Errors——agent 在第一步因为猜错列名（'dataset' vs 'Dataset'）触发 KeyError，但这是正常的『先验未知→环境探索』循环，而通用 PRM 把它判为『致命错误』导致整条轨迹被剪枝。
本文的目标是本文的目标是构建一个为数据科学 Agent 量身定制、能直接替代通用 PRM 的过程级奖励模型 DataPRM，要同时解决两类痛点：(a) 对 silent error 具备主动查证能力，不再被『代码成功执行』的表象欺骗；(b) 对 grouding / 探索性错误保持容忍，避免过早剪枝掉本来能自我修正的轨迹。模型需要在 Test-Time Scaling（Best-of-N、Beam Search、DVTS）和 Reinforcement Learning（GRPO）两种主流推理增强范式下都稳定提升下游策略 LLM 的数据分析表现。
与已有工作不同的是，已有的 PRM（Qwen2.5-Math-PRM-7B/72B、Math-Shepherd、ReasonFlux、ThinkPRM、GenPRM 等）几乎全部针对数学 / 代码补全等『静态』任务设计，假设每步可以靠读代码或答案推断对错，不与环境耦合。它们既没有『主动跑一段代码验证图像是否真的生成』的工具调用能力，也没有把『探索性错误』与『致命错误』区分开的三元奖励信号。本文的核心切入点正是把奖励模型从『文本推理器』升级为『环境感知的生成式验证 Agent』，并首次系统性地把过程级奖励引入数据科学 Agent 的 TTS 和 RL 训练。
核心方法
DataPRM 把『做验证』视作独立的小 Agent 任务，而非一次性分类。具体采用与下游数据分析 Agent 完全一致的 ReAct 骨架：拿到当前轨迹 $h_t$ 和待评分步骤 $\tau_t$ 后，展开 $K$ 轮『思考-执行-观察』内部循环，每轮可调用代码解释器实际跑代码，或调用 query_document / query_image 两个外部工具读取数据文件、参考手册或图像内容；终止时输出 $(r_t, c_t)$ 二元组，$r_t\in\{0, 0.5, 1.0\}$ 是离散三元分数，$c_t$ 是自然语言 rationale。这个 $(r_t, c_t)$ 显式追加到下一步输入 $h^{prm}_{t,0}=h_t\oplus f_t\oplus \tau_t$，让验证器跨步保持一致判断。模型通过 SFT 训练（基础是 Qwen 系列），数据来自 diversity-driven trajectory generation + knowledge-augmented step-level annotation 的可扩展管线，产出 7K+ 高质量三元奖励样本。
核心创新点可概括为两个『反直觉』的设计：(1) 把 PRM 从『被动文本判别器』升级为『主动环境探查 Agent』——让奖励模型像 agent 一样调用代码解释器去验证『这一步声称画出的图是否真的存在』或『声称筛选出的行数是否正确』，这是通用 PRM 完全没有的能力；(2) 把传统二元 reward $\{0,1\}$ 扩展为三元 $\{0, 0.5, 1\}$，其中 $0.5$（Correctable Error）专门奖励那些『虽然没直接推进任务但提供了有价值的错误反馈』的步骤，从而鼓励 agent 进行必要的试错探索。配套的数据生成策略刻意保留『最终答案相互不一致』的轨迹组，确保模型在训练时就能见到『对但过程曲折』和『错但看起来对』的边界样本，从根本上解决通用 PRM『把探索性失败误判为致命失败』的偏置。
方法步骤详情
DataPRM 分五步。**Step 1**：建模为生成式 ReAct，输入轨迹 $h_t$ 与步骤 $\tau_t$，输出 $\kappa_{t,k}$，终止得 $(r_t, c_t)$。**Step 2**：调 query_document 与 query_image，背后接 Qwen3-VL-235B-A22B。**Step 3**：$r_t\in\{1.0, 0.5, 0.0\}$ 对应 Strictly Correct / Correctable Error / Irrecoverable Error。**Step 4（数据）**：AutoSDT + DeepSeek-V3.2 生成 query；Qwen3-235B 采样 $K=4$ 条仅留答案不同的组；AutoManual 合并相似错误，专家审核注入 few-shot prompt，DeepSeek-V3.2 分配三元 reward；100 例抽查准确率 86.0%、$\kappa=0.83$，产出 7K+ 样本。**Step 5（应用）**：TTS 作 Best-of-N / Beam Search / DVTS verifier；RL 用 $r_{total}=(1-\beta)r_{outcome}+\beta \cdot \frac{1}{T}\sum_t r_{prm}(\tau_t)$，$\beta=0.5$，GRPO 训练 Qwen2.5-Coder-7B-Instruct。
技术新颖性
技术新颖性体现在三方面。其一，『PRM 即 Agent』范式：把奖励模型从『看文本打分』提升到『主动调解释器探查状态』，附录 A 用贝叶斯定理 $P_{post}(\epsilon|o_t,a_t,h_t) \propto P(o_t|\epsilon,a_t) \cdot P_{prior}(\epsilon|h_t)$ 严格论证环境交互是降低 reward estimator 方差的关键步骤。其二，三元奖励建立在 Information Gain 视角的 KL 散度近似上——$R(a_t)=\lambda \cdot G(a_t) + (1-\lambda)\cdot I(a_t)$，$I(a_t)=D_{KL}(P_{post}\|P_{prior})$，用指示函数 $\mathbb{I}[I(a_t)>\epsilon]$ 离散化为 $\{1, 0.5, 0\}$。其三，数据管线刻意放弃结果一致性过滤，Tab.4 证明『未过滤』全量轨迹在 $N=16$ 下 $40.89\%$ 显著优于所有过滤变体，说明数据科学任务里多样性比严格专业化更重要。
实验结果
Best-of-N 主实验（Tab.2）以 Qwen3-235B-A22B-Instruct-2507 为策略：4B DataPRM 在 ScienceAgentBench Avg 从 Majority Vote 的 $38.00\%$ 提升到 $40.89\%$（+2.89pp），Easy $77.78\%$、Hard $33.86\%$；DABStep Avg 同样 $38.00\%\to 40.89\%$，超越 72B Qwen2.5-Math-PRM-72B（$29.11\%$）与 32B GenPRM（$34.22\%$），58× 参数效率。Fig.4 显示 DataPRM 在 Beam Search / DVTS 下单调上升，Qwen2.5-Math-PRM-72B 出现 reward hacking。Tab.3 三组件均贡献增益；Tab.4 未过滤策略 $N=16$ 下 $40.89\%$ 反超所有过滤变体。RL 侧（Fig.5）DABench $78.73\%$、TableBench $64.84\%$，entropy 稳定 $0.18$，避免 outcome reward 训练 200 步后的熵坍缩。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| ScienceAgentBench Best-of-16 | Average Success Rate | 40.89% | 38.00% (Majority Vote) | +2.89 pp |
| DABStep Best-of-16 | Accuracy | 40.89% | 38.00% (Majority Vote) | +2.89 pp；+11.28 pp over outcome-only |
| ScienceAgentBench Hard N=16 | Success Rate | 33.86% | 32.01% (CoT PRM baseline) | +1.85 pp |
| DABench (RL with DataPRM) | Accuracy (pass@1) | 78.73% | Outcome Reward RL | +1.3 pp over outcome-only RL |
| TableBench (RL with DataPRM) | Accuracy | 64.84% | Outcome Reward RL | +3.3 pp over outcome-only RL |
| Best-of-N 参数效率 | Verifier Parameters | 4B | Qwen2.5-Math-PRM-72B | 18× 更小；DABStep N=16 上 40.89% vs 29.11% |
局限与改进
作者在第 8 节明确两点局限：其一，DataPRM 当前只覆盖 reasoning 和 visualization 类数据分析任务，未涉及 model training、predictive modeling 等工程型任务；其二，训练范式仅为 SFT，对高质量轨迹数据依赖高，未来计划探索 RL 与 skill discovery。我自己的额外观察：(1) 环境感知虽能抓 silent error，但要求验证器实际执行代码，长任务（>50 步）下串行延迟仍是瓶颈；(2) 三元奖励的边界由 DeepSeek-V3.2 + 人工审核决定，Cohen's $\kappa=0.83$ 仍有 14% 分歧；(3) RL 实验仅在 Qwen2.5-Coder-7B 上验证，未在更大或多模态底座上检验稳定性；(4) 仅与 GRPO 对比，未和 PRM-based 的更近 RL 算法（如 Process Reward through Implicit Rewards、FAPO、AgentPRM 的 TD-based advantage）做头对头比较。
独立分析的弱点
五个可改进点。第一，**工具调用开销**：DataPRM 平均每样本 $2.57$ 轮、$0.87$ 次工具调用、串行 $24.66s$，对实时分析偏重；可借鉴 FunPRM 的『function-as-step』思路模板化高频调用，或用程序化校验替代部分文档查询。第二，**三元边界歧义**：$r_t=0.5$ 与 $r_t=1$ 在『是否触发有效反馈』上依赖专家先验，AutoManual 只合并相似错误未给统一判定流程；可引入 reward model 置信度或『修复成功率』做连续信号平滑。第三，**reward hacking 放大**：Fig.4 显示 TTS 下 DataPRM 抗 hacking，但 RL 中 entropy 维持 $0.18$，未监控 PRM 自身被拟合。第四，**多样性 vs 纯度**：Tab.4 证明 diversity > purity 但缺乏采样准则，可引入信息论指标（轨迹覆盖度、错误类型香农熵）做针对性采样。第五，**多模态能力薄弱**：query_image 依赖 Qwen3-VL-235B，对密集小图判别未必可靠。
未来方向
作者明确方向是结合 RL 与 skill discovery（如 Trace2Skill、SkillNet、EvoSkill）从成功轨迹蒸馏子技能，把标注从 step 级升级到 skill 级，降低数据依赖。延伸方向：(1) **跨域迁移**：把 DataPRM 用于表格推理、Text-to-SQL、金融分析等半结构化任务；(2) **多 PRM 集成**：当前仅单一 4B verifier，可与数学 / code PRM 通过 mixture-of-experts 融合；(3) **Process-Tree 搜索**：把 TTS 升级为完整 MCTS，每步用 DataPRM 做 rollout value 估计；(4) **Process-Aware Policy**：把附录 A 的 Bayesian 推导工程化，让 policy 最大化『任务进度 + 信息增益』；(5) **Safety 维度**：silent error 若进入科研 / 医疗决策链可能带来真实危害，可借鉴 Constitutional AI 把领域安全约束作为 reward component。
复现评估
代码与模型已在 https://github.com/zjunlp/DataMind 开源。数据管线完整公开（AutoSDT + DeepSeek-V3.2 + AutoManual），约 7K 条三元奖励样本及 few-shot prompt 随仓库发布。训练：ms-swift SFT，lr $1e-5$，warmup $0.05$，3 epoch，liger kernel，batch $32$。RL：verl，lr $1e-6$，batch $32$，mini-batch $2$，$\beta=0.5$，rollout temperature $0.7$，top-p $1.0$，group size $G=4$，AgentLoop/RewardLoop 异步 rollout。推理：temperature $0.7$，top-p $0.9$，top-k $20$。算力：所有实验跑在 $8\times H20$ GPU。复现难度中等：完整复现需 H20×8 算力 + 闭源 API，中小实验室可用 Qwen2.5-Coder-7B 替代底座做 ablation 级复现。
论文图表
图 2 含三个子图：(a) 在 DABStep 子集上用 Qwen3-235B-A22B-Instruct 做策略，Majority Vote 在 $N=20\sim 24$ 下保持 $\sim 45\%$，而 ThinkPRM-14B、Qwen2.5-Math-PRM-72B、GenPRM-32B 在 $N=16$ 时分别为 $\sim 40\%$、$\sim 36\%$、$\sim 37\%$，全部 PRM 均未超过 Majority Vote；(b) 在『含 grounding error 但最终答案正确』的步骤上，PRM 平均打分仅 $35.33\%$ 左右（正确区间本应≥50%），存在 'Over-Penalization'；(c) 用 Qwen3-30B-A3B-Instruct 做 prompted PRM，CoT 仅 $41.33\%$、One-turn Code $38.0\%$、Multi-turn Code $42.67\%$，证明环境交互能提升验证准确率。
图 2(a) 是 RQ1 的实证回答，图 2(b-c) 是 RQ2 的实证回答，三张子图共同支撑了『Silent Error + Grounding Error』两大动机，是问题定义的量化证据。