Spreadsheet-RL：通过强化学习提升大语言模型智能体在真实电子表格任务上的能力

首个面向真实 Excel 的端到端强化学习框架，让开源 4B 模型表格任务通过率近乎翻倍。

前置知识

GRPO（群体相对策略优化）

GRPO 是 DeepSeek-R1 提出的强化学习算法。它对同一问题采样一组（如 16 条）回答，用组内奖励的均值与标准差计算相对优势，无需训练额外的价值网络，从而降低显存与训练开销，特别适合长序列多轮交互场景。

本文用 GRPO 在多轮 Excel 交互中训练 4B 智能体，理解它才能看懂奖励与策略更新如何进行。

在线强化学习与可验证奖励

指策略训练时只采样自己当前生成的轨迹（on-policy），用可被程序判定的结果（如代码测试通过、答案精确匹配）作为奖励。它无需人工标注偏好，可大规模扩展，是 R1、Qwen 等后训练的核心范式。

本文把这一范式迁移到电子表格，用单元格匹配作为可验证奖励，是理解其训练信号来源的关键。

ReAct 推理-行动范式

ReAct 让大模型在每一步交替输出自然语言推理（思考）与外部动作（工具调用），把工具返回的结果喂回模型继续推理。它把链式思考与工具调用编织在一起，是现代智能体的基础交互模式。

Spreadsheet-RL 的多轮 rollout 即采用 ReAct 风格的推理与工具交替，是读懂轨迹结构的前提。

SpreadsheetBench 基准

目前最大的开源电子表格评测集，含 912 个初始-最终表格配对任务，由 20 位专家验证。每个任务衍生 3 个相似测试用例，要求智能体在真实 Excel 中完成公式、格式、透视表等操作，用精确单元格匹配衡量通过率。

它是本文主评测集，所有 Pass@1 数字都基于此，理解其评测协议才能判断结果含金量。

智能体框架与工具路由

指为模型预定义的角色设定、可用工具集合及调用规则。它告诉模型何时该用哪个工具（工具路由），约束只读操作可并发、写操作串行，并规定检查-修改-验证工作流，从而把领域语义直接编码进动作空间。

本文核心创新之一就是把表格语义编码进工具框架，理解它才能领会方法为何能跳过 SFT 预热。

研究动机

电子表格（Microsoft Excel、Google Sheets、WPS）是现代数据驱动工作流的核心，但现有电子表格智能体能力非常有限。SheetCopilot、SheetAgent 以及 ChatGPT Agent 等工作几乎都依赖 GPT-4o 这类强大专有模型配合精心设计的提示词，改进重心放在推理期的提示策略，而非模型本身如何使用电子表格。这导致它们难以可靠完成真实世界中占主体的复杂多步工作流：在 SpreadsheetBench 上，带 Excel 访问权限的 ChatGPT Agent 与 Copilot 分别只有 45.5% 与 20.0% 的通过率，GPT-4o 更低至 16.8%–18.4%。把已大获成功的可验证奖励在线强化学习迁移到电子表格还面临两个硬骨头：其一，收集足够多的初始-最终表格配对用于训练既昂贵又难规模化（既有数据集最多仅 912 对）；其二，缺乏逐步监督微调数据（成本更高），智能体只能从很弱的交互策略起步 RL，因此一个能提供结构化动作空间与工作流先验的专用框架成为成败关键。

本文的目标是本文旨在打造首个端到端、可复现、完全开源的电子表格智能体强化学习后训练框架。具体目标包括：在真实 Microsoft Excel 环境中训练出专门化的表格智能体，显著提升开源小模型在复杂多步表格任务上的通过率（以 SpreadsheetBench 的 Pass@1 衡量，目标让 Qwen3-4B-Thinking-2507 接近翻倍）；构建可自动扩展、无需人工专家标注的大规模任务数据集；设计支持多轮交互、与异步 RL 训练兼容的 Excel 沙箱环境；并新编一个跨领域评测集 Domain-Spreadsheet 检验泛化能力。最终把数据、环境、框架、训练流水线与模型全部开源，为该领域提供首个开放实验平台。

与已有工作不同的是，已有工作的盲点在于：要么停留在推理期的提示工程、依赖专有大模型的能力外溢，要么像前沿工业实验室那样采用不公开的内部基准与封闭训练流水线。开源社区至今没有一个专门面向电子表格、具备网络规模自动数据收集能力的框架。Spreadsheet-RL 抓住了三个被忽视的关键点：一是用智能体自动从真实论坛讨论中保留表格任务的真实分布，而非人工合成；二是坚持用真实 Excel 而非近似引擎，保证执行语义保真；三是把表格语义直接编码进结构化工具框架，赋予模型足够强的初始交互策略，从而跳过昂贵的 SFT 预热——这三点共同让长程稀疏奖励的表格 RL 首次变得可行。

核心方法

直觉上，训练表格智能体就像带学徒会计：不塞教科书（监督微调），而是给真实工作簿让其尝试，再核对最终表格是否与正确答案一致，Spreadsheet-RL 正是如此用强化学习训练。技术路线由三大组件构成。其一，Spreadsheet Data Agent 自动从 ExcelForum 抓取配对的初始-最终表格，调用 Claude Code、Codex 等编码智能体生成可执行编辑序列得到 oracle 终态，再经规则过滤，从 18,855 条原始帖子筛出 5,928 个高质量任务。其二，Spreadsheet Gym 是与真实 Microsoft Excel 集成的多轮交互环境，配备 Python 沙箱、按 rollout 隔离的文件系统工作区，支持 FILTER、UNIQUE、SORT、TAKE、MAP 等动态数组公式。其三，表格原生工具框架以检查-修改-验证工作流约束智能体。三者汇入一个异步 GRPO 训练流水线。

最本质的创新是把电子表格语义直接编码进结构化工具框架，并据此做基于结果的在线强化学习，而非依赖通用代码接口。纯 code_interpreter 虽表达力强，却迫使中小模型用临时 Python 重新实现表格语义——结构删除会因索引偏移失效、公式编辑需精细的引用翻译与字符串转义，清空单元格与删除行列也常被混淆。Spreadsheet-RL 改为暴露 find_cells、inspect_range、fill_formula、clear_range、delete_rows、delete_columns、recalculate_and_read 与 code_interpreter 等结构化工具，配以路由规则与检查-修改-验证流程，显著降低低级执行错误、提供足够强的初始策略，让 RL 无需 SFT 预热即可起步。这种「框架即先验」的设计正是让长程稀疏奖励的表格 RL 变得可行的关键，阶段实验也印证了它：框架使 12.0%→15.6%，再加完整工具→19.3%，再加 RL→23.4%。

方法步骤详情

第一步数据收集：Spreadsheet Data Agent 从 ExcelForum 筛出含附件的种子，抽取任务指令 T 与讨论中的解决方案。第二步构造 oracle：把初始工作簿 $D_i$ 与指令喂给 Claude Code/Codex 生成可执行编辑序列并在真实 Excel 中执行得终态 $D_O$，从 18,855 条帖子筛出 5,928 个高质量任务。第三步多轮 rollout：策略模型收到 $D_i$、T 与框架描述，每轮产出推理加工具调用——只读调用每轮最多 20 个并发，写操作逐一进行且不与读混用。第四步奖励：轨迹终止产出 $D_{pred}$，奖励 $R(o)$ 无有效输出时为 0，否则取 allcellsmatch($D_{pred}$, $D_O$) 在操作区域 M 上的匹配结果。第五步异步验证：Excel 服务器上 submit-and-poll 验证器重算并比对。第六步 GRPO 更新：每任务采 N=16 条 rollout 算组内相对优势，加参考模型的 KL 惩罚 $\beta=0.001$，60 步，AdamW 学习率 $1\times10^{-6}$。

技术新颖性

与 SheetCopilot、SheetAgent 相比，那些是推理期提示工程、依附专有大模型；Spreadsheet-RL 走模型侧的智能体训练。与软件/网页等通用智能体 RL 相比，表格任务缺乏单元测试式的二值完成信号，本文用真实 Excel 中对 oracle 工作簿的单元格级结果匹配来化解。与 SpreadsheetBench 依赖 20 位专家手工标注 912 对数据相比，本文把数据构造自动化到 5,928 个任务且无需专家。异步 submit-and-poll Excel 验证器与按 rollout 隔离的文件系统工作区，是把「仅 Windows+Excel」的硬依赖纳入大规模异步 RL 的关键工程创新，使原本不可扩展的表格奖励计算达到每秒 11 次以上的吞吐。

**Figure 2**: Spreadsheet-RL 总览：从论坛数据到 RL 训练的完整流水线。

实验结果

Table 1 是 SpreadsheetBench 主结果：开源 Qwen3 系列为 9.3%–17.6%（4B–32B）；专有模型 GPT-4o 16.8–18.4%、o3 23.3%、ChatGPT Agent 35.3–45.5%、Claude Opus 42.9%、Copilot 57.7%。对 Qwen3-4B-Thinking-2507 做阶段消融：裸模型 12.0% → 加表格原生框架 15.6% → 加完整工具 19.3% → 加 RL 后训练 23.4%，该 4B 开源智能体已反超 o3。Table 2 是 Domain-Spreadsheet 跨领域泛化：总体 Pass@1 从 8.4% 升至 17.2%，金融初/中/高 15.6→29.3、7.7→16.2、8.1→19.3，供应链 1.1→5.0、HR 0.5→3.2、销售 1.2→5.8，房地产纹丝不动（1.1→1.1）。训练动态（Figure 4）显示 60 步内奖励 0.21→0.33、回答长度 16k→11k token、交互轮数 20→11、准确率 19.3→23.4%，交互效率与协议遵循也同步改善。

**Table 1**: SpreadsheetBench 主结果 Pass@1：含专有模型、开源 Qwen3 系列与 Qwen3-4B-Thinking-2507 分阶段消融。

**Table 2**: Domain-Spreadsheet 统计与结果：跨金融、供应链、HR、销售、房地产的评测任务数与 RL 前后 Pass@1。

**Figure 1**: Spreadsheet-RL 效益：Qwen3-4B-Thinking-2507 从裸模型→表格原生框架→完整工具→RL 后训练的分阶段提升，并附开源与专有基线作参照。

**Figure 4**: Qwen3-4B-Thinking-2507 的 RL 训练动态：奖励、回答长度、交互轮数与准确率随训练步数变化。

查看结构化数据

任务	指标	本文	基线	提升
SpreadsheetBench 表格操作	Pass@1（精确单元格匹配）	23.4%（Qwen3-4B-Thinking-2507 + Spreadsheet-RL）	12.0%（同模型裸基线）	+11.4 个百分点，近乎翻倍
SpreadsheetBench（vs 专有前沿）	Pass@1	23.4%（4B 开源 + RL）	23.3%（OpenAI o3，LibreOffice）	以 4B 开源模型反超 o3 约 0.1 个百分点
Domain-Spreadsheet 跨领域总体	Pass@1	17.2%	8.4%（RL 前）	+8.8 个百分点，翻倍以上
Domain-Spreadsheet 金融-初级	Pass@1	29.3%	15.6%（RL 前）	+13.7 个百分点，各领域提升最大

局限与改进

作者自承：受资源所限，实验只覆盖较轻量的开源模型，未报告更大稠密模型或 MoE 模型的训练结果，留作未来工作。我额外观察到几点：其一，绝对准确率仍远落后于前沿专有智能体（23.4% vs Copilot 57.7%、ChatGPT Agent 45.5%），离实用尚有距离；其二，房地产领域完全失败（1.1% 不变），说明部分专业领域缺乏有效训练信号；其三，仅 60 个训练步，可能严重欠训练；其四，奖励为纯二值匹配，长程任务拿不到部分进展分；其五，训练数据单一来自 ExcelForum，易偏向论坛式操作而缺专业工作流；其六，各领域差距悬殊（金融 29.3% vs HR 3.2%）印证了训练数据偏斜。

独立分析的弱点

第一，绝对天花板低且领域失衡严重：HR 仅 3.2%、房地产 1.1% 不变，根因是训练数据以论坛操作为中心、缺专业领域工作流。改进方向：把 Domain-Spreadsheet 风格数据按比例混入训练，做领域自适应 RL 或课程学习。第二，稀疏二值奖励对长程任务过于苛刻，模型拿不到部分进展信号。改进：引入稠密/塑造奖励、过程监督或按单元格部分匹配给分。第三，仅 60 步训练与单一 4B 规模：探索更长训练计划、更大稠密/MoE 基座。第四，强 Windows+Excel 硬依赖：单点故障、难以容器化，可做跨引擎鲁棒性或虚拟化 Excel 服务。第五，论坛数据偏向与噪声：引入多源采集与主动数据清洗。每个弱点都对应可落地的改进路径。

未来方向

作者明确提出：把 Spreadsheet-RL 扩展到更大稠密与 MoE 模型族。基于成果可延伸的方向包括：稠密奖励塑造与过程监督以缓解稀疏奖励；多领域课程与领域自适应 RL 来修复 HR/房地产的塌方；把框架从 Excel 推广到 Google Sheets、LibreOffice 等多引擎；将「自动数据收集 + 沙箱 + 表格原生框架」配方迁移到幻灯片、文档等其他生产力软件；面向高风险场景加入人机协同验证；尝试 SFT 预热与 RL 结合；以及引入图表/图像等多模态信号理解表格中的可视化元素。

复现评估

复现承诺很强：将发布训练数据、Spreadsheet Gym 环境、框架、训练流水线与模型，HuggingFace 数据集（Spreadsheet-RL/Spreadsheet-RL）与 GitHub（Spreadsheet-RL/Spreadsheet-RL）均已给出。但基础设施门槛不低：训练需 1×4 张 NVIDIA H100、约 40 小时墙钟；验证器需一台 32GB 内存的 Windows CPU 服务器配 Microsoft Excel 365 与 4 个并发 Excel 实例（30 分钟处理超 2 万次、>11 次/秒）；并依赖 VeRL 框架集成。训练超参在 Table 3 中完整给出（GRPO、60 步、每步 64 任务×16 rollout、AdamW lr $1\times10^{-6}$、KL 系数 0.001、温度 0.6）。Windows/Excel 依赖是主要摩擦点，难以轻松容器化；数据收集还涉及 ExcelForum 抓取与 Claude Code/Codex 调用（有 API 成本）。整体属中高难度。

Spreadsheet-RL：通过强化学习提升大语言模型智能体在真实电子表格任务上的能力 Spreadsheet-RL: Advancing Large Language Model Agents on Realistic Spreadsheet Tasks via Reinforcement Learning