电子表格中下一步行动预测的评估基准与框架

首个电子表格操作预测基准与在线评估框架

前置知识

Teacher-forced offline evaluation

一种传统的序列预测评估方法，模型在每个时间步都被喂入正确的上一时刻状态，预测独立验证。这种方法假设模型总是获得完美的历史状态，忽略了错误累积的问题。在电子表格场景中，这意味着模型总是知道正确的当前工作表状态，不受之前预测错误的影响。

本文提出在线评估作为替代方案，理解teacher-forced评估的局限性有助于理解为什么需要新的评估框架。

Online policy rollout

一种模拟真实用户交互的评估方法。系统从初始状态开始，根据策略做出决策，更新状态，然后基于新状态继续决策。这个过程持续到终止条件满足。在本文中，rollout模拟用户接受或拒绝预测，动态调整剩余操作序列。

这是本文评估框架的核心，理解它对于理解为什么本文的评估更贴近真实使用场景至关重要。

User Actions Saved (UAS)

本文提出的主要指标，计算公式为 $UAS = (L_{initial} - L_{final}) / L_{initial}$，其中 $L_{initial}$ 是手动完成所需的操作数，$L_{final}$ 是使用预测系统后的实际操作数。正值表示节省了用户操作，负值表示预测错误增加了用户负担。

这是评估预测系统实际价值的核心指标，比单纯的精度更能反映用户体验。

Predictability Coverage

可预测性覆盖率，计算系统正确预测到的属性占理论上可预测属性的比例。理论上可预测属性通过oracle实验确定：用多个强推理模型对每个轨迹进行预测，取所有正确预测的并集。本文发现68%的属性是理论上可预测的。

这个指标标准化了性能评估，避免了因固有的不可预测操作而稀释性能。

研究动机

尽管代码自动补全已经极大地加速了开发者的工作，从早期符号系统建议重复编辑，到现代助手建议多行代码块，但电子表格领域的预测性自动补全功能几乎不存在。现有的电子表格助手要么需要用户明确触发（如FlashFill从输入输出示例合成字符串转换，SpreadsheetCoder从表格上下文预测公式），要么通过自然语言意图解决问题。对于常规编辑和重复模式，调用辅助工具、构思提示词和等待响应的开销超过了直接操作的成本，导致用户默认采用手动编辑。根本挑战包括：（1）缺乏公开的电子表格编辑历史语料库，只有随时间演变的高层级工作簿集合；（2）电子表格操作空间复杂，每个动作（如给单元格着色或添加边框）虽然简单，但不同动作在电子表格的不同部分发生并影响不同区域，可能以多种不同顺序发生，且没有明确的预测触发时机。

本文的目标是本文的目标是填补电子表格通用动作建议研究的空白，建立一个系统可以观察用户在电子表格中执行的操作序列并预测未来操作的基准。具体包括：（1）构建高质量的电子表格创建轨迹数据集，包含从零开始构建最终工作簿的完整操作序列；（2）提出在线评估框架，模拟真实用户接受或拒绝建议的行为，动态调整未来操作序列；（3）使用多种基线预测器（包括zero-shot LLMs、微调SLMs和经典模型）分析基准所揭示的不同属性，为改进预测系统提供可操作的洞察。

与已有工作不同的是，本文的独特切入角度在于关注无模式动作建议（modeless action suggestion），即系统持续观察用户编辑并主动建议下一步操作，而无需用户显式调用。这与两种现有范式形成对比：（1）自然语言到动作系统（如SheetCopilot、SpreadsheetBench）将显式用户命令转换为操作；（2）动作到动作系统（如FlashFill、FlashRelate）从先前的用户操作中生成补全，但通常需要用户显式信号表示意图。本文提出的在线评估框架与传统的teacher-forced离线评估也有本质区别：它在固定时间步进行评估，考虑接受建议会改变模型（和用户）继续操作的状态，因此错误会累积，后续预测依赖于早期预测，系统无法重新建议相同的简单动作。

核心方法

本文方法分为两部分：基准数据集构建和在线评估框架。数据集构建采用三阶段管道从静态工作簿重建用户轨迹：（1）符号冷启动生成，将目标工作簿分解为单元格级操作并合并相邻相同操作为范围操作；（2）LLM辅助优化，识别并修正符号序列中明显不自然的模式，如将分散的逐单元格格式化整合为范围操作，移除未使用区域的散落格式；（3）人工标注，进行最后的人工修正。在线评估框架模拟真实用户操作，在每个用户动作后触发预测，根据预测属性决定接受或拒绝。接受则更新未来动作序列（移除已满足操作，为误报添加反向操作），拒绝则添加下一个用户动作到历史并继续。这个过程重复直到获得最终电子表格或达到阈值。

本文的核心创新在于提出了针对电子表格操作预测的在线评估框架，它解决了teacher-forced离线评估的三个问题：（1）预测会改变状态，错误会累积，后续预测依赖于早期预测；（2）模型无法重新建议相同的简单动作而在分步评分下仍然显得准确；（3）系统被测试修订或修复其之前的建议。此外，数据集构建采用符号启发式+LLM优化+人工标注的混合方法，既减少了人工标注负担，又引入了自然变化，提供了高质量的轨迹供标注者工作，而不是从头开始创作序列。基准包含52个轨迹，总计11,907个操作，序列长度从35到821（平均229，中位数164）。

方法步骤详情

方法步骤包括：数据集构建阶段：（1）符号冷启动生成：给定目标工作簿，将最终状态分解为单元格级操作，合并相邻相同操作为范围操作（如 font(A1, bold, true) + font(A2, bold, true) 变为 font(A1:A2, bold, true)），从控制合并策略、区域排序、格式排序的偏好设置空间采样以引入变化；（2）LLM优化：使用基于LLM的判断-编辑循环，判断模型评估原始序列是否像人类操作，提供反馈，编辑模型根据反馈重写序列，验证新序列通过执行操作并验证结果状态是否匹配目标；（3）人工标注：人工标注者进行最后的人工修正，常见修正包括将格式化操作与内容分组、重新排序以在细节之前建立结构、将批量输入操作分解为逐单元格输入、将范围修剪到内容边界。在线评估阶段：（1）初始化：S为空工作簿，H为空历史，F为完整操作序列；（2）循环直到F为空：调用solver.predict(S, H)获得预测P，使用accept(P, H, F)启发式决定接受或拒绝，如果接受则执行P更新S，更新F移除已满足操作并为误报添加反向操作，将P添加到H，如果不是repredict则跳出内层循环；（3）如果拒绝则将F的第一个操作添加到H并从F移除。最后计算不同粒度级别的指标。

技术新颖性

本文的技术新颖性体现在多个方面：（1）首个电子表格操作预测基准：填补了该领域缺乏标准化数据集和评估方法的空白；（2）在线评估框架：与传统的teacher-forced离线评估有本质区别，更贴近真实用户交互场景；（3）多粒度指标体系：包括属性/操作级别（精确度、用户节省操作数）、预测级别（接受率、平均精度）、仿真级别（用户动作节省UAS、接受率AR、平均精度PREC、可预测性覆盖率PCOV），允许针对性地改进动作预测系统；（4）可预测性上限估计：通过oracle实验（使用Opus 4.6, Opus 4.7, GPT-5.4, GPT-5.5四个推理模型对每个轨迹的每一步进行预测，取所有正确预测的并集）发现68%的属性是理论上可预测的，中位数66.3%，44/52个轨迹超过50%，建立了在线评估性能的理论上限；（5）动态未来更新机制：接受预测后动态调整未来操作序列，移除已满足操作，为误报添加反向操作，验证并修补剩余差异，确保更新后的序列总是产生原始目标状态。

**Figure 1**: One step of the online evaluation on a synthetic example.

**Figure 3**: Distribution of predictability coverage across the 52 benchmark trajectories.

**Figure 4**: Pseudo-code for the interface that assistants should implement and the exposed evaluate function that performs online evaluation.

实验结果

实验发现：（1）任务是可学习的：模型能力与预测性能呈正相关。GPT-5 mini（多动作20.1% UAS，单动作18.0% UAS）→ GPT-5（多动作22.3% UAS，单动作27.4% UAS）→ GPT-5-R（多动作26.6% UAS，单动作32.7% UAS）的一致梯度确认了动作预测是可学习的任务，不是幸运猜测。更强大的模型系统地表现更好，表明通过专门训练或针对该领域优化的架构有显著改进空间。微调进一步支持这一点：SmolLM2-360M从21.7%提升到26.8% UAS，SmolLM2-135M从18.3%提升到23.2% UAS，缩小了与GPT-5（27.4%）的差距，尽管它们的规模小得多。（2）拒绝是关键：ALWAYS启发式接受每个非空预测，产生强负节省（-19.2% UAS），精度只有9.3%，52/52个轨迹达到强制的120%真实用户步数上限，表明LLM不原生知道何时拒绝（无意图可用）或何时停止预测。（3）更便宜的预测或触发器：步幅s急剧影响系统行为。在s=1时，系统在每个用户动作后尝试预测，实现最高UAS（22.3%）但最低接受率（20.0%）。在s=8时，接受率攀升至36.5%但UAS崩溃至9.8%。可以在每个迭代触发的廉价触发器因此是提高整体效用的关键关注领域。（4）更容易和更难的操作：按类别的接受率将所有求解器清晰地分为两组：内容密集操作（input、paste、fill、merge）的接受率明显高于展示性操作（align、number format、border）。GPT-5在input上占主导地位，反映了其在单元格内容上的强语言先验，而无训练的online n-gram在由局部重复驱动的结构类别（merge、border、paste）上表现良好，但在语义类别（如input）上崩溃。（5）接受连续性：接受连续分布是重尾的：大多数连续短（中位数1），但平均值2.21意味着每次成功干预大约执行用户将输入的两倍操作，5%的连续链接受7次或更多接受。这种突发行为解释了看似适度的每次预测接受率（∼32%）与报告的实质更大的UAS之间的不一致：预测器不统一地节省努力，而是锁定局部重复结构（行填充、边框传播、重复格式化）并在用户必须重新断言控制之前链式几个自信预测。（6）正确的上下文长度：上下文长度对性能有清晰影响，但收益迅速递减。在多动作设置中，将窗口从32增加到128个先前操作将UAS从22.3%提升到27.6%，而接受率基本不变。超过此点的收益迅速减弱：512和2048上下文分别产生26.2%和27.4% UAS，与128无法区分。单动作设置显示相同饱和（c=32时27.4%，c=128时30.0%，c=512时30.8%）。（7）接受率随轨迹进展增加：接受率随轨迹进展上升，从轨迹前10%的∼12.5%到结束时的∼24%。这表明冷启动问题：没有建立的模式来识别，早期预测主要是猜测。随着上下文增长，模型识别重复格式化、表格结构和用户特定约定，使后续预测更可靠。（8）过度预测：接受预测的完美率从第一个四分位的∼19.5%单调衰减到最后一个四分位的∼14.7%：当助手知道要做什么时，它从做正确的事情开始然后漂移。拒绝预测在整个过程中都低于标准并遵循相反的、略微下降的趋势（∼3.5% → ∼1.5%）。

**Table 1**: Different user actions available in spreadsheet software.

**Table 2**: Model comparison in single-action repredict (s=1, c=32, GREEDY).

**Table 5**: Effect of acceptance heuristics (multi-action, GPT-5, s=1, c=32).

**Table 6**: Hyperparameter ablation (multi-action, GPT-5, GREEDY).

**Figure 6**: Per-file distributions across the 52 benchmark trajectories, comparing GPT-5 (blue) and FT-SmolLM2-360M (green), both run with single-action repredict and default settings.

**Figure 7**: Per-category acceptance rate across four solvers.

**Figure 8**: Distribution of acceptance streak lengths for GPT-5 in the single-action repredict setting (1,204 streaks across 52 trajectories).

**Figure 9**: Acceptance rate by trajectory progress (10% bins).

**Figure 10**: Perfect rate (precision = 100%) by operation position within predictions (uses default settings).

查看结构化数据

任务	指标	本文	基线	提升
多动作预测	User Actions Saved (UAS)	GPT-5-R: 26.6%	GPT-5: 22.3%	4.3个百分点
单动作repredict	User Actions Saved (UAS)	GPT-5-R: 32.7%	FT-SmolLM2-360M: 26.8%	5.9个百分点
接受启发式对比	User Actions Saved (UAS)	GREEDY: 22.3%	ALWAYS: -19.2%	41.5个百分点（从负到正）
步幅影响	User Actions Saved (UAS)	s=1: 27.4%	s=8: 10.6%	16.8个百分点
上下文长度	User Actions Saved (UAS)	c=128: 30.0%	c=32: 27.4%	2.6个百分点

局限与改进

作者承认的局限性包括：（1）数据集规模相对较小，只有52个文件，虽然总计11,907个操作提供了足够的信号；（2）操作类型基于Microsoft Excel，可能不直接适用于其他电子表格软件；（3）数据集是从静态工作簿重建的，可能无法完全捕捉真实用户编辑历史的复杂性；（4）评估使用简化的接受启发式，真实用户行为可能更复杂。自己的观察包括：（1）数据集创建过程虽然经过人工验证，但仍然是重建的，可能遗漏真实用户编辑中的随机性和错误；（2）评估框架假设用户对预测的反应是确定性的（基于启发式），而真实用户可能因疲劳、信任等因素表现出不一致的接受行为；（3）模型在语义内容预测（如input）上表现较差，这与电子表格内容的多样性有关；（4）评估未考虑预测延迟对用户体验的影响，实时系统中延迟可能是关键因素；（5）不同用户的编辑风格差异很大，当前评估没有考虑用户个性化。

独立分析的弱点

本文的独立分析弱点包括：（1）冷启动问题严重：在轨迹早期（前10%），接受率只有∼12.5%，这表明模型在缺乏上下文时难以做出准确预测。改进方向：实现自适应触发机制，在轨迹早期减少预测频率，随着模式建立增加预测频率，或者引入初始用户意图检测；（2）过度预测导致质量下降：接受预测的完美率从第一个四分位的∼19.5%单调衰减到最后一个四分位的∼14.7%，表明模型在一个预测中生成过多操作时质量会下降。改进方向：实现更智能的停止标准，基于置信度或累积质量衰减截断预测；（3）模型对某些操作类别预测不准确：对align、border等展示性操作的接受率远低于input、paste等内容密集操作。改进方向：针对不同操作类别使用专门的模型或加权训练目标；（4）拒绝机制不完善：LLM不原生知道何时拒绝或停止预测，导致ALWAYS启发式产生负效用。改进方向：在训练中引入显式拒绝目标，让模型学会在没有高置信度预测时输出空预测；（5）预测长度与质量的权衡：限制预测长度虽然提高了接受率，但降低了UAS。改进方向：研究自适应长度预算，根据历史成功模式动态调整每个预测的最大操作数。

未来方向

作者提出的未来研究方向包括：（1）开发更有效的拒绝学习机制，让模型学会何时 abstain；（2）研究更便宜的触发机制，可以在每个迭代调用而不牺牲太多精度；（3）改进停止标准，避免过度预测导致的质量衰减；（4）扩展数据集到更多平台和操作类型。基于成果可延伸的方向包括：（1）用户个性化：研究如何适应不同用户的编辑风格，通过用户历史学习个人偏好；（2）多模式输入：结合视觉信息（工作表截图）与操作历史，提升对格式化等展示性操作的预测准确性；（3）交互式学习：允许用户主动纠正预测，系统从反馈中快速适应；（4）跨应用迁移：研究从电子表格学到的预测模式如何迁移到其他界面密集型应用（如文档编辑、演示文稿）；（5）实时系统实现：研究如何在保持预测质量的同时最小化延迟，考虑边缘计算和模型压缩技术；（6）可解释性：研究如何向用户解释预测理由，提高接受率并建立信任；（7）长期依赖建模：研究更好的上下文利用机制，捕捉更长范围的模式和依赖关系；（8）预测不确定性量化：开发可靠的不确定性估计方法，用于动态调整触发频率和接受标准。

复现评估

复现评估：论文承诺在github.com/Tej-55/NAPE发布代码和数据。数据集包含52个高质量的电子表格创建轨迹，总计11,907个操作，每个轨迹都经过人工验证。实验使用多个基线求解器，包括zero-shot LLMs（GPT-5-R, GPT-5, GPT-5-R mini, GPT-5 mini）、微调SLMs（SmolLM2-135M, SmolLM2-360M）和经典序列模型（trained n-gram, online n-gram, LSTM, XGBoost）。微调SmolLM2使用T4 GPU，360M模型训练约两天，135M模型训练约一天。论文报告了五次运行的方差分析：UAS在单动作设置下变化小于1个百分点，在多动作设置下变化小于2个百分点，接受率更紧密。评估框架有明确的超参数设置（默认s=1, c=32, GREEDY启发式，上下文缩短启用，多动作m=∞或单动作m=1），实验结果包括详细的per-file分布和ablation study。总体来说，复现难度中等，主要依赖公开可用的LLM API和开源模型，数据集和代码将公开，但微调需要GPU资源。