长时程智能体数据分析失败研究：LongDS-Bench 基准测试 LongDS-Bench: On the Failure of Long-Horizon Agentic Data Analysis
揭示LLM智能体在长时程数据分析任务中严重失败，最高准确率仅48.45%
前置知识
LLM智能体
基于大语言模型的自主代理，能够理解自然语言指令，规划任务步骤，调用工具（如代码执行器、API），在环境中执行操作并反馈结果，形成推理-行动循环来完成复杂任务。常见框架包括ReAct（Reasoning + Acting），通过多步推理和工具交互解决实际问题。
本文的核心研究对象，理解智能体的工作机制（推理、规划、工具调用、状态维护）是解读其失败原因的基础
分析状态
在数据分析过程中积累的可复用分析对象和上下文，包括数据范围、指标定义、过滤条件、聚合规则、基线标准以及中间计算结果等。例如，定义'高活跃用户'为至少10次会话的用户后，这个定义就成为分析状态的一部分，后续分析可以直接继承或修改它。
论文的核心创新点，长时程数据分析的核心挑战就是维护、更新、恢复和组合这些不断演化的分析状态
级联错误
在多轮任务中，某一轮次的错误状态（如错误的数据过滤条件、错误的变量定义）会传递到后续轮次，导致后续分析即使在本地逻辑正确的情况下也产生错误结果。例如，第3轮错误过滤了数据，第10轮基于错误数据计算指标，结果必然错误。
论文错误分析的主要发现，占失败原因的最大比例，揭示了长时程任务中状态维护的重要性
依赖跨度
当前轮次的请求所依赖的最远历史轮次距离。例如，第25轮的请求需要使用第12轮定义的指标，则依赖跨度为13轮。LongDS中平均依赖跨度为11.3轮，表明智能体需要从较远的历史中恢复正确的分析状态。
衡量长时程任务难度的重要指标，论文发现性能随依赖跨度增加而显著下降
研究动机
现有的数据分析基准测试存在严重局限性，主要评估孤立的单步任务或短交互任务，如DS1000、DABench、AgentBench等。这些基准虽然在代码生成和工具调用方面提供了挑战，但它们的核心假设是每轮请求相对独立，或者只依赖最近的几轮交互。这与现实世界的数据分析工作流程严重脱节——真实的数据分析往往是持续的多轮会话，分析师在数小时甚至数天的工作中不断累积、修改、回溯分析决策，包括调整数据范围、重新定义指标、尝试不同的假设、回滚到之前的分析状态等。例如，在Netflix市场机会分析中，分析师可能先定义'长片'为110分钟以上，计算早期候选市场，然后在第18轮尝试将阈值放宽到100分钟进行对比，最后在第24轮回滚到第12轮的'导演惩罚前'状态来评估影响。现有基准完全无法测试这种长时程状态管理能力，导致智能体的真实缺陷被掩盖。
本文的目标是本文的目标是构建一个能够真实评估LLM智能体在长时程、多轮数据分析任务中管理演化分析状态能力的基准测试。具体而言，要让智能体在面对依赖跨度长达11.3轮、包含状态继承、更新、反事实扰动、回滚和组合等多种复杂状态演化模式的任务时，仍然能够正确地维护、恢复和应用分析状态。通过这个基准，揭示当前智能体在长时程数据分析中的实际能力边界，为后续改进提供明确方向。
与已有工作不同的是，本文的独特切入角度是将长时程数据分析问题形式化为'分析状态管理'问题，而不是传统的代码生成或工具调用问题。与现有的交互式数据分析基准（如IDA-Bench、Condabench）相比，LongDS不是简单地模拟多轮对话，而是围绕真实世界的工作流精心设计状态依赖关系。每个任务都来自真实的Kaggle分析笔记本，经过专家标注和验证，确保了任务的复杂性和现实性。更重要的是，LongDS明确区分了五种状态演化模式，并系统性地评估每种模式下智能体的表现，这是首次将'状态维护'能力从其他能力中剥离出来进行专门研究。
核心方法
LongDS的构建方法是从真实的Kaggle分析笔记本中提取长时程工作流，然后将其转化为多轮任务。整体思路分为三个阶段：首先收集和筛选高质量的Kaggle竞赛和公开数据集的分析笔记本；然后手动构建三个种子任务，建立任务构建范式；最后使用Codex将剩余笔记本批量转换为任务，并经过专家审查、一致性检查等多轮验证。每个任务都包含用户请求、可执行的参考代码、参考答案、状态演化标签和轮间依赖注解。这种方法确保了基准既真实（来自实际工作流）又可控（有明确的评估标准）。
核心创新点是将'分析状态管理'作为独立的研究对象，并定义了五种明确的状态演化模式：初始构造、继承、更新、反事实扰动、回滚和组合。这与以往将状态管理隐含在'工具调用'或'代码执行'中的做法形成本质区别。例如，'回滚'模式要求智能体在第24轮使用第12轮的定义，而不是第23轮的最新定义；'反事实扰动'要求智能体在第18轮临时使用100分钟阈值计算，但不改变默认状态。这种显式的状态建模使得长时程推理的能力边界可以被精确测量和分析。
方法步骤详情
任务构建的第一步是源数据收集和筛选。团队从Kaggle竞赛和高票公开数据集中筛选出64个来源，每个来源选择4个高质量笔记本，得到256个原始笔记本。然后手动执行和检查，过滤掉数据无法访问、执行不可靠或分析深度不足的笔记本，最终保留36个来源的77个可执行笔记本。第二步是初始任务构建。专家手动从代表性笔记本中构建3个种子任务，遵循三个原则：保留原始分析线索、将轮次设计为可定量评估的问题而非可视化请求、设计逼真的长距离依赖。第三步是使用Codex批量构建。基于3个种子任务，训练Codex掌握任务构建技能，然后将其应用于剩余笔记本，生成77个初始任务。第四步是三阶段精炼和验证。专家审查阶段，三名具有数据科学和NLP研究生背景的专家根据依赖有效性、任务难度和答案可靠性三个质量标准审查每个任务。标注引导验证阶段，使用Codex根据任务标注检查请求、依赖和参考答案的一致性。最终任务检查阶段，选择性移除最终请求中的冗余信息（如重述早期过滤器），确保长距离依赖不会过于明显。最终得到68个任务。
技术新颖性
技术新颖性体现在三个方面。首先是状态演化模式的系统化建模。Table 1明确定义了五种模式，每种模式都有明确的语义区别：Update会覆盖默认状态，Counterfactual只在当前轮次临时应用，Rollback使用早期锚定状态，Composition需要组合多个状态。这种精细的建模使得长时程推理可以被分解为可评估的子能力。其次是半自动化的任务构建流水线。使用Codex进行批量任务构建，同时结合专家审查和一致性检查，既保证了规模又确保了质量。第三是依赖结构的定量刻画。论文定义了依赖广度（每轮依赖多少个先前轮次）和依赖跨度（最远依赖距离），LongDS平均广度为2.9，跨度为11.3，这是现有基准无法达到的复杂性水平。
实验结果
实验结果揭示了当前LLM智能体在长时程数据分析中的严重局限性。在五个最先进的模型中，Gemini-3.1-Pro表现最佳，平均准确率48.45%，GPT-5.4和Claude-4.6-Sonnet分别为43.50%和41.56%，开源模型Kimi-K2.6和DeepSeek-V4-Pro更差。这个成绩远低于短期任务的表现，表明长时程状态管理是真正的瓶颈。性能随任务进展急剧下降，从第一个10%进度区间到最后一个10%区间，准确率下降了近47个百分点。更详细的分析显示，当依赖广度增加时准确率急剧下降（Figure 5b），依赖跨度越长性能越差（Figure 8），状态演化模式越复杂性能越低（Initial > Update > Counterfactual > Rollback）。错误分析进一步揭示了问题的本质：长时程错误（Cascade、Context、State errors）占所有失败的52%-69%，其中级联错误是最大类别。这表明错误的中间状态会传播到后续轮次，而智能体无法在后期检测和纠正这些错误。一个有趣的发现是，增加交互步骤并不一定改善性能。GPT-5.4使用最少的步骤（平均68.57步），Claude-4.6-Sonnet使用最多的步骤（平均170.04步），但后者的准确率反而更低。这表明关键瓶颈不是交互预算，而是维护正确分析状态的能力。Reset实验进一步证实了这一点：在基准准确率低的任务上，重置代码环境会略微改善性能（清除了错误状态），而在基准准确率高的任务上，重置会显著损害性能（移除了有用的累积状态），揭示了恢复性和连续性之间的权衡。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| Overall Average | Accuracy (%) | 48.45 (Gemini-3.1-Pro) | N/A (首次提出长时程基准) | 建立新的评估基准 |
| Education Domain | Accuracy (%) | 77.92 (GPT-5.4) | 58.03 (Gemini-3.1-Pro) | GPT-5.4领先19.89个百分点 |
| Sports Domain | Accuracy (%) | 32.85 (Kimi-K2.6) | 10.52 (GPT-5.4) | Kimi-K2.6领先22.33个百分点 |
| Early vs Late Turns | Accuracy Drop (%) | 47 (从早期10%到晚期10%) | N/A | 揭示性能退化严重 |
| Long-horizon Errors | Failure Rate (%) | 52-69 (所有模型) | N/A | 证明级联错误主导失败 |
局限与改进
作者承认了三个主要局限性。首先是来源多样性限制。LongDS基于公开的Kaggle笔记本和数据集构建，虽然提供了真实的分析工作流，但可能无法完全覆盖专有或生产环境的数据分析场景。这也导致领域分布不均衡，例如体育领域只有3个任务，而地理科学领域有19个任务，这可能影响基准的代表性。其次是任务类型覆盖不全。LongDS强调可定量验证的问题以支持可靠评估，因此只部分覆盖了开放式洞察生成、重度可视化和展示导向的分析。这意味着智能体在某些类型的数据分析能力上可能被低估。第三是构建过程可能引入偏差。尽管手动审查有助于确保任务质量，但最终任务仍可能反映源笔记本或构建过程的偏差。此外，论文没有提供针对领域特定的知识注入评估，所有模型在统一提示下评估，这可能低估了领域知识辅助的潜力。
独立分析的弱点
基于论文的实验结果和错误分析，可以识别出几个独立的弱点。首先，智能体在状态管理方面存在系统性缺陷。错误分布显示State Management Error占失败的重要比例，表明模型无法正确选择、更新或恢复分析状态。例如，当要求回滚到第12轮状态时，模型可能错误地使用第23轮的最新状态。改进方向是显式地为智能体提供状态追踪机制，比如维护一个状态版本图或状态历史的结构化表示，让智能体能够明确查询和导航不同版本的状态。其次，级联错误的传播难以阻断。由于智能体在任务后期减少探索行为（平均每轮步骤从早期到后期下降4.3步），早期引入的错误很难在后续轮次被检测和纠正。改进方向是引入状态验证和一致性检查机制，让智能体定期验证中间结果的合理性，或者采用多个智能体相互审查的策略。第三，跨领域泛化能力有限。GPT-5.4在Education领域表现最佳但在Sports领域最差，Gemini-3.1-Pro则相反，这表明不同模型在不同类型任务上的优势差异明显。改进方向是研究领域自适应的智能体架构，根据任务类型自动调整策略。第四，依赖跨度管理能力不足。Figure 8显示准确率随依赖跨度增加而下降，表明智能体难以从较远的历史中恢复正确的分析状态。改进方向是引入长期记忆机制或关键状态锚定策略，让智能体能够主动保存和检索重要的历史状态。
未来方向
作者提出和可以延伸的未来研究方向包括四个方面。首先是更强的状态感知智能体架构。当前模型隐式地依赖上下文窗口来维护状态，这在长时程任务中显然不足。未来的工作可以探索显式的状态表示和追踪机制，如状态版本控制系统、状态图谱或符号化状态表示，让智能体能够明确地查询、比较和恢复不同版本的分析状态。其次是领域知识增强的长时程推理。AssistedDS等研究已经展示了外部领域知识对LLM的辅助作用，但如何将领域知识与长时程状态管理结合起来仍需探索。例如，在地理科学领域，专业知识可以帮助识别哪些状态变更可能是合理的，哪些可能是错误。第三是多智能体协作模式。论文的Reset实验揭示了恢复性和连续性之间的权衡，这可以通过多智能体分工来缓解：一个智能体负责维护主状态的连续性，另一个智能体负责定期验证和检查，发现问题后触发恢复流程。第四是更丰富的状态演化模式。当前LongDS定义了五种模式，但实际数据分析中可能还有其他模式，如分支探索（同时维护多个并行状态）、状态合并（将多个分支的结果合并）、状态快照（保存完整环境状态）等。扩展这些模式可以进一步挑战和推动智能体能力的边界。第五是长期学习机制。当前智能体在单个任务内无法从错误中学习，未来的工作可以探索跨任务的知识迁移和持续学习，让智能体能够从过去的失败中提取经验并应用到新任务中。
复现评估
论文在复现性方面做得相对完善。LongDS基准、代码和评估工具已在GitHub上开源（https://github.com/zjunlp/DataMind），包括68个任务的完整定义、数据文件、参考代码和评估脚本。任务来源的Kaggle笔记本和数据集在Table 8-13中详细列出，提供了可追溯的URL，确保了基准的透明性。实验使用了DSGYM框架，这是一个公开的数据科学智能体评估框架，评估协议（系统提示、参数设置等）在附录C.1中详细说明。评估使用DeepSeek-V4-Pro作为judge模型，通过盲人审计验证了其可靠性（93.11%一致性，Cohen's κ=0.8623）。对于普通研究者来说，复现论文的主要挑战可能是API调用成本。论文使用了多个专有模型（GPT-5.4、Gemini-3.1-Pro、Claude-4.6-Sonnet），这些模型的调用会产生显著费用。不过，论文也评估了开源模型（Kimi-K2.6、DeepSeek-V4-Pro），研究者可以主要复现这些结果。算力要求方面，由于LongDS任务基于真实Kaggle笔记本，计算开销相对可控，主要瓶颈是LLM推理而非数据处理。总体而言，论文提供了足够详细的信息和开源资源，复现难度中等，主要限制是API访问和成本。
论文图表
