CODA-BENCH：代码智能体能否胜任数据密集型任务？ CODA-BENCH: Can Code Agents Handle Data-Intensive Tasks?

方法可拆为三大阶段、若干子步骤。阶段一（数据密集环境构造）：（a）以 Kaggle 数据集 $D=\{d_1, \dots, d_n\}$ 为节点、Notebook $N=\{n_1, \dots, n_m\}$ 为共现来源，构建加权无向图 $G=(D,E,w)$，权重定义为 $w(d_i, d_k) = \sum_{j=1}^{m} \mathbb{1}[d_i \in D_j \wedge d_k \in D_j]$，即同时出现在同一 Notebook 的次数；（b）使用 Leiden 算法（$\gamma=1.0$）将图划分为 $C=\{C_1, \dots, C_{|C|}\}$ 共 323 个社区，模块度高达 0.711；（c）对每个任务的真实目标数据 $D^* \subset C_k$，将整个社区 $C_k$ 作为评估环境，$C_k \setminus D^*$ 即「领域内干扰」，平均 980 个文件、跨 CSV/JSON/Parquet/PDF/图片，单环境大小 20.3 MB–45.4 GB。阶段二（基于解的任务构造）：（a）用静态分析 + LLM 选出 Notebook 中可验证且非平凡的数值输出作为候选 Anchor；（b）通过静态数据流分析重建 Anchor 的输入文件集 $D_a$ 和转换序列 $T_a = \langle \tau_1, \tau_2, \dots, \tau_k \rangle$，并以数值容差 $\epsilon=10^{-6}$ 重跑计算路径验证唯一性；（c）由 LLM 基于 Anchor 与解路径反向生成自然语言问题，再由人类标注员消除歧义。阶段三（对抗式演化）：（a）从 4 个 LLM 中随机抽 3 个作为判别器集，第 4 个作为生成器；（b）每轮求解率 $r^{(t)} = \frac{1}{K} \sum_{k=1}^{K} \mathbb{1}[F_k(q^{(t)}) = a_q]$；（c）若 $r^{(t)} > \tau=0.667$，生成器通过分析成功轨迹继续简化问题；若 $r^{(t)}=0$，进入诊断分支：判别为 TYPE 1 缺陷（任务错误）则修复，TYPE 3 歧义则改写，否则判定为「真实过难」并拒绝；（d）通过演化后进入人工复核，最终接受率为 72.3%（从生成问题到最终基准）。整个流程的形式化任务定义为元组 $T=(q, F, a^*)$，其中 $q$ 是问题、$F = F_{\text{target}} \cup F_{\text{distractor}}$ 是文件系统、$a^*$ 是真值。

技术新颖性体现在四个层面。第一，**环境真实性的形式化保证**：用数据集共现图 + 社区检测替代人工选题，使干扰文件与目标文件在主题和结构上都相似，但又明确不是答案；这是过去「随机噪声」式基准从未达到的语义层次。第二，**可验证任务构造管线**：Solution Anchor + 数据流反推 + 重跑验证三重把关，把「题目本身的正确性」变成可计算问题；同时支持「答案唯一性」检测，避免多解。第三，**对抗式任务演化算法**：形式化定义了任务难度优化问题并给出 Algorithm 1 的伪代码，阈值 $\tau=0.667$ 和最大迭代 $T=5$ 提供了工程可复现的停止准则；判别器用集成轮替抽样，巧妙避免了「针对某个特定模型优化」的过拟合陷阱。第四，**双指标诊断体系**：Discovery Accuracy（DA）只关心是否找到正确文件，Execution Accuracy（EA）关心端到端答案正确，配合 CODA-HARD 子集，可独立量化「找不到文件」与「代码写错」两类失败。这一指标设计借鉴了信息检索中「召回—精确」的思路，但首次将其与代码生成的端到端正确性结合。

独立审视论文，可识别出五个值得改进的弱点。**弱点 1：判别器池过窄且版本可能过时**——生成器-判别器都用 GPT-5.2、Claude-Sonnet-4.5、Gemini-3.0-Flash-Preview、Kimi-K2 这一代模型，当这些模型升级或被淘汰时，难度校准会失效；改进方向是引入「动态难度」机制：定期用最新 SOTA 重新测一遍 1,009 道题，自动重新标注难度等级。**弱点 2：社区选择的人工干预痕迹**——从 323 个社区中精选 31 个的标准没有完全公开，可能存在选择偏差（如偏向英文 Kaggle 社区）；改进方向是用 LLM-as-a-judge 对所有社区统一打分并报告每个社区的可解性，让社区选择更可复现。**弱点 3：解的「单一性」检查仍弱**——虽然用 $\epsilon=10^{-6}$ 重跑验证唯一性，但对「多解但都正确」的情形（如不同排序顺序）处理粗暴，可能误删一些真实世界中的合理任务；改进方向是引入基于 LLM 的多解聚类与人工复核结合的机制。**弱点 4：缺少对失败过程的诊断粒度**——Figure 7 把错误仅分为 4 类，但实际错误（如文件读取的编码错误 vs 解析错误）需要更细的标签，否则下游研究难以定位改进点；改进方向是引入栈追踪自动归因。**弱点 5：基准过度依赖英文 Kaggle 资源**——任务语言、文档、社区主题全部英文，限制了非英语场景下的可用性；改进方向是引入多语言 Notebook 源（如 Colab 中文教程、GitCode 等）。

作者明确提出的未来工作包括：（a）把 CODA-BENCH 作为平台扩展到更大规模的社区和更长时间窗口的 Notebook；（b）将构建流水线扩展到企业级数据湖场景（百万级文件）；（c）联合评估代码与数据智能以推动「自主数据分析师」的发展。基于本文成果可延伸的方向有四类：（i）**算法层**——专门针对「数据发现—代码生成」耦合设计的检索增强代码生成（RAG-for-Code）方法，把数据发现作为独立检索阶段；（ii）**训练层**——用 CODA-BENCH 1,009 道任务及对抗式演化轨迹作为 RL 训练奖励信号，构造专门面向数据密集场景的微调数据集；（iii）**评测层**——把本文的「oracle vs community」消融推广到更多基准（如 SWE-Bench），建立「数据发现贡献度」这一通用诊断指标；（iv）**多模态层**——当前环境已包含 PDF 和图像文件，但任务仍以表格数据为主，未来可拓展到纯文档问答、视频理解等真正多模态的数据发现任务。

可复现性总体良好，具体体现在：代码仓库已开源于 https://github.com/ruc-datalab/CoDA-Bench，数据集已发布在 HuggingFace https://huggingface.co/datasets/RUC-DataLab/CoDA-Bench；论文附录 E 给出了完整的 Docker 沙箱配置（Python 3.11 + pandas 2.1.0+ + numpy 1.24.0+ + matplotlib 3.7.0+ + scikit-learn 1.3.0+ + openpyxl + pyarrow，4 GB 内存、2 CPU、600 秒超时），目录结构标准化（`/workspace/task_description.txt`、`/workspace/data/`、`/workspace/result.txt`）。复现难度评估如下：**算力门槛**——评测一次 SOTA 系统需要数百次 Docker 运行，每个任务数十分钟，完整复现主表需要至少 100+ GPU 小时；**API 成本**——根据 Table 4，单任务 $\$0.11$–$\$1.39$，1009 道题 $\$110$–$\$1,400$，若做完整 10 个配置对比需 $\$1,100$–$\$14,000$，对个人研究者门槛较高；**关键风险**——Kaggle 数据集授权为 Creative Commons、ODC-BY、PDDL 等开源协议，但商业用途仍需逐数据集核验 License；附录 C 给出的演化算法伪代码可直接实现，但提示工程（evolution strategy JSON）依赖较多经验调优，迁移到新领域时需重写。总体而言，对学术机构而言复现门槛中等，对工业团队则可以低门槛部署评测管线。