数据世界：从零构建可扩展的数据环境

先指定数据背后的生成机制再合成文件与评分标准，为数据智能体提供可审计的环境和RL训练信号

前置知识

数据智能体（Data Agent）

在终端环境中通过编写并执行代码来检查异构文件（CSV、Excel、Parquet、PDF 等）、计算中间量、并给出有证据支撑的分析结论的 LLM 智能体。它通常以 ReAct 式循环交替推理与执行，需要处理跨系统主键对齐、缺失值、单位漂移、模式漂移等真实数据缺陷，最终产出一份可评分的分析报告。

本文的环境、任务与评分标准全部围绕这类智能体的能力设计，评测的十个前沿模型与被训练的 DataWorld-35B-A3B 都是数据智能体。

机制优先合成（Mechanism-first Synthesis）

与『先有数据、再探索数据写任务』的探索式路线相反，先显式指定变量间的生成机制（单调、阈值、饱和、滞后、交互等），构成一张有向无环依赖图，再按机制从零生成数据。因为生成机制已知，任何目标现象都可以从数据中复原并被机器校验。

这是本文的核心洞察（先指定文件背后的世界，再生成文件），不理解它就无法理解为什么评分标准可以不依赖人工探索而获得覆盖保证。

规范状态与观测投影（$X$ 与 $E=O(X)$）

合成世界被分成两层：规范状态 $X$ 是客观真相（真实销量、真实因果结构），观测投影 $E=O(X)$ 是业务系统记录下的带缺陷版本——同一实体在不同系统有不同标识拼写、存在缺失值、重复、延迟、单位漂移与模式漂移，文件间靠未标注外键关联。分析者只能看到 $E$。

任务的难度与可审计性都来自这一真相-观测分离：指定现象必须能从不完美的 $E$ 中复原，但不能一眼看穿，这是理解方法与审计设计的前提。

评分标准奖励（Rubrics as Rewards）与 RL-zero

开放式任务没有唯一正确答案，于是把期望分析拆成原子化正项（有支撑的计算或结论）与负项（明显错误或被反驳的结论），由 LLM 裁判逐项打分并归一化到 $[0,1]$，既是评测指标也可直接作为 RL 奖励。RL-zero 指无 SFT、无强模型蒸馏，只用模型自己的 rollout 加评分标准奖励训练。

本文的基准评分体系与 DataWorld-35B-A3B 的训练完全建立在这套细粒度奖励上，是看懂实验部分的关键。

GSPO（组序列策略优化）

一种序列级策略优化算法：对每个任务采样 $G$ 条回复，用组归一化优势 $\hat{A}_i=(r_i-\bar{r})/\mathrm{std}(r)$，配合长度归一化的序列级重要性比率 $s_i(\theta)$ 与双向 clip 构成目标，避免逐 token 比率在长序列上的高方差。

论文的 RL-zero 训练采用 GSPO（公式 4），组大小为 8，是复现训练和理解奖励机制的关键技术细节。

研究动机

数据智能体的训练与评测同时需要『多样的数据环境』和『能区分有据结论与错误结论的反馈』，但这条供应链在现有做法下两处断裂。其一是多样性与可及性：真实工作流的采集与标注成本高昂，隐私与知识产权限制使企业数据难以复用，Kaggle、政府公开数据等来源的环境数量有限且可能已被预训练污染。其二是可验证性：真实文件背后的数据生成过程不可得，开放式洞察只能靠人工整理参考集或模型近似匹配来评分。论文给出一个典型失败场景：让专家或强模型基于外卖平台的经营记录为『销售额下滑分析』撰写评分标准，它可能只把『促销过期』写入参考答案，而遗漏『餐厅营业时长缩短』这一同样被数据支持的归因；发现后者的智能体拿不到任何分数。十个专家可能给出十种不同解释，因为数据复杂度和未控制的混杂变量让真实机制天然模糊。探索式合成（先探索文件再写任务）把监督质量绑在了策展人或挖掘模型发现能力的上限上。

本文的目标是本文的目标是构建一个能从零规模化合成数据环境的引擎，同时解决多样性与可验证性：不依赖任何真实私有记录，就能批量生成多源异构、跨系统关联的数据文件；并让每个环境自带『已知生成机制』这一标准答案层，使任务与评分标准锚定在生成过程上，而非锚定在策展人对数据的探索结果上。具体产出有三：第一，一个多智能体合成引擎，从依赖 DAG 出发生成规范状态、观测文件，并通过独立审计校验目标现象的可复原性；第二，DataWorld-Bench——50 个留存世界上的 100 道测试题、覆盖 16 个领域，用于测量前沿模型的计算-洞察差距；第三，1,037 个训练世界上的 2,135 道 RL 任务，用于无需轨迹蒸馏的 RL-zero 训练，验证合成环境对下游能力的迁移价值。

与已有工作不同的是，现有环境合成分几条路线，本文的切入角度与它们都不同。探索式任务合成让智能体探索环境后提出任务，但生成过程不可得时，任务与评分标准受限于探索发现的内容，难以规模化且需要额外策展。基于来源的洞察基准（DiscoveryBench、BLADE、InsightBench）从真实数据集出发，参考洞察来自专家标注或模型探索，无法审计『目标发现能否真正从数据中复原』。环境蒸馏类工作（EnvScaler、ASTRA）从已有轨迹蒸馏环境；EnvFactory、Agent World Model、ScaleEnv 从平台名或 MCP 接口合成工具环境，目标是工具调用而非对相互依赖文件的终端式分析。合成数据方面，Synthea 虽也从显式机制模拟医疗记录，但既不关心『分析目标在不完美观测中的可复原性』，也不产出任务与评分标准。本文的独特之处在于把『先指定世界、再生成文件』作为一等公民，并用独立审计把评分标准覆盖性与目标可复原性变成可机检的属性。

核心方法

直觉上，论文把『出题人视角』和『考生视角』彻底分开：出题人掌握世界的全部生成机制与真相，考生（数据智能体）只拿到一堆有缺陷的业务文件。技术上，一个合成世界被形式化为四元组 $W=(G, X, E, I)$：$G=(V,E)$ 是依赖 DAG，节点为变量簇，边为带注记 $\mathrm{note}(u,v)$ 的生成关系（单调、阈值、饱和、滞后、交互等），边方向编码生成顺序与影响；$X$ 是规范状态，即世界的客观真相；$E=O(X)$ 是经观测映射投影出的分析师可见文件；$I$ 是可复算现象集合，即能从 $E$ 重新推导并校验的指定关系或定量发现。整体流水线为 $G \to C \to X \to E=O(X)$：先合成并审计世界，再从通过审计的世界合成任务-评分对 $T$。每个阶段由相互独立的智能体会话执行，会话间不共享对话状态，只通过磁盘上的工件交换信息；每阶段同时留下机器可校验的台账与叙述性自报告，供后续阶段和审计者使用。

核心创新是把评分标准锚定在『生成记录』而非『数据探索』上。附录 A.1 给出直观的信息优势论证：设 $S$ 为从观测环境 $E$ 可复原的全部有效原子发现集合，$R_{\mathrm{obs}}$ 与 $R_{\mathrm{DW}}$ 分别是仅凭文件探索和凭生成记录构建的正项集合，则在同等评分项预算下有 $|S \cap R^*_{\mathrm{DW}}| \ge |S \cap R^*_{\mathrm{obs}}|$，即出题人看到机制后覆盖的有效发现不会少于只看文件，且可能出现严格改进。这与已有方法的本质区别在于：传统方式的参考答案取决于策展人或强模型碰巧发现了什么，而这里机制在数据生成之前就已固定，评分标准天然知道所有被植入的归因路径。配套的关键机制是独立审计：审计者重新计算整个世界，校验每条边的关联模式、全局不变量与 $I$ 中每个现象能否从不完美的 $E$ 复原，且只能给出通过/失败的二元裁决。评分标准还把『数据计算』与『洞察发现』分离，未列出的有效洞察不加分也不罚分，负项捕捉明显错误，使开放式评分变成可核对的过程。

方法步骤详情

流水线分六步。第一步依赖骨架：用 PersonaHub 人物档案提示 LLM 构造依赖 DAG。第二步世界契约：把 DAG 物化为结构化契约 $C$，声明实体与时间线、每条边的生成机制、全局不变量与交付物。第三步分层生成规范状态：按最长路径深度拓扑分层，每层由独立会话执行确定性脚本 $X_{V_\ell}=F_\ell(X_{\mathrm{pa}(V_\ell)};\ \mathrm{seed}_\ell)$，上游只读、事务性提交、依赖检查记入台账。第四步观测投影：独立会话应用 $O$ 注入标识不一致、缺失、重复、延迟、单位漂移等缺陷。第五步独立审计：审计者用自写脚本复算每条边关系、不变量与现象，只给通过/失败裁决。第六步任务合成：按深度分桶选每桶最大入度（因）与最大出度（果）节点，每世界最多 $2K$ 题；出题智能体凭只读生成记录撰写任务与评分对，评估者逐项打分归一化到 $[0,1]$。最终 1,302 个候选世界保留 1,087 个：1,037 个训练世界出 2,135 题，50 个测试世界出 100 题并全项过审计，再用 GSPO 做 RL-zero 训练。

技术新颖性

技术新颖性体现在四处。第一，『可复原性审计』作为一等约束：不同于 Synthea 等只模拟记录的工作，本文显式要求目标现象能从带缺陷观测 $E$ 中复原但不能直接读出，审计者独立复算且只能给出二元裁决，把『任务可解且评分可靠』从希望变成了机检属性。第二，多智能体隔离与台账机制：每层生成、投影、审计均为独立会话，只通过磁盘工件与机器可校验的台账通信，杜绝上下文泄漏伪造的一致性，并留下因果可追溯的生成记录。第三，评分结构设计：正负原子项分离数据计算与洞察发现，评估者逐项归一化，使 RL 奖励既细粒度又可复算；负项统计还能区分『避免错误结论』与『找回目标发现』两种能力。第四，世界不相交的数据划分：测试世界与训练世界完全隔离且须全项通过审计，训练侧宽松过滤，保证基准衡量的是迁移而非记忆。与同期环境合成工作（ScaleEnv、EnvFactory、Agent World Model）相比，本文独有机制级审计与因/果双路线任务生成。

**Figure 2**: Data World synthesis and evaluation pipeline. A dependency DAG and world contract guide layer-wise canonical-state generation; observation projection produces analyst-visible files. An independent auditor checks relationships, invariants, and target recoverability. The generative record grounds tasks and rubrics; the data agent solves tasks from observed files, and a separate evaluator grades its report.

**Figure 3**: Taxonomy shares (%) of the DataWorld-Bench test tasks and Data World RL training tasks.

实验结果

前沿模型在 DataWorld-Bench 上仍受限：最佳总分 74.43（GPT-6-Astra 计算 87.80），洞察发现最高 67.95（Qwen-3.8-Max-0902），最低 MiniMax-M3 49.75；各模型均有 4.87–21.35 分计算-洞察差距。分域上生物信息、运营、能源较易（+7.70/+7.25/+6.21），交通、环境、教育最难（−11.44/−8.50/−6.22）。训练上，RL-zero 的 DataWorld-35B-A3B 对基座 Qwen3.6-35B-A3B 全面领先：DataWorld-Bench 44.70 对 37.64（+7.06）、DAComp +68.00 对 +53.72（+14.28）、DABstep-Hard +46.56 对 +25.66（+20.90）、JobBench 30.43 对 18.31（+12.13）；真实任务重训的 DataMind 在自有基准反而 −0.29。通用能力：MMLU-Pro 持平 84.73%，LCB-Hard 微降 0.85 点，SimpleQA-V 升 1.80 点至 24.00%。

**Table 1**: DataWorld-Bench results (normalized rubric scores ×100, with SD in parentheses). Avg pools all rubric items and need not equal the mean of the two section columns. Best/second-best means are bold/underlined. Rounds count model calls; tokens are prompt plus output of the final call (total) or outputs over the run (response).

**Table 2**: Distribution of triggered negative rubric items across trajectories. Each column gives the percentage of trajectories triggering exactly that many negative items; 3+ is omitted.

**Table 3**: RL training utility: DataWorld-35B-A3B paired per task against its base Qwen3.6-35B-A3B (mean with SD in parentheses). Green/red badges indicate gains/losses relative to the base.

**Table 4**: General-capability and factuality checks for DataWorld-35B-A3B versus Qwen3.6-35B-A3B. MMLU-Pro and LiveCodeBench (LCB)-Hard report accuracy (%); SimpleQA-Verified (SimpleQA-V) reports F1. Higher is better.

**Table 5**: Per-domain scores, following Table 1. Avg pools all 100 test tasks. The bottom row averages domain offsets after removing each model's mean. Each domain has only 6–8 tasks, so individual cells should not be used to rank models.

**Table 6**: Cause versus consequence scores (50 tasks each), following Table 1. Δ = cause − consequence. MDE uses same-world pairs. No model's Δ reaches its MDE.

**Table 7**: RL training resources and settings for the training and rollout workers.

**Figure 4**: Performance as RL training scales over synthesized tasks. Base is the pre-RL model; scores are unscaled, with final gains over Base annotated in points and, where applicable, relative percentages.

查看结构化数据

任务	指标	本文	基线	提升
DataWorld-Bench 留存集（50 个留存世界、100 题，与训练世界完全不相交）	归一化评分标准得分 ×100	DataWorld-35B-A3B：44.70	基座 Qwen3.6-35B-A3B：37.64	+7.06（相对 +18.8%）；对照 DataMind-35B-A3B −0.29、BigBang-v1 +2.41、Occamy-1.0 +4.74
DAComp 开放式数据分析子集（n=200，LLM 裁判按层级评分标准打分）	评分标准得分 ×100	+68.00	基座 +53.72	+14.28（相对 +26.6%）；对照 DataMind +1.07、BigBang-v1 +0.58、Occamy-1.0 +11.13
DABstep-Hard 多步数据推理（n=378，事实型答案二值判定）	通过率	+46.56	基座 +25.66	+20.90（相对 +81.4%，最大单项增益）；对照 DataMind +5.56、BigBang-v1 +8.99、Occamy-1.0 +18.78
JobBench 职业任务主集（n=65，覆盖 35 种职业的文件型专业推理）	事实锚定评分标准得分	30.43	基座 18.31	+12.13（相对 +66.2%）；对照 DataMind +4.63、BigBang-v1 +2.53、Occamy-1.0 +11.87
MMLU-Pro 通用知识保持检查	准确率（%）	84.73	基座 84.73	持平，合成监督未损伤通用知识
SimpleQA-Verified 事实性检查	F1	24.00	基座 22.20	+1.80，事实世界知识略有提升
LiveCodeBench-Hard 编码能力保持检查	准确率（%）	70.29	基座 71.14	−0.85，基本保持

局限与改进

作者承认三点：合成组件耦合紧密、重新生成世界与任务的成本高，无法做穷尽的组件消融，结果只支持框架整体有效而非某个组件的贡献；全合成任务与真实用户提问的分布可能不同，人工真实感筛选并不能代表真实请求的模糊性、隐含语境与演化目标；机制锚定的评分标准无法穷尽所有有效发现，LLM 裁判可能引入偏置，替代洞察可能得不到应得的分数。我的补充观察：其一，裁判高度集中——表 1 与表 3 都用 Gemini-3.8-Flash 单次判定，而 RL 训练奖励甚至用被训练的基座模型自任裁判，奖励黑客与裁判偏爱的风险未量化；其二，每域仅 6–8 题，模型级分域结论只有指示性；其三，观测缺陷来自一组显式清单（缺失、重复、单位漂移等），智能体可能学会『识别本文式缺陷』的模式而非通用分析能力；其四，外部基线 DataMind 被作者重训（不同骨干与上下文），作者也承认这只能说明整体训练效用而非数据配方的因果贡献；其五，未对比『合成 vs 真实数据』的相对价值，机制真实性缺少外部校验。

独立分析的弱点

第一，机制真实性风险：生成机制限定为单调、阈值、饱和、滞后、交互等函数形式并由 PersonaHub 人物驱动，智能体长期训练可能学到『合成数据风格』先验（例如总存在一条干净的因果路径），在真实杂乱数据上泛化存疑；改进方向是从真实公开数据拟合机制参数后再重新合成，或刻意引入机制歧义以训练证据权衡能力。第二，奖励闭环风险：RL 用基座模型自评奖励，模型可能学会写『裁判喜欢』的报告而非真洞察；建议引入多裁判集成、利用审计台账构造程序性奖励、并周期性人工校准。第三，基准规模小：100 题、每域 6–8 题，无法做模型级分域排名，置信区间宽；可随引擎扩容到每域数十题并发布分层 bootstrap 显著性工具。第四，观测缺陷模式固定：任务难度强依赖 $O$ 的设计清单，可把观测系统参数化并做难度消融。第五，单裁判单次评分：跨裁判一致性（如 κ 系数）未报告，建议公开多裁判协议。第六，工程耦合：世界-任务-审计强耦合导致无法单独替换组件做对照实验，可考虑把审计器做成可插拔接口。

未来方向

作者提出的方向：把引擎定位为真实数据的补充来源而非替代，发布前需审查敏感内容，用于高风险决策领域前需独立验证与人工监督。基于成果可延伸的方向：其一，把『机制优先』范式迁移到其他智能体领域——软件工程、网页操作、科学实验设计，凡是能写出可执行生成机制的环境都适用；其二，混合合成：对真实公开数据集反向拟合生成机制（因果发现加结构学习），再据此重生成带已知答案的变体，兼顾真实性与可验证性；其三，课程式 RL：利用 DAG 层级和因/果路线构造由浅入深的课程，或按审计日志定位智能体失败层级定向采样任务；其四，过程奖励：台账记录了每层依赖检查结果，可作为逐步骤的过程监督信号而不仅是结果奖励；其五，裁判研究：跨裁判一致性、裁判集成、基于生成记录的可验证裁判，以缓解本文自认的评分偏置；其六，把 4.87–21.35 的计算-洞察差距作为诊断工具，研究缩小差距的训练目标，例如提高洞察类评分项的奖励权重。

复现评估

论文标注了 GitHub、Hugging Face 与项目页链接（正文为占位符，实际开放程度以发布为准）。可复现信息较完整：全流程构建用 GLM 5.3（Claude Code harness）；评测用开源 mini-swe-agent，裁判为 Gemini-3.8-Flash API 单次判定；训练底座为开源 Qwen3.6-35B-A3B，训练栈为 slime 加 Megatron-LM 加 SGLang，GSPO 组大小 8，Adam 恒定学习率 $10^{-6}$，rollout 温度 1.0，最大上下文 262,144 token；算力为 48 张训练加 64 张 rollout H20-3e GPU，对中小实验室门槛较高。复现难点有三：多智能体流水线的工程复杂度（分层生成、只读约束、审计脚本需自行实现，提示词细节未完全公开）；合成成本（1,302 个世界的 LLM 调用量可观）；对闭源 API 的依赖（GLM 5.3、Gemini-3.8-Flash）。若数据与代码如期开源，复现评测与 RL 训练难度中等偏高，复现引擎本身难度高。

数据世界：从零构建可扩展的数据环境 Data World: Scaling Data Environments from Scratch