以模拟实现合成：基于可扩展智能体-系统交互的连贯企业数据生成 Synthesis Through Simulation: Generating Coherent Enterprise Data via Scalable Agent-System Interaction
LLM智能体在策略强制API的模拟企业环境中生成数据，结构有效性由构造保证
前置知识
工具调用智能体（Tool-calling Agent）
LLM 不只生成文本，还能通过调用预定义函数（工具）对真实系统执行操作：每个工具带名称、自然语言描述和输入模式，模型根据任务选择工具、填参数、拿到返回结果后继续决策，形成多步轨迹。这是企业 AI 的主流形态。
本文的 Generalist Populator 本身就是这样一个智能体——数据生成完全通过调用模拟环境的 API 工具完成，理解工具调用循环是理解整个方法的前提。
结构有效性与分布保真度
结构有效性指生成数据满足所有业务规则约束（如员工必须引用有效部门、请假不超过累积余额），论文用验证通过率 VPR 度量；分布保真度指数值分布匹配真实世界预期。二者是相互独立的维度：数据可以全部合法但分布失真，反之亦然。
论文的全部贡献围绕解耦这两个维度展开：命题 1 证明结构有效性由构造保证，从而智能体可以专注分布保真度。不理解这个二分法就看不懂论文的问题定义。
Jensen–Shannon 散度（JSD）
度量两个概率分布差异的对称指标，是 KL 散度的平滑版本，总有界。论文定义相似度 $\mathrm{sim}(P,Q)=1-\mathrm{JSD}(P\|Q)/\ln 2\in[0,1]$，1 表示分布相同，0 表示最大差异；数值列则用 Kolmogorov–Smirnov 统计量的补数。
论文的三个保真度指标 MDF、PDF、CDF 全部建立在这个 JSD 相似度之上，读实验结果前必须知道这些 0 到 1 的分数是怎么算出来的。
表格数据合成与冷启动问题
CTGAN、TVAE、SDV HMA、REaLTabFormer 等方法从种子语料学习经验分布逐行生成表格数据。它们需要大规模预填充训练语料——当企业因隐私法规无法导出生产数据时，就没有种子可用，这就是冷启动问题。
这些统计合成器是论文的主要对比基线，冷启动问题（十个环境中七个无种子数据）正是 STS 的切入点之一，也是理解 Figure 3 对比实验的关键。
τ²-bench 与 SFT 微调
τ²-bench 是评估策略约束下工具调用智能体的基准（零售、航空域），用 LLM 裁判核对最终状态是否符合自然语言策略；SFT（监督微调）用示范轨迹对模型做监督训练。TED 是其扩展评估方法，含动态用户模拟和自动错误分析。
论文的下游实验用 τ²-bench 航空域验证核心主张：在 STS 填充的快照上生成 SFT 数据训练出的智能体显著更强，这是实用价值的最终证据。
研究动机
工具调用智能体已成为企业 AI 的核心，训练和评估这类智能体需要大量真实、连贯的企业数据——即预先填充好的数据库快照，让智能体执行操作时不会遇到无效状态。但生产企业库往往含个人敏感数据，受隐私合规限制无法导出共享，数据库模式本身也编码了专有领域模型，企业同样不愿暴露。合成数据是自然替代，但现有两条路线各有硬伤：CTGAN、TabDDPM、GReaT 等统计表格合成器把“真实”定义为特征值匹配训练语料的经验分布，逐行独立生成，没有任何机制强制执行关系型、策略定义的约束——例如员工记录必须引用有效部门和职级代码、请假不得超过累积余额，这类约束在生产系统 API 层以写入时前置条件的形式存在；同时它们需要大规模种子语料，在隐私法规禁止导出生产数据的场景遭遇冷启动，论文实测十个环境中七个没有种子数据。程序化合成（Kamino、IRG 一类）把业务规则编码进生成过程换取结构一致性，但“只规定什么被允许、不规定什么是典型”，缺乏分布保真度，且要为每个新领域手工编写约束编码、工作流脚本和采样规则，人工成本随环境数量增长而急剧恶化。
本文的目标是论文的目标是建立一个同时满足三个相互独立维度的企业数据合成范式。第一，结构有效性由构造保证：定义验证通过率 $\mathrm{VPR}=\frac{1}{M}\sum_{k=1}^{M}\mathbf{1}[r_k(d_n)=\mathrm{PASS}]$，要求任何被环境接受的写入轨迹的终态都通过全部 $M$ 条程序化业务规则检查，即 VPR=1 恒成立。第二，分布保真度覆盖三个粒度：单列边际分布（MDF）、表内列对联合分布（PDF），以及跨表关系——每个父记录的子记录数分布（CDF），所有参考分布锚定于公开行业数据（政府统计、行业报告），确保先验独立于任何合成器。第三，零作者化：不暴露数据库模式、不需要人工编写的意图库和采样器、无需逐环境配置，仅凭工具注册表——企业许可的外部边界——即可推广到任意新领域。最终目标还包括验证实用价值：用 STS 填充的数据库快照训练下游智能体，在 τ²-bench 航空基准上取得可度量的性能提升。
与已有工作不同的是，论文的独特切入是把“何为有效”与“如何生成”解耦给不同的责任方。作者的关键观察是：企业有效性不是单条记录的内在属性，而是关系属性，由 API 层在写入时针对实时数据库状态检查的前置条件 $\phi_t:\mathcal{D}\times\mathrm{Args}\to\{0,1\}$ 编码。既然裁判就是 API 执行层，最可靠的生成方式就是让数据穿过这层裁判——凡是被接受的调用都产出连贯快照。这与所有已有路线本质不同：统计合成器完全绕过执行层，事后无法补救结构错误；τ-bench 用 LLM 事后裁判核对自然语言策略，STS 改用程序化前置条件在写入时刻强制执行，且以数据库快照而非通过率为交付物；EnvScaler、ScaleEnv 等模式特权智能体把模式知识嵌入任务描述，导致实体 ID 在生成时嵌入、执行时过期的硬失败。STS 反其道而行：模式不可见，只给工具注册表，把智能体从验证约束的负担中解放出来专注分布真实感——信息预算严格更少，效果却更好。
核心方法
直觉上 GP 像“只读 API 文档的新员工”：先探索系统搞清有哪些操作、什么依赖什么，再领一个具体任务，最后执行写入，写错了会收到结构化错误并自行修正。技术路线分两层。环境层：十个 SQLite 支持的模拟企业系统（HR、航空订票、IT 服务管理、银行、电商、零售、大学选课、药房、在线论坛、云计算），每个环境只暴露类型化工具注册表 $T$，工具 $t$ 带输入模式 $\sigma_t$ 和前置条件 $\phi_t$，转移函数 $\Psi(a,d)$ 在 $\phi_t(d,x)=1$ 时提交写入得 $d'=\mathrm{apply}(t,x,d)$，否则状态不变并返回结构化错误；验证套件 $V=\{r_1,\dots,r_M\}$ 使任何轨迹终态 VPR=1。智能体层：Generalist Populator 以外层循环执行 $N$ 条轨迹，跨轨迹维护持久化 ExplorationManifest（SQLite 长期记忆），每条轨迹经 EXPLORE、PLAN、EXECUTE 三阶段，清单内容在每阶段都注入上下文。
核心创新是“由构造保证有效性”的解耦设计，形式化为命题 1：对任何通过环境执行的轨迹 $\tau$，VPR=1 恒成立——归纳证明：基例中种子状态 $d_{\mathrm{seed}}$ 平凡有效；归纳步中只有 $\phi_{t_i}(d_{i-1},x_i)=1$ 时写入才提交，从而保持 $V$ 中所有不变量，被拒调用使状态不变。这把企业数据合成的三轴难题（结构有效性、分布保真度、可扩展性）拆成两个独立子问题：有效性全部委托给 API 执行层，智能体专注分布真实感，零约束编码开销。第二个创新是零作者化的 GP：不需要数据库模式、手工任务规范或逐环境配置，仅凭工具签名和自然语言描述就推断实体依赖图和写入采样权重。与 CTGAN/SDV 等逐行独立、无法表达依赖实时状态的过程性约束且需种子数据的方法不同；与 Kamino/IRG 处理的静态声明式约束不同，STS 编码的是写入时检查的动态业务逻辑；对模式特权的 EnvScaler，GP 信息更少却匹配乃至超越其表现。
方法步骤详情
每条轨迹三阶段，外层循环 $N$ 次。第一步 EXPLORE（仅前 $K=3$ 条轨迹执行）：所有写工具被结构化消息拦截，智能体纯靠读调用和签名检查建立心智模型，经专用 manifest 工具把发现写入清单——分类每个工具为只读/状态变更、识别实体类型及其创建工具、从参数模式推断实体依赖顺序、在无参考分布时从世界知识推断写入采样权重。写保护是刻意的：心智模型不完整时过早写入会产生劣质记录。第二步 PLAN：单次结构化 LLM 调用产出任务描述，输入包括完整清单上下文、最近 10 条任务历史（避免重复）和覆盖率检查（标记未用写操作并要求优先）；属性目标有参考分布则锚定，否则由 LLM 世界知识推断；输出如“为金卡用户订往返商务舱”，但故意不含具体 ID，标识符须执行时从实时库发现。第三步 EXECUTE：完整智能体循环，无限制访问全部工具，先读库获取所需实体标识符，再按依赖顺序调用写工具，被拒调用（$\phi_t(d,x)=0$）依据结构化错误自适应调整；轨迹结束后 LLM 审查调用序列做启发式提取，把“晚发现的捷径”（如列出已有预订获取有效航线而非穷举猜测）持久化为命名启发式供未来轨迹复用。
技术新颖性
技术新颖性体现在四点。第一，理论框架：把环境形式化为 $E=(\mathcal{D},T,\Psi,V)$，证明 VPR=1 是环境的性质而非智能体的能力（命题 1），使结构有效性从“难以度量的生成质量”变为“免费的构造保证”。第二，评估体系：基于 JSD 的相似度 $\mathrm{sim}(P,Q)=1-\mathrm{JSD}(P\|Q)/\ln 2\in[0,1]$，数值列用 Kolmogorov–Smirnov 统计量补数，MDF/PDF/CDF 三粒度分别度量边际、表内联合和跨表子记录数分布，参考分布锚定于公开数据，比较对各合成器公平。第三，ExplorationManifest 作为跨轨迹长期记忆：$N=100$ 条轨迹共享探索成果，EXPLORE 成本摊薄到前 3 条，任务历史与覆盖率检查主动驱动分布覆盖。第四，混淆实验设计：把航空环境所有标识符替换为不透明代码（book_object_c、type_b），GP 的依赖图与语义版共享 11 个节点、仅差 2 条边（GEDnorm=0.154），证明依赖推断来自参数模式结构而非语义名称，直接回应企业部署中语义受限的现实。
实验结果
四组核心实验。其一，GP 在全部十个环境达到 VPR=1.0，证实命题 1；分布保真度上 E-commerce MDF 0.983、混淆航空 0.977、航空 0.973（PDF 0.900、CDF 0.949）、IT 管理 0.966、论坛 0.945、HR 0.939，五个环境超 0.93；银行 0.864、云 0.850、大学 0.809、药房 0.804、零售 0.709（但零售 PDF 高达 0.993）；论坛 CDF 0.318 和银行 CDF 0.421 偏低，源于任务比例失衡——参考期望线程中位 3 帖、每账户累计 5–30 笔交易。其二，对统计合成器：七个环境无种子数据致 CTGAN/TVAE/HMA/REaLTabFormer 冷启动不可用；在有种子的三个环境（航空 8 行、零售 10 行、银行 20 行）上 GP VPR=1.0 对离线方法最高 0.923——绕过 API 执行层无法逾越的天花板。其三，对模式特权 EnvScaler（$N=100$）：航空上 EnvScaler 82% 轨迹零写入完全失败（模式嵌入的实体 ID 执行时过期），GP 以 0.973/0.900/0.949 全指标领先；云上 CDF EnvScaler 0.649 略胜 GP 0.610（模式直接编码 FK 层级）；HR 上 MDF 打平 0.939。其四，下游训练：GPT-4.1 在 STS 快照上生成 19 条 SFT 样本（种子版 18 条）微调 Qwen2.5-7B，τ²-bench 航空域 pass@k 从基础 0.286 升至 0.500（+0.214），种子版仅 0.375。消融确认：$K=3$ 是探索甜点（PDF 从 0.813 升至 0.900 后趋平）；去掉 PLAN 三项指标降 0.065/0.062/0.071，往返舱占比从 52.5% 崩至 7.9%（参考 55%）；去掉启发式提取，银行 WO 降 33%、69% 轨迹坍缩为刻板三步序列，HR 零写失败率 0.07→0.12，航空 Calls/WO 翻倍（+96%）。
![TED evaluation [4] of Qwen2.5-7B [26] variants on the τ 2-bench [2] airline benchmark.](/papers/2610.10549/images/table_4.jpg)
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 企业数据合成（十个模拟企业环境） | 验证通过率 VPR | GP 在全部十个环境 VPR=1.0（由构造保证） | CTGAN/TVAE/HMA/REaLTabFormer 最高 0.923（有种子的三个环境） | +0.077，且七个无种子环境基线完全不可用（冷启动） |
| 航空环境数据合成（无模式访问） | MDF / PDF / CDF | GP：0.973 / 0.900 / 0.949 | EnvScaler（拥有完整模式、实时状态与业务规则）：82% 轨迹零写入，全部指标 n/a | 基线完全失败，GP 以更少信息预算完胜 |
| HR 环境数据合成 | MDF / CDF | GP：0.939 / 0.505 | EnvScaler：0.939 / 0.509 | MDF 持平、CDF 仅差 0.004，证明模式特权无边际收益 |
| 云环境数据合成 | CDF | GP：0.610 | EnvScaler：0.649 | −0.039（模式直接编码 vpcs→subnets FK 层级时基线略胜） |
| τ²-bench 航空域下游智能体微调（Qwen2.5-7B） | pass@k | SFT (STS)：0.500 | 基础模型 0.286；种子快照 SFT 0.375 | +0.214（对基础模型）/ +0.125（对种子数据 SFT） |
局限与改进
作者承认的局限：GP 保真度对底层模型质量敏感，两层分布机制对无锚定字段引入模型特定偏差；有效性保证以 API 执行层对业务规则的完备性为条件——部署到真实企业系统要求所有相关约束都在 API 边界编码，可能需要可观工程量；范围限于带显式验证逻辑的关系型 API 数据库，非结构化内容与概率性执行不在覆盖内。我的补充观察：论坛 CDF 0.318、银行 CDF 0.421 的失败暴露任务类型先验的系统性误校准，作者归因于世界知识缺口却未给出自动修复方案，只列为未来方向；每条轨迹 41–118 秒，百万行级填充场景下吞吐堪忧，论文仅以“用例不同”带过；下游实验 SFT 样本极少（19 条对 18 条），pass@k 提升 0.214 的统计功效存疑；验证套件 $V$ 与前置条件 $\phi_t$ 均由环境作者编写，若环境规则弱于真实业务规则，VPR=1 的含金量会打折——存在“自证清白”的风险；论文也未报告与真实企业数据的对照（参考分布来自公开统计而非真实库）。
独立分析的弱点
独立分析五个弱点。第一，任务频率推断依赖世界知识：论坛与银行的 CDF 失败说明 LLM 缺乏对运营偏斜（线程平均 3 帖、账户累计 5–30 笔交易）的先验，改进方向是从种子库统计或领域语料自动校准意图权重，即作者提到的 intent-weight calibration。第二，无参考分布时 PLAN 完全依赖 LLM 世界知识，换模型即换偏差，改进方向是轻量环境画像，或从已生成数据自举迭代修正分布目标。第三，启发式提取靠 LLM 事后审查轨迹，机制脆弱——消融显示无启发式时航空 Calls/WO 翻倍（+96%）、银行 69% 轨迹坍缩为刻板三步序列，改进方向是按工具签名相似度做跨环境启发式迁移，并对启发式做安全性验证防止错误捷径扩散。第四，EXPLORE 仅在前 $K$ 条轨迹运行后永久关闭，执行期发现的新实体类型或依赖无法回写依赖图，改进方向是引入持续探索与清单热更新机制。第五，错误处理是被动的（收到结构化错误后才适应），对航空这类紧耦合工作流可加入预检式读调用或干跑验证以降低拒绝率——EnvScaler 82% 零写入失败的教训正说明主动状态探测的价值。
未来方向
作者明确提出的方向：通过轻量环境画像校准意图权重以弥合 CDF 残余差距；通过工具签名相似度实现跨环境启发式迁移。基于本文成果可延伸：其一，STS 环境自带程序化验证套件，天然适合作为可验证奖励源，把快照从 SFT 数据升级为 RLVR 式训练场；其二，扩展到概率性执行与半结构化数据（JSON/文档型 API），突破关系库边界；其三，多智能体并发填充以解决单轨迹 41–118 秒的吞吐瓶颈，并研究并发写入下的分布协调；其四，验证套件 $V$ 的完备性审计——自动从工具前置条件推导验证规则、检测覆盖缺口，缓解 VPR=1 依赖环境作者水平的风险；其五，把 GP 三阶段框架迁移到真实企业系统的测试数据脱敏生成；其六，下游收益的规模规律：当前仅 19 条 SFT 样本即有 pass@k +0.214，值得系统检验状态多样性收益随数据量、环境数量的扩展曲线，以及跨环境启发式迁移能否进一步摊薄探索成本。
复现评估
复现条件较好。作者完全开源了框架、全部十个环境和生成数据集。算力方面无 GPU 训练压力：GP 依赖 GPT-4.1 做规划、执行与启发式提取，主要成本是 API 推理——每条轨迹 41–118 秒，$N=100$ 条轨迹乘以十个环境再乘多组消融（$K$ 扫描、PLAN 消融、启发式消融）的调用费用不低，但都是标准 API 调用；下游 SFT 仅 19 条样本微调 Qwen2.5-7B，单卡可完成，评估用 TED 方法和 τ²-bench 均有公开实现。基线方面 CTGAN、TVAE、HMA、REaLTabFormer 皆为开源库，附录 J 给出配置；指标定义在附录 C 有完整形式化推导，注册字段清单在附录 D。潜在障碍：GPT-4.1 的非确定性可能影响逐字复现，论文以 95% bootstrap 置信区间（$B=1000$）部分缓解；ExplorationManifest 跨轨迹累积使结果对轨迹顺序敏感。总体而言，代码、环境、数据三要素齐备，是该方向复现门槛较低的工作。
论文图表
