CoDA：仿真数据引擎与动作策略的协同进化 CoDA: Co-Evolution of Data Engines and Action Policies
共享记忆让出题人与考生共同进化：失败诊断既指导生成环境又转化为稠密监督。
前置知识
生成式仿真
利用编码智能体和大语言模型自动合成仿真环境的技术路线：LLM 直接编写可执行的场景程序，生成资产、铰接结构、任务规格，甚至由语言模型撰写伴随任务的奖励函数。代表工作有 RoboGen、SceneSmith、SimFoundry 等，使环境构造从人工设计变为自动化流水线。
本文的研究前提是『环境不再稀缺』，真正的问题变成『哪些环境值得生成』。理解生成式仿真能力与局限，才能理解 CoDA 为何把重心放在环境筛选与训练信号上。
视觉-语言-动作（VLA）模型与动作分块
VLA 模型以图像和语言指令为输入、直接输出机器人动作，如 π0.5（3B 参数、流匹配动作头）和 OpenVLA-OFT（7B）。动作分块指策略一次预测一段连续动作（本文 $h=8$ 个控制步）并开环执行，是 Q-chunking 类强化学习的基础，也让值函数以动作块为单位评估。
CoDA 的策略骨干是 π0.5，其值 critic 的输入输出、动作块端点势函数塑形、以及部署时无需 critic 的设计都建立在动作分块范式之上。
基于势函数的奖励塑形
Ng 等人 1999 年的经典结果：把奖励改为 $\tilde{r}_t = r_t + \beta(\gamma\Phi(s_{t+1}) - \Phi(s_t))$，其中 $\Phi$ 是定义在状态上的势函数，则在适当边界条件下不改变原任务的最优策略。它提供稠密反馈却保留任务语义，避免合成奖励偏移行为目标。
Text2potential 的理论根基即在于此：编译出的势函数只为值学习 densify 目标，不替换任务谓词 $\nu$，论文反复强调这一『保持最优策略』的性质是与语言奖励合成的本质区别。
优势加权回归（AWR）
一种离策略策略改进方法：用 critic 估计优势 $A(o,a)=Q_\phi(o,a)-\frac{1}{j}\sum_{a'}Q_\phi(o,a')$，再以 $\exp(A/\lambda)$ 加权行为克隆损失做监督学习更新策略。权重不需要动作密度评估，因此对流匹配、扩散等策略都适用。
CoDA 的策略更新公式就是 AWR，理解它才能明白值 critic 如何间接驱动策略、以及为何候选动作块加权平均的采集方式与部署时的纯策略推理可以解耦。
情景-语义-程序性分层记忆
借鉴认知科学与语言智能体记忆组织（如 Summers 等的综述）：情景层保存带时间戳的具体事件记录，语义层把记录抽象为可复用的模式与约束，程序性层沉淀为可执行的技能或程序。三层由具体到抽象、由证据到行动。
CoDA 的共享异构记忆正是按此三层组织：构造轨迹与 rollout 证据（情景）、困难模式（语义）、生成与训练程序（程序性）。读懂这一结构才能理解诊断如何变成可复用资产。
UCB 课程分配与自动课程学习
自动课程学习（ACL）按学习潜力、后悔值或参数变化等信号为环境/任务分配训练预算；UCB（置信上界）规则在利用（选当前最有价值的项）与探索（尝试新项）之间平衡，常以均值加不确定性项打分。POET、Prioritized Level Replay 是代表。
CoDA 每轮用 UCB 在困难模式间分配生成预算，辅以 15% 新环境与 10% 重放配额，是『实测学习进步反过来指导生成』这一闭环的具体实现。
研究动机
仿真已成为机器人操作数据的主要来源，但环境构建长期是瓶颈：每个环境需要任务设计、语义合适的资产、合理布局与训练信号，传统上全部由人工指定。生成式仿真（编码智能体合成场景、铰接结构与任务规格，语言模型撰写奖励函数）大幅降低了成本，却带来一个被忽视的新问题：物理有效的环境并不等于对训练有用。现有数据引擎有三种典型做法——在人工指定范围内采样变化（如 SimFoundry 的均匀变体）、迭代修饰场景直至物理有效（如 SceneWeaver/SAGE）、或按每任务成功率分配生成预算（如 SimWorld Studio 的标量反馈）。这些信号只能回答『环境是否有效』『当前策略表现如何』，无法度量『策略通过在该环境训练能进步多少』。缺少这种反馈，生成器会把预算浪费在策略已掌握、或当前还学不会的环境上。数据印证了这一点：π0.5 经监督微调后在四个操作任务族上的分布外（OOD）成功率仅 5.3%，均匀变体生成也只有 8.5%，盲目堆数据的收益非常有限。
本文的目标是本文要构建一个闭环框架，让仿真数据引擎与动作策略协同进化，自动回答两个耦合的问题：下一步该构建什么环境？用什么监督帮助策略从这些环境中学习？具体拆成三个子目标。第一，把策略失败诊断——由视觉-语言 critic 从 rollout 证据中产出并定位到单一生成因子与轨迹阶段——转化为可复用的知识，既能指导引擎生成重现困难的环境，也能编译成帮助策略克服困难的训练程序。第二，在稀疏的成功谓词之外提供稠密的训练监督，同时保证不改变任务最优策略，以缓解长序列依赖子任务下值学习缓慢的问题。第三，用实测的学习进步反向指导生成预算分配，并让积累的经验能跨任务族（通过符号角色重绑定）与跨策略骨干（冻结记忆直接迁移）复用，避免每个新任务、新模型都从零开始。
与已有工作不同的是，与已有工作的关键区别在于切入角度。课程学习方法用后悔值、学习潜力等标量挑选环境，POET 共同进化智能体与参数化环境，但其环境是参数向量而非可执行的程序化场景；Eureka、Text2Reward 等语言奖励合成依赖人类描述 rollout 中的失败、且直接替换任务奖励，可能诱导偏向非任务完成的行为；Q-Planning 用 Q 函数改进动作选择但冻结基础策略；RoboGen 生成任务-场景-监督但无跨轮记忆。CoDA 的独特之处有三：其一，失败不是笼统记录，而是由 critic 归因到引擎能直接修改的单一因子（任务/空间/属性）与五个轨迹阶段之一，形成 $\psi=(\delta,p,c,e)$ 四元组诊断，诊断与生成共享同一套因子化场景表示；其二，同一经验编译成『生成程序』与『训练程序』两种产物，通过共享异构记忆把场景生成与策略学习在数据层面链接起来，形成真正的双向闭环；其三，稠密监督以势函数塑形而非奖励替换的方式引入，理论上保持最优策略不变，规避了语言奖励合成的行为偏移风险。
核心方法
直觉上，这是让『出题人』与『考生』共享一本错题本。数据引擎 $G$ 是工具增强的编码智能体，通过 SDK 的 set_task、set_layout、set_attributes 三个接口写可执行场景程序，每个程序定义环境 $s=(\tau,\sigma,\alpha)$——任务因子 $\tau$（目标谓词、指令、初末状态）、空间因子 $\sigma$（位姿、支撑/包含关系、净空、遮挡）、对象属性因子 $\alpha$（几何、尺度、质量、摩擦、铰接、外观）——并输出机器可校验的稀疏成功谓词 $\nu$，三个因子可独立扰动。策略 $\pi_\theta$ 在环境中收集 rollout，视觉-语言 critic $C$ 结合场景与交互证据产出失败诊断。所有证据流入三层共享记忆：情景层是追加式轨迹库，记录场景程序、验证结果、每环境 $N=16$ 次 rollout 的成功率与训练带来的学习进步；语义层把记录按『因子-阶段对 + 原因相似度』在线聚类为困难模式，每个模式带硬度（成功率，越低越难）与重要性（训练前后成功率的变化）；程序性层把通过对照实验验证的模式编译成生成程序 $\Omega$（重现困难）与训练程序 $\Phi$（Text2potential 产出子目标、势函数与学习工具）。每轮用 UCB 按硬度与重要性分配预算，生成『靶向批次 + 对照批次』验证困难模式的因果性，随后训练策略、实测学习进步并反馈下一轮。
核心创新有三点，且相互咬合。第一，失败诊断的双重编译：同一个经对照验证的困难模式被编译成两个互补程序——生成程序教引擎『如何重现并沿单一因子变化这个困难』（保留父场景程序、有效变体、以符号角色表达的 relational 结构），训练程序教策略『如何克服它』（子目标分解、阶段化势函数、按成功率路由的学习工具）；两者都以困难模式为索引、跨任务可复用，这使数据生成与策略训练首次共享同一份结构化经验，而非单向管线。第二，记忆的『分叉』设计：生成器靠上下文学习在轮次间适配，策略靠梯度更新学习，两者学习机制不同，所以同一份语义知识应编译成两套专用接口。消融（Table 5）显示两者都用达 27.6%，超过任何单一存储方案（原始轨迹检索 20.1%、蒸馏洞察 21.6%、Voyager 式技能库 21.0%）以及只保留单侧程序（22.8%/22.1%）。第三，Text2potential 把失败诊断（而非任务描述）编译成阶段化势函数，为动作块的值学习提供稠密目标；由于塑形项只在动作块端点求值且符合势函数塑形形式，它在标准假设下保持原任务最优策略，这与『生成→训练』解耦、『诊断→双重编译』一起构成与以往方法的本质区别。
方法步骤详情
完整流程五步。第一步播种与场景表示：从资产池（Objaverse 1200 个刚体、ArtiCraft-10K 300 个铰接体、TableVerse 500 个布局）采样对象，引擎提出任务并写出场景程序与成功谓词 $\nu$，无验证器的提案直接丢弃；每个场景须通过无碰撞放置、短时被动仿真的静态稳定、合理度量尺度三道校验，失败程序不入训练但留存记忆供后续生成参考。第二步记忆构建：critic $C$ 输入 rollout 视频、接触信息、关节状态与 $\nu$ 的逐步输出，产出诊断 $\psi=(\delta,p,c,e)$，其中 $\delta\in\{\text{TASK},\text{SPATIAL},\text{ATTRIBUTE},\text{EXECUTION}\}$，$p$ 为接近/抓取/搬运/放置或插入/释放五阶段之一；记录按 $(\delta,p)$ 与原因相似度聚类为困难模式 $K_j$，重要性 $w_j$ 是模式级学习进步的滑动分数。第三步记忆引导生成：预算的 $\varepsilon=0.15$ 给全新环境、0.10 给重放（检测性能回退），其余按 UCB（系数 1）选择模式；对每个候选模式生成靶向批次（只变诊断因子）与对照批次（变其他因子，每批 $B=64$），仅当靶向变体的策略成功率显著低于对照才确认该模式；变体成功率落在成功带 $[0.2,0.8]$ 内时程序入 $\Omega$，带外则移除。第四步 Text2potential：映射 $\mathcal{R}_{\text{shape}}:(\psi,g,\Phi_j)\mapsto(g_{1:m},\text{done}_{1:m},\phi_{1:m},\text{tool}_{1:m})$，在诊断阶段 $p$ 处把任务切成 $m\le 4$ 个子目标，$\text{done}_m\equiv\nu$，完成谓词被要求累积满足；阶段化势函数 $\Phi(s)=k^*(s)+\phi_{k^*+1}(s)$（$k^*(s)<m$ 时）否则取 $m$，其中 $k^*(s)=\sum_k \text{done}_k(s)$；塑形 $\tilde{r}_t=r_t+\beta(\gamma\Phi(s_{t+1})-\Phi(s_t))$，块内求和 $\sum_{i=0}^{h-1}\gamma^i\tilde{r}_{t+i}=\sum_{i=0}^{h-1}\gamma^i r_{t+i}+\beta\gamma^h\Phi(s_{t+h})-\beta\Phi(s_t)$ 只需端点势函数；程序经语法与运行时检查、至多两轮修复。第五步策略训练：值 critic $Q_\phi(o_t,a_{t:t+h})$（DINOv2-B + T5-base 编码器、四层 transformer 解码器）以分类型值回归训练（101 个 bins，区间 $[-\beta m_{\max},1]$，$\beta=0.5$，$\gamma=0.99$，EMA 目标网络 $\tau=0.005$）；采集时采样 $j=8$ 个候选块、按温度 0.5 的 softmax 加权平均执行；每轮 $K_Q=20000$ 步 critic 更新（batch 256）加 $K_\pi=5000$ 步策略更新（batch 64），策略按优势加权回归 $\mathcal{L}_\pi=\mathbb{E}[\exp(A/\lambda)\,\ell_{\text{BC}}]$ 更新（$\lambda=1$）；成功率近零且有 planner 演示的模式先做行为克隆，带内用 Text2potential 塑形，带外周期复评；模式耗尽或学习进步停滞 2k 步触发新一轮。
技术新颖性
技术新颖性可从四个层面评估。反馈信号层面：以往协同进化（SimWorld Studio）用每任务成功率这一标量，CoDA 用『因子-阶段-原因-证据』四元组结构化诊断，并用靶向/对照双批次做因果反驳——18.2% 的 critic 诊断因此被剔除，人工一致性从 73.6% 升至 82.4%，这种『诊断须经对照实验验证才入程序记忆』的机制是新的。记忆架构层面：情景-语义-程序性三层组织借鉴语言智能体记忆，但『分叉编译』——同一证据按消费者的学习机制编译成上下文学习用的生成程序与梯度学习用的训练程序——是本文提出的设计，Table 5 证明两者互补且收益超简单相加。监督学习层面：与 Eureka/Text2Reward 输出自由形式奖励不同，Text2potential 输出受限的势函数，理论上 $A^\Phi=(Q-\beta\Phi)-(V-\beta\Phi)=A$ 保持动作优势不变，且只需块端点求值、与动作分块 RL（Q-chunking）天然兼容；消融显示『用诊断而非任务描述生成势函数』贡献 3 个百分点（24.6%→27.6%），『势函数而非自由奖励』贡献 4.1 个百分点（23.5%→27.6%）。可复用性层面：程序以符号角色（target/obstacle/support）而非具体对象实例表达，跨任务族 lifting 的角色匹配在几十个对象的场景中毫秒级完成，使经验能跨任务族（迁移程序达目标族内学习进步的 60.3%，同预算从头学仅 35.8%）与跨骨干（π0.5 记忆冻结迁移使 OpenVLA-OFT 从 3.8% 到 21.1%）复用，这是把『数据引擎经验』变成可迁移资产的关键一步。
实验结果
主实验在 MuJoCo 中四个操作任务族（pick-and-place、铰接开合、put-inside、堆叠/插入）上进行，每族一个同分布套件加四个 held-out 套件（各 100 环境，分别测试未见对象实例、布局、任务、类别），骨干为 π0.5，结果为三种子均值±标准误。Table 1：CoDA 平均 OOD 成功率 27.6%，对比 SFT 5.3%、域随机化 7.9%、均匀变体 8.5%、标量反馈协同进化 18.1%、同 critic 去掉记忆 19.2%——即以同样接受环境预算超过最强闭环基线 9.5 个百分点；同分布成功率 39.4%。Figure 3 显示把轮数从 5 扩到 15，OOD 升至 42.1%，而均匀/随机化/标量反馈的额外增益小得多，且后期每轮增益递减、无记忆版本出现两次暂时回退。LIBERO-Pro（Table 2）：15 轮训练把 π0.5 在位置扰动下从 0.25 提到 0.84、指令扰动下从 0.01 提到 0.76，标准 LIBERO 保持 0.974（适配前 0.971）；整体超 code-as-policy 基线 ASPIRE 7 与 9 个百分点，在 Goal 与 Spatial 套件双扰动下最强，ASPIRE 仍居 Object 套件第一。Critic 消融（Table 3）：GPT-5.5 27.6%、Claude Opus 5 26.1%、InternVL3-78B 25.7%、Qwen3-VL-235B 24.9%，四个模型全部至少超标量反馈基线 6.8 个百分点，且诊断质量（被反驳率 18.2%–27.5%、人工一致性 73.8%–82.4%）与最终成功率排序一致。Text2potential 消融（Table 4）：完整方法 27.6% vs 仅稀疏奖励 22.3%；到 25% OOD 需 21k 步 vs 31k 步（省约 32% 更新）；用任务描述而非诊断生成势函数降到 24.6%，无精炼 26.1%，自由形式非势函数奖励 23.5%，冻结策略仅用 Q 加权选择 21.4%。记忆设计（Table 5）：完整分叉记忆 27.6%、无记忆 19.2%、仅生成程序 22.8%、仅训练程序 22.1%、单存储变体 20.1%–21.6%、任务绑定程序（无 lifting）25.4%；达 25% OOD 需 5 轮 vs 无记忆 14 轮。跨任务迁移（Table 6）：迁移程序平均保留目标族内学习进步的 60.3%，同 LLM 预算从头学仅 35.8%，所有跨族组合均占优。跨骨干迁移（Table 7）：π0.5 收集的记忆使 OpenVLA-OFT 从 3.8% 升至 21.1%，反向为 5.3%→25.8%，均与全流程跑目标骨干差距在 2 个百分点内。生成质量与成本（Table 8/9）：88.9% 场景过物理校验（均匀 71.3%），覆盖熵 3.18 bits（均匀 3.42），靶向精度 66.7% vs 24.6%；自适应调度每千接受环境 7.4M tokens、25.1 仿真时、66 GPU 时，比固定调度省约 11% 且成功率从 26.1% 升到 27.6%。Figure 5 显示塑形使同分布学习加速约 20k 步、两 critic 动作选择收敛后一致率约 97%。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 四操作任务族分布外泛化（MuJoCo，π0.5） | 平均 OOD 成功率 (%) | 27.6（5 轮）/ 42.1（15 轮） | SFT 5.3；标量反馈协同进化 18.1；均匀变体 8.5；域随机化 7.9；同 critic 无记忆 19.2 | +9.5 个百分点（vs 最强闭环基线，同生成预算）；15 轮下相对 SFT 约 7.9 倍 |
| LIBERO-Pro 位置扰动泛化 | 成功率（Overall，三套件平均） | 0.84（15 轮） | π0.5 原始 0.25；ASPIRE 0.77 | 相对 π0.5 +59 个百分点；超 ASPIRE +7 个百分点 |
| LIBERO-Pro 指令扰动泛化 | 成功率（Overall） | 0.76（15 轮） | π0.5 原始 0.01；ASPIRE 0.67 | 相对 π0.5 +75 个百分点；超 ASPIRE +9 个百分点 |
| 跨骨干记忆迁移（冻结 π0.5 记忆训练 OpenVLA-OFT） | OOD 成功率 (%) | 21.1 | 无记忆 SFT 3.8 | +17.3 个百分点，且无需额外环境生成 |
| 场景生成靶向精度 | 落在成功带的变体比例 (%) | 66.7 | 均匀变体 24.6 | +42.1 个百分点（同时物理校验通过率 88.9% vs 71.3%） |
| 值学习效率（Text2potential vs 稀疏奖励） | 达 25% OOD 所需策略更新步数（千） | 21 | 仅稀疏验证器 31 | 减少约 32% 策略更新 |
局限与改进
作者在附录 D 承认四点：一是框架依赖基础模型完成场景生成、失败诊断与势函数编译，这些模型对物体、物理交互或任务要求的理解错误会传导到场景与训练信号质量，物理校验和对照实验只能检测其覆盖范围内的错误；二是结果随底层模型版本变化（如 GPT-5.5 换代），可复现性依赖模型配置；三是生成环境、评估 rollout、验证诊断都需要额外仿真与推理，固定预算下限制了可探索的轮数与任务族；四是评估局限于仿真操作，真实机器人迁移未经验证，尤其对接触动力学、传感与执行差异敏感的任务。我的补充观察：其一，成功带 $[0.2,0.8]$、最大子目标数 $m_{\max}=4$、五个离散轨迹阶段等设计都偏向短时程桌面操作，向长时序、更细粒度阶段的任务外推时可能失效；其二，诊断质量直接受 VLM 空间推理能力制约，最弱的 Qwen3-VL-235B 已损失 2.7 个百分点、被反驳率升至 27.5%，说明该环节是明显的质量瓶颈；其三，势函数塑形的『最优策略不变』只对精确值成立，对学习中的 critic 与策略的影响仍靠经验评估，论文自己也承认这一点；其四，每千接受环境 66 GPU 时与 7.4M LLM tokens 的成本即便经自适应调度优化，仍远高于均匀采样（38 GPU 时），大规模应用的经济性存疑；其五，EXECUTION 类失败与场景因子失败的占比和处理效果论文未充分报告，若执行类失败占比高，环境生成的边际收益会被稀释。
独立分析的弱点
第一，对基础模型的强依赖与结果波动：诊断质量决定记忆质量，把 GPT-5.5 换成 Qwen3-VL-235B 后 OOD 从 27.6% 降到 24.9%、被反驳诊断比例从 18.2% 升到 27.5%，模型换代也会改变结果。改进方向：引入多 critic 投票或校准的不确定性估计，对低置信度诊断强制更多对照实验，或训练小型专用诊断模型替代通用 VLM 以降低方差与成本。第二，任务结构先验偏窄：五个固定轨迹阶段、$m_{\max}=4$、成功带 $[0.2,0.8]$ 等离散化适合抓取-放置类短链任务，面对长时序多阶段任务（如全厨房清理）阶段划分和子目标数量都可能不够。改进方向：让子目标分解本身随诊断自适应深化（层级扩展），或按学习进度课程式增长 $m$。第三，仿真-现实鸿沟未被处理：所有结果来自 MuJoCo 与生成 3D 资产，接触动力学与真实差异大，且真实机器人上无法获得 $\nu$ 的逐时间步输出供诊断使用。改进方向：加入少量真实 rollout 的反馈通道校准诊断与势函数，或用域随机化之上的真实微调阶段。第四，调度与记忆管理超参多而敏感：$\varepsilon=0.15$ 新环境配额、0.10 重放、UCB 系数 1、8 个模式阈值、2k 步平台期触发等，复现时需要仔细调校。改进方向：把这些阈值改为从学习进步曲线自动估计的自适应规则（论文的自适应调度已迈出一步，可进一步元学习化）。第五，记忆容量与检索扩展性：论文报告了记忆规模消融但未讨论模式数增长到数百上千时的检索质量、冲突消解与陈旧程序淘汰策略；跨任务族迁移依赖角色匹配在『几十个对象』内穷举可行，场景更大时需要近似匹配与一致性验证。改进方向：引入向量检索 + 符号校验的混合索引，以及基于长期学习收益的程序老化机制。
未来方向
作者明确指向的方向：把框架迁移到真实机器人，尤其是对接触动力学、传感与执行差异敏感的任务；降低计算成本以在固定预算下支持更多轮数与任务族；加强对基础模型错误的检测覆盖。基于其成果可自然延伸的研究：其一，把程序提升（lifting）从跨任务族扩展到跨本体（不同机器人运动学）与跨仿真器，检验符号角色表示的极限；其二，让记忆持续积累形成『通用困难本体』，进而与 VLA 预训练结合——用困难模式指导预训练数据配比或采样，把协同进化从微调阶段前移；其三，Text2potential 的阶段化势函数可移植到在线 RL（替代当前的离线加权回归）或测试时搜索（作为 MCTS/beam search 的进展引导值），Figure 5 显示塑形 critic 与稀疏 critic 的动作选择最终一致率 97%，说明其价值主要在加速收敛，这暗示可训练后丢弃；其四，扩展到双臂/多智能体操作，困难模式中的角色关系会更丰富（协作遮挡、双手协调），也更能检验对照验证机制；其五，与学习世界模型结合，把势函数作为世界模型 rollout 的进展判据或终止条件，实现『先在世界模型里模拟课程再上真仿真器』的两级生成；其六，把自适应调度与难度预测模型结合，从『UCB 探索哪些模式值得生成』升级为『预测哪些模式的学习收益最高』，进一步压缩 7.4M tokens/千环境的开销。
复现评估
复现信息非常详尽，属于可复现性较好的工作。附录 B 给出完整实现细节：MuJoCo + 7-DoF Franka Panda，前置与腕部 224×224 RGB 相机，10 Hz 控制，7 维动作（末端位姿增量 + 夹爪），动作块 $h=8$；资产池明确（Objaverse 1200 刚体、ArtiCraft-10K 300 铰接体、TableVerse 500 布局）；所有 LLM 组件（引擎/诊断/编译）默认 GPT-5.5，并提供 Claude Opus 5、InternVL3-78B、Qwen3-VL-235B 的替换结果；超参齐全：LoRA rank 32、学习率 $10^{-5}$、$\beta=0.5$、$m_{\max}=4$、$\gamma=0.99$、EMA $\tau=0.005$、$j=8$、温度 0.5、$K_Q=20000$（batch 256）、$K_\pi=5000$（batch 64）、每族 320 接受环境/1280 planner 演示/2.5M tokens、$B=64$ 靶向 + 64 对照、$N=16$ rollouts、$C=32$ 失败样本、成功带 $[0.2,0.8]$ 等。项目网站 plan-lab.github.io/coda 已上线，但论文正文未明确声明代码开源，复现前需确认。算力门槛：每千接受环境约 66 GPU 时与 7.4M LLM tokens，主结果 5 轮 × 4 族约 1280 接受环境，另有 GPT-5.5 API 费用，总体是中高成本学术实验，拥有多卡 A100 级集群与 LLM API 预算的实验室可以承受。难度评估：中高——这不是跑一个脚本的复现，而要搭建场景生成引擎、视频诊断流水线、势函数编译器、分类型值回归与 AWR 训练的完整系统，工程复杂度高；不过各组件都有公开对应物（openpi、DINOv2、T5、cuRobo、LIBERO-Pro），且论文的消融表足够细，允许分组件复现验证。最大不确定因素是 GPT-5.5 版本依赖，可能造成诊断与编译环节的结果漂移。
论文图表
三幅曲线/柱状图展示协同进化的动态过程：(a) OOD 成功率随每族接受环境数（0–960+）增长，CoDA 显著领先且 15 轮达 42.1%，其他方法增益趋平；(b) 每轮新进入训练、保留继续训练、移出记忆的困难模式数量，附跨任务族复用的生成程序数；(c) CoDA 每轮 OOD 增益（百分点）明显高于标量反馈，且后期递减。
证明性能提升确实来自『生成-训练』闭环的迭代积累而非一次性数据量，还揭示了模式生命周期与收益递减规律。
跨骨干迁移：π0.5 收集的记忆让 OpenVLA-OFT 达 21.1%（其无记忆 SFT 仅 3.8%），反向 OpenVLA-OFT 记忆让 π0.5 达 25.8%（基线 5.3%）；与各自全流程（27.6/22.7）差距在 2 个百分点内。
证明共享记忆沉淀的是关于『任务困难』而非『特定策略怪癖』的知识，可零生成成本地加速新骨干训练。
成本对比：均匀变体 3.1M tokens/14.2 仿真时/38 GPU 时（OOD 8.5%），标量反馈 4.6M/22.5/51（18.1%），CoDA 固定调度 8.3M/27.8/74（26.1%），自适应调度 7.4M/25.1/66（27.6%）。
给出复现所需的真实算力开销，并证明自适应调度同时降本增效（省约 11%、成功率还提升 1.5 个百分点）。