TinyAstral：将自进化智能体框架迁移至小型通用机器人操作智能体 TinyAstral: Transferring Self-Evolving Harnesses to Tiny Generalist Manipulation Agents

流程分六步。第一步，接口与指标：规划器 $\pi$ 每轮接收观察 $o_t$，输出推理与一次工具调用；严格成功率 $S$ 只在调用 done 且终态谓词成立时计成功。第二步，RSI 循环：master 读轨迹把失败归入十类，对目标簇写候选组件；编辑必须通用且经审计确保未触发时与父版本逐步一致，再在预注册配对上统计裁决。第三步，沿 H1→H7→H16→H* 迭代，采纳 121/296 个候选能力。第四步，冻结 H* 采集教师数据：覆盖全部 RoboTwin 与部分 Guava/LIBERO 任务，只保留终态成功 episode；另构造恢复分支——回放成功轨迹前 k 步并注入扰动（物体滑落、移位等），仅当扰动生效、回放逐码一致且教师仍成功才保留。第五步，混入真机辅助任务：由真机数据集转写出 27,918 条状态判断、4,187 条子目标、9,771 条下一调用样本。第六步，训练部署：共 83,753 个决策样本，损失只加在最后一个 assistant turn，全参数微调 Qwen3.5-4B 两个 epoch（学习率 $10^{-5}$），视觉编码器冻结；学生 bf16 单卡替换教师。

技术新颖性体现在四处。第一，进化对象与验收协议的组合：以往自进化工作要么不设统计门槛（靠单次评测或自报告），要么改进的是提示或技能库；本文把工具接口、反馈语义、任务记忆、恢复逻辑当作可进化代码，用方向筛查（目标簇增益 95% 上界低于 +2 pp 即丢弃）、预注册配对检验、无效性中止层层把关，全程维护能力台账（296 候选、121 采纳、142 拒绝、17 未决），最终 H* 含 101 项能力。第二，跨快照蒸馏协议：在四个版本用相同配方从同一 4B 检查点独立训练学生，把「系统级改进可否蒸馏」变成可复验的单调曲线（36.2→49.8→60.0→62.8），此前工作从未提供这种传递性证据。第三，恢复分支数据合成：确定性地回放成功轨迹前 k 步、注入受控扰动、要求回放结果逐码一致且教师仍成功才保留，为小模型提供了成功轨迹中几乎不存在的容错监督。第四，真机数据的 harness 格式转写：把 Open X-Embodiment 轨迹按最终 harness 的观察与历史格式渲染成工具调用序列，让学生在真机图像上以同一接口学习，真机下一调用准确率从 0.235 提升到 0.923。

独立分析可见以下弱点。第一，十类失败分类与预算规则由人类预先设定，迁移到新环境（户外、柔性物体、动态场景）时可能不适用，改进方向是把失败本体也作为可进化对象或引入开放聚类。第二，进化与选择完全依赖仿真种子，sim-to-real 差异只靠离线真机数据缓解，真机闭环 RSI 是明显缺口，但需解决安全与成本。第三，蒸馏上限被教师封顶（62.8% < 63.6%），学生学不到 harness 之外的策略，可在 H* 内对学生做在线 RL 或让学生参与下一轮自我进化。第四，任务记忆对 RoboTwin 是特判（读取任务终态备注），其他基准没有对应机制，harness 尚未完全基准无关。第五，对比虽配对，但竞品 harness 的调用预算与停止规则不同（MotorMind 不设上限、中位 77 次调用，对学生是 8 次），公平性仍有解释空间。第六，296 个候选中 17 个未决，能力台账依赖日志触发器与代码审计，整套基础设施工程复杂度很高，小团队难以复刻，可考虑把统计验收与审计流程做成开源框架。各弱点共同指向：把人工设定的规则、粒度与机制进一步自动化和通用化。

作者在结论中明确说下一步是把方法扩展到更多 RSI 环境。顺着已有成果可以延伸的方向包括：让学生侧继续自我进化，使 4B 学生成为新一轮 RSI 的被改进对象或教师，形成「进化—蒸馏—再进化」的循环；研究 harness 层面的组合与合并——多个教师各自的进化 harness 能否像模型权重合并那样做能力级融合；把 harness 进化与 VLA 底层策略结合，让工具原语本身也被学习和进化，而非只依赖固定的运动规划服务；在真实机器人上做小规模在线 RSI，用安全约束替代仿真配对检验；分析哪些教师能力本质上不可蒸馏（如随规模涌现的长程空间推理），为小模型设计补偿性工具；以及把预注册配对统计验收推广为自改进系统的通用评测标准，把当前 2 pp 的粒度与条件功效中止规则做成自适应版本。此外，0.8B 在零样本基准与 4B 差距不超过 3.0 pp 的现象值得深挖，可能催生面向边缘设备部署的更小蒸馏配方。

复现难度：高。有利条件是关键组件公开：教师 Qwen3.8-Flash-Next 是开放权重模型，六个基准（RoboTwin 2.0、Guava、LIBERO-PRO、SimplerEnv、VLABench、EB-Manipulation）与竞品（Guava-4B、PyRUA-Lean、SenseNova-RoboRSI）均开源，蒸馏配方（83,753 个样本构成、超参数、真机数据来源）在附录给出得很细。但论文未提及发布代码、harness 源码或蒸馏数据集，而 harness 是含 101 项能力的代码库、性能的主要载体——没有它，同样的 4B 底座只能到 41.2%。算力方面：RSI 阶段需本地托管约 180B 教师（FP8、4 卡并行）反复跑数百集仿真，外加 master 前沿 LLM 调用；蒸馏阶段是 4B 全参数 SFT 两个 epoch、batch 32、约 8.4 万样本，单节点多卡可完成。熟悉机器人仿真与分布式训练的团队用数张高端加速器可在数周内复现 Stage 2，但 Stage 1 的完整 RSI 基础设施（预注册检验、代码审计、能力台账）复刻成本最高。