ABot-AgentOS：具备终身多模态记忆的通用机器人智能体操作系统 ABot-AgentOS: A General Robotic Agent OS with Lifelong Multi-modal Memory

完整执行步骤如下。(1) 场景条件化规划：主 LLM 结合任务、地图、机器人状态、近期历史与可用技能，判断需要导航/搜索/人机交互/上报/操作/再观察，形成带显式完成条件的可修订高层计划，计划随新观察与验证反馈动态更新。(2) 技能委派：把持续性子任务交给 Skill Runner，它在隔离上下文里维护子目标、近期观察、技能状态、失败尝试与恢复策略，判断是否在进展、何时需要局部恢复、何时把控制权交还主 LLM，收尾时返回压缩的语义摘要。(3) 多阶段验证：运行时验证监测轨迹是否停滞/重复碰撞/局部死循环；技能级验证检查委派子任务是否达成语义目标（而非仅看工具正常返回）；收尾时验证核对指令、计划、历史、观察后才允许结束。(4) 端云路由：边缘模型先观察，能本地解决就本地解决，否则上调云端。(5) 多模态记忆更新：写作服务把观察、对话、图像、视频帧、时间戳、轨迹转成类型化图记录，做近重复合并与时效维护。(6) 检索与接地回答：用混合打分选种子节点，沿类型化边扩展证据子图，序列化为证据上下文注入回答器并记录检索 trace。(7) 失败驱动自演化：split 评测后诊断失败 trace，经 Diagnose→Propose→Compile→Gate 流程产出 evo-asset，只供后续 split 使用。(8) 基准构建：UE5 场景里人工标注语义地图，LLM 生成多难度任务并人工校准，做信息可见性隔离。(9) 训练流水线：文本沙箱生成 Easy/Medium/Hard 环境，教师模型蒸馏轨迹经 LLM-as-Judge 过滤后做 SFT，再用 GiGPO 在线 RL 配自演化奖励引擎优化学生策略。

新颖性体现在五处。其一，把验证做成贯穿执行全程的监督信号而非只在结尾打分——这针对具身任务“无明确完成信号”的固有难题，与 SWE-agent 等数字 agent 有测试或 API 状态可查截然不同，Verifier 在运行时/技能级/收尾三阶段把“语言层信念”与“环境层证据”对齐。其二，图记忆 $G=(V,E)$ 取代文本块 RAG：检索返回的是结构化局部证据子图，能回答“某物体上次出现在哪”“某身份是否连续”“事件先后”这类需要关系推理的问题，而非语义相似的孤立片段。其三，split-wise 自演化协议从机制上杜绝真值泄漏：$T_t,G_t=\text{Run}(D_t;G_{t-1},A_{<t})$ 之后才做 $\Delta A_t=\text{Gate}(\text{Compile}(\text{Propose}(\text{Diagnose}(T_t))))$，evo-asset 是受生命周期管理的 JSON DSL 而非生成的 Python 代码，必须同时满足 $\Delta S^{target}(a)\geq\tau_{gain}\wedge\Delta S^{reg}(a)\geq-\tau_{reg}$ 才晋级，使其成为可审计、可回滚的累积式终身改进。其四，隐私感知的端云记忆门控以“默认私有”为原则，含人脸、姓名、个人物品的记忆永不上云，公开环境信息（路障、地标）才共享，实测隐私分类准确率超 99%。其五，自演化奖励引擎用 Meta-Judge 把不可靠的判分案例转成局部提示词修订，把判分与人类对齐率从约 60% 提到 90% 以上。

独立分析弱点及改进方向：(1) 视觉感知与主动观察薄弱——VLM 观察工具会混淆人/物体、把可视户外误判为已到户外，改进方向是引入细粒度主动观察策略与视觉证据交叉验证（多视角/多帧一致性校验），并训练专门的场景区域空间推理模块。(2) Agent 评测覆盖太小且依赖 UE/记录器执行，改进方向是尽快放出完整 EmbodiedWorldBench 榜单并补充真实机器人闭环数据，验证从仿真到真机的迁移。(3) 训练流水线只用文本语义沙箱，丢失了视觉与多模态反馈，改进方向是把视觉观察、多模态反馈与额外仿真平台纳入 RL，使蒸馏出的学生策略具备感知接地能力。(4) 记忆系统强依赖结构化 trace 与事后反馈才能自演化，在无监督的真机部署里反馈稀疏，改进方向是引入环境状态变化与人在环纠正的弱监督，并研究无标注下的失败检测。(5) 跨基准模型配置不统一（写作/回答/裁判混用 GPT-5.4 与 Qwen3.6-Plus），难以公平横向比较，改进方向是固定一套端到端配置做消融。(6) 自演化门控阈值 $\tau_{gain}/\tau_{reg}$ 与 split 划分对结果敏感，改进方向是给出阈值鲁棒性分析。

作者提出的未来工作集中在四块：完成并开源完整 EmbodiedWorldBench 评测与榜单；做大规模真实世界验证（噪声感知、不完美执行、网络延迟、安全约束、异构本体）；强化隐私感知端云记忆共享的审计、用户控制、访问管理与失败分析；把小模型训练流水线从文本语义沙箱扩展到含视觉观察、多模态反馈与更多仿真平台。基于本成果可延伸的研究方向我认为还有：把失败驱动的 split-wise 自演化协议推广到真机的持续学习，研究无 ground-truth 时如何用环境状态变化、任务成败、人在环纠正作反馈信号；把图记忆的类型 schema 扩展到更丰富的物理因果与时序事件，支撑长跨度的“事件因果链”推理；将 Verifier 与 Skill Runner 的分层思想与端到端 VLA 训练结合，探索“可验证的 VLA”以同时获得泛化与可审计性；把 LLM-as-Judge + Meta-Judge 的自演化奖励引擎迁移到更广义的多智能体对齐与奖励鲁棒性研究；研究端云记忆在多机器人协同下的去重、冲突合并与共识机制，使“群体记忆”成为可扩展资产。

复现评估中等偏上。有利因素：论文给出项目主页 https://amap-cvlab.github.io/ABot-AgentOS ，承诺未来开源 EmbodiedWorldBench；基准基于公开的 UnrealZoo（UE5）构建，评测用 NavMesh 导航与可执行轨迹，指标 TSR/GCR 定义清晰、用结构化评估器做确定性几何检查 + LLM judge 做语义检查，理论上可复现；记忆系统的图 schema、混合检索公式 $s(q,v)$、自演化的门控条件 $\Delta S^{target}\geq\tau_{gain}\wedge\Delta S^{reg}\geq-\tau_{reg}$ 都有形式化描述。不利因素：当前论文尚处初始系统验证阶段，代码与数据未完全放出；训练流水线明确声明“面向业务部署，不发布私有数据或生产结果”，教师轨迹、文本沙箱、SFT/RL 超参（如 GiGPO 的 rollout 数、奖励权重 $\lambda_{eff}/\lambda_{cons}/\lambda_{comp}$）披露有限；记忆实验在不同基准上混用 GPT-5.4 与 Qwen3.6-Plus，且不少对比数字来自外部论文而非自测，存在协议差异；端云路由策略、隐私门控阈值、自演化门控阈值 $\tau_{gain}/\tau_{reg}$ 的具体取值未给。整体算力门槛高（涉及云端 Large LLM、UE5 仿真、长时序 rollout、多基准评测），独立复现完整榜单难度较大，但复现单基准的静态记忆部分相对可行。