AtlasVA：面向无教师 VLM 智能体的自进化视觉技能记忆 AtlasVA: Self-Evolving Visual Skill Memory for Teacher-Free VLM Agents

完整流程按时间顺序分为两阶段：在线塑形阶段（每个 PPO epoch 内）与离线进化阶段（epoch 结束后）。在线阶段：对 batch 内每个转移 $(p_t, a_t, p_{t+1})$，先从 GridState 读取精确坐标 $p_t, p_{t+1}$，计算 affinity 势差 $r_{\text{affinity}} = M^{\text{final}}_{\text{affinity}}(p_{t+1}) - M^{\text{final}}_{\text{affinity}}(p_t)$，再计算 danger 惩罚 $r_{\text{danger}} = -\lambda_{\text{danger}} \cdot M^{\text{final}}_{\text{danger}}(p_{t+1})$，最终奖励 $\tilde{r}_t = r^{\text{env}}_t + \lambda_{\text{affinity}} r_{\text{affinity}} + r_{\text{danger}}$，把 $\tilde{r}_t$ 替换 batch 内稀疏奖励供 PPO 更新策略 $\pi_\theta$。离线阶段：把所有轨迹按成功/失败分组，对失败轨迹聚合终点坐标形成 $M^{\text{batch}}_{\text{danger}}(p) = \frac{1}{|T_{\text{fail}}|} \sum_{\tau \in T_{\text{fail}}} \mathbb{I}(p_T = p)$，对成功轨迹聚合每格访问频率形成 $M^{\text{batch}}_{\text{affinity}}$，再用 $M^{\text{stat}} \leftarrow \alpha M^{\text{stat}} + (1-\alpha) M^{\text{batch}}$ 更新历史统计；视觉范例池 $E_{\text{vis}}$ 用 DINOv2 余弦相似度检索关键帧，容量上限为 6（3 正 3 负），FIFO 淘汰；最终呈现给 VLM 的热图 $M^{\text{final}} = (1-\beta_k) M_{\text{heuristic}} + \beta_k M_{\text{stat}}$，其中调度系数 $\beta_k$ 从 0 渐进到 1，前期靠静态几何冷启动，后期切到经验驱动。

技术上三点新颖性值得拆开看。第一是“无教师”的语义：传统记忆框架必须调用 GPT-4 生成总结，AtlasVA 的 Stext 直接从环境说明书抽取、热图直接从轨迹统计聚合、DINOv2 完成范例检索，全程不调用任何外部 LLM API。第二是“渲染为 token”而非“叠加到画面”：作者发现把热图 alpha-blend 到原图会干扰 VLM 对前景小物体的识别，于是改用独立 $\langle\text{image}\rangle$ token 让视觉编码器通过 cross-attention 自学对齐，这在工程上是反直觉但有效的选择。第三是“危险 ≠ 势能”的设计选择：danger 惩罚故意违反 PBRS 框架，因为它要主动改变最优策略以避开死角，而 affinity 严格满足势能差公式以保留理论最优性，这种“半势能”设计在文献中较少见。

独立分析可以指出四个可改进点。第一，GridState 特权状态依赖是方法最大的“阿喀琉斯之踵”——SOKOBAN、FROZENLAKE、Navigation、PrimitiveSkill 都被作者承认需要调用仿真器内部 API，当面对纯视觉输入的真实机器人时这套管线需要全部重写；改进方向是引入无监督视觉模块（如 Depth Anything V2 或 NeRF）估计占据栅格，把特权信息变成可学习预测。第二，视觉范例池容量被硬编码为 6（3 正 3 负），但缺乏自适应容量机制，长视野任务后期历史经验被强制淘汰可能丢失稀有但关键的失败模式；可以考虑引入信息论指标（如惊奇度）动态决定保留数量。第三，调度系数 $\beta_k$ 的退火曲线在文中没有明确给出，可能依赖任务手工调参；改进方向是用课程学习自动调节，或者直接以 BFS 距离场作为亲和势的下界从而摆脱 $\beta_k$。第四，方法对静态网格世界非常有效，但论文没有展示动态障碍或部分可观测场景下 danger 地图是否会误标——失败终态聚合策略在“对手智能体”存在的环境中可能把对方策略当作危险，造成过度保守。

作者在结论与附录 D 中已经为未来工作埋下三条线索：(1) 将 2.5D 投影扩展到全 3D 占据场或神经辐射场，处理自我中心视角与高度遮挡；(2) 把视觉记忆范式推广到动态多智能体场景。基于成果还可以延伸的方向包括：用 AtlasVA 的热图作为可解释性工具直接可视化策略失败原因；将 danger/affinity 双通道拓展为多通道（如 affordance、traversability、goal-proximity）支持复合任务；以及把 EMA 进化替换为对比学习或世界模型预测，从而在样本更稀缺的环境（如真实机器人）下保持热图质量。

复现难度中等偏上。作者给出的配置相当详尽：基础模型 Qwen2.5-VL-3B-Instruct、PPO actor 学习率 $1\times10^{-6}$、critic $1\times10^{-5}$、batch 128、mini-batch 32、8 块 RTX 6000 Ada、EMA 衰减 $\alpha=0.85$、调度 $\beta_k \in [0,1]$、热图渲染单元 40 像素、DINOv2 余弦相似度检索，全部列在 Table 5。代码主页 https://wangpan-ustc.github.io/AtlasvaWeb/ 提供了入口。开源情况方面，作者承诺开源但论文未注明是否已发布完整训练脚本，附录列出了 SOKOBAN、FROZENLAKE、AI2-THOR、ManiSkill 各自的特权 API（Table 4），意味着复现者需要把四套仿真器各自接通；最大隐性门槛是 PrimitiveSkill 的 Swap 任务是作者新引入的，需要自行实现或确认 VAGEN 仓库是否合并；总体算力需求约 8 张 RTX 6000 Ada 训练一天量级，单卡 RTX 4090 也可跑小规模实验但需要相应缩减 batch。