EpiCon：协同演化多模态记忆驱动的智能体集体学习 EpiCon: Collective Agent Learning through Co-Evolving Multimodal Memory

完整流程分四步。第一步，数据构造：在 MathNet、MathV360K、ChartQA、InfoVQA、DocVQA、ChartNet 六个源数据集上，用 CAMEL、Codex、DeepSeek-Harness 收集 MAS 执行轨迹；Qwen3.8-27B 作初始教师提出记忆更新与树操作演示，Qwen3.8-Flash-Next 作选择性修订者修正失败更新、提升教训质量。控制器侧经重放筛选后得到约 25K 条记忆转换监督；组织器侧经 schema、节点引用、分区覆盖、来源追溯等结构校验后得到约 6.5K 条操作演示（含合法的空检索）。第二步，训练：对两个 Qwen3.5-2B 分别做 LoRA 微调（rank 16、缩放因子 32、冻结视觉编码器与对齐层），损失为 $\mathcal{L}_P(\psi)=\mathbb{E}_{(z,y)\sim\mathcal{D}_P}[-\sum_{j=1}^{|y|}\log p_\psi(y_j|z,y_{<j})]$，训练 3 个 epoch，学习率 $10^{-4}$，最长序列 8192，batch 2 梯度累积 8 步，按验证损失选定 checkpoint（控制器 step 1000，组织器 step 258）。第三步，求解：对每个新问题先检索一次经验 $\mathcal{R}_i$，MAS 据此作答；题内演化开启时控制器随尝试更新 $W_{i,t}$，门控决定视觉注入，至多五次尝试或提前判定完成。第四步，库维护：组织器对通过校验的教训提出 Place、Merge、Split+Lift、Consolidation 四种树操作，harness 校验执行并按容量强制分区；内部节点在证据充分时可沉淀为可复用规则，支持后续任务以单次求解方式受益。

技术新颖性体现在五个层面。(1) 模态层面：把『证据在哪张图的哪个区域』作为记忆的一等公民，且视觉证据可随指导修订被替换、保留或删除——此前 Mem0/A-Mem/Cognee/Agent-KB 均为纯文本记忆。(2) 交互层面：自适应视觉注入门控 $g_{i,t}$ 是『输入选择』而非『删除存储』，原始任务图像始终可用，消融显示它比 Always 注入降低约 25%（Codex）/17%（DeepSeek-Harness）的 MAS 时间还提升 7/8 项分数。(3) 模型层面：两个专用 2B 小模型取代骨干级零样本记忆模型，在性能–时间散点图上位于对比方法的经验 Pareto 前沿。(4) 评测层面：冻结库+单次求解的协议把经验复用与多次尝试解耦，回应了反思类研究中『收益到底来自哪』的混淆。(5) 系统层面：题内共演化（微观）与库级组织沉淀（宏观）被显式连接——论文用罗马、多伦多、里斯本、奥克兰四张地铁图的例子展示教训如何沉淀出『先定端点、再连线路、验证换乘』的路由规则并迁移到新加坡新图。局限在于树操作只做结构校验未做下游重放验证，且视觉证据绑定原图、规则抽象的资格判定由 harness 启发式决定。

独立分析出的弱点及改进方向：(1) 视觉证据与原图强绑定——跨任务迁移时真正可复用的往往只有文字规则，裁剪图本身因图像不同而失效，改进方向是学习可迁移的图式表征（如布局语法、图结构抽象）让视觉经验『脱图』存在。(2) 题内记忆演化成本高——至多 5 次尝试带来 2.1–2.6× 时间与最高 3.25× token，改进方向是训练一个置信度门控或早停策略，让『值得反思』的题目才触发多轮更新。(3) 经验写入缺乏价值评估——演化实验显示外来经验会让部分基准下降（ParseBench 63.4→58.9），改进方向是在写库前加下游收益估计器或给经验条目维护置信度权重，检索时按可靠性加权。(4) 检索是单模态的——Recall 用冻结文本编码器在节点索引（主题、范围、问题锚点）上召回，当前问题的图像本身不参与匹配，图表类任务容易漏检，改进方向是多模态检索编码器。(5) 弱宿主上的负迁移——DeepSeek+Gemma4 配置下 DocVQA2026、MP-DocVQA 退化，改进方向是加入域/难度匹配过滤，当检索经验与当前问题分布差异过大时回退到 No Memory。(6) 规则抽象的资格判定由 harness 启发式（支持数、失败数、冲突、证据强度）决定，而非学习得到，规则质量上限受限。

作者方向之外可延伸的研究：(1) 在线库演化——目前评测时库被冻结、题内更新不回写，让评估期间的教训实时入库并研究其稳定性是有价值的一步；(2) 用下游收益训练组织器——把树操作也纳入重放验证或用偏好优化/RL 训练 $S_\phi$，弥补『结构校验≠有效整理』的缺口；(3) 遗忘与更新机制——处理过时经验、矛盾经验，研究库长期维护的调度策略；(4) 多库联邦——不同团队/机构各自维护子库，研究选择性共享与隐私边界；(5) 与参数化学习对比结合——外部记忆收益与微调/RL 收益的边界在哪里，两者能否互补（例如 2B 记忆模型继续用 RL 在线上信号上进化）；(6) 视觉记忆的结构化压缩——把裁剪图升级为可编辑的图式/矢量表示，使证据可跨图复用；(7) 扩展到生成类任务——论文只测了 Vision2Code 一项视觉到代码任务，图像生成、文档编辑等开放式任务的经验沉淀形式值得探索。作者在结论中也强调：经验可以超越产生它的系统而保持有用，这一『集体学习』命题的规模化验证（更多贡献方、更长演化链）本身就是后续工作。

复现评估：论文声明 Resources available at https://zzzmyyzeng.github.io/EpiCon，代码与资源有项目页出口。训练本身很轻：两个 Qwen3.5-2B 的 LoRA（rank 16、$\alpha=32$、学习率 $10^{-4}$、3 epoch、8192 序列长、batch 2×8 累积），H100 单卡级别即可完成。瓶颈在数据构造：需要在 MathNet、MathV360K、ChartQA、InfoVQA、DocVQA、ChartNet 上用 CAMEL/Codex/DeepSeek-Harness 收集 MAS 轨迹，并用 Qwen3.8-27B + Qwen3.8-Flash-Next 两个教师模型生成与修订监督（约 25K 控制器样本 + 6.5K 树操作样本），重放验证尤其耗算力——每条候选转换都要在宿主 MAS 上重放判定 Repair/Compress。评测侧协议描述非常透明：附录 C 给出每个基准的构造/评测题目数（如标准评测 4,538 题、演化评测 4,388 题、两阶段构造各 1,000 题），ReasonMap 按图切分防止泄漏，成本归一化公式明确。主要复现风险：Qwen3.8-27B、Qwen3.8-Flash-Next、GPT-5.6-Luna 均为 API/闭源模型，版本对齐和随时间的可用性会影响结果；MAS 执行（H100 集群上的多轮求解）是最大算力开销。总体难度中等偏上：协议可复现，但完整复现主表（2 harness × 2 backbone × 11 基准 × 多记忆系统）需要可观的推理预算与工程投入，普通实验室建议从 2B 变体+单一 harness 的子集入手。