记忆智能体：融合非参数与参数化记忆的深度研究代理框架 Memory Intelligence Agent

MIA 的工作流程可按推理时序拆解为四个阶段。Stage 1 (Memory Retrieval)：Memory Manager 先把视觉输入转成文本 caption，与历史问题一同送入 sup-simcse-bert-base 编码器计算余弦相似度，结合问题级权重 αq=0.8、caption 级权重 αc=0.2，再叠加 value reward = si/(ui+1) 和 frequency reward = 1/(ui+1.1) 三维评分 (λs=0.7, λv=λf=0.3)，挑出 top-k 条高质量正负 workflow 作为 Planner 的 few-shot 上下文。Stage 2 (Collaborative Reasoning)：Planner 用 [Relevant Memories] + 当前问题生成原子化、可执行的 step-by-step 计划；Executor 在 ReAct 循环中按 Think→Act→Observe→Think 推进，每步调用 search 或 web_image_to_image_search 工具，得到中间结果后再次交回 Planner；Planner 据此判断是否触发 Reflect-Replan（最多触发一次，以节省时间）。Stage 3 (Experience Consolidation)：LLM Judger (Qwen3-32B) 用 grade prompt 判定最终答案对错，成功轨迹中选最短的、失败轨迹中随机采样一条，由 Memory Manager 调用 Qwen3-32B 压缩为结构化 workflow 摘要，按语义相似度阈值做替换式入库，同时更新 value 与 frequency 计数。Stage 4 (Parametric Update)：TTL 模块在此并行执行，对当前批次用 G=4 个 rollout 经 Router 选出最优输出，剩余轨迹一起计算 GRPO advantage (Âi = (Ri - μR)/(σR + ε))，再按公式 (3) 更新 Planner 参数，并把最短成功轨迹 + 随机失败轨迹作为 (p*succ, p*fail) 对存入 Meta Plan Memory。训练时则对应两阶段：阶段一冻结 Planner (Qwen3-8B) 对 Executor (Qwen2.5-VL-7B) 做 8 epoch GRPO 训练 (lr=1e-6, batch=128, KL=0.0)，奖励 r_ME = 0.7·r1 + 0.2·r2 + 0.1·r3；阶段二冻结 Executor，对 Planner 做 4 epoch GRPO，奖励 r_MP = 0.7·r1(final) + 0.2·r1(intermediate) + 0.05·r2 + 0.05·r3，并在 prompt 中加入 memory context。

MIA 的技术新颖性可以总结为四点。第一，定义了一种新的过程型记忆结构：每条记忆单元存储 (question, image caption, workflow, judgment label, usage count, success count) 五元组，按相似度+价值+频率三维评分检索，相对传统 RAG/Mem0 仅靠向量相似度检索有质的提升。第二，提出两阶段交替 GRPO 训练范式，把 Planner-Executor 这一联合优化问题解耦为两个相对独立的子优化，使得 Planner 和 Executor 的奖励曲线更稳定、收敛更快（论文 Figure 7 显示 Executor reward 单调上升，Planner reward 虽慢但稳定）。第三，提出测试时双向记忆进化：非参数层用最短成功 + 随机失败的 contrastive pair 强化样本质量，参数化层用 GRPO 在线更新 Planner 权重，二者并行执行且共享同一批 rollout 数据，避免传统离线 RL 必须预收集数据的瓶颈。第四，引入模拟学术会议的 Reviewer×3 + Area Chair 1 的多视角同行评审机制用于无监督 TTL，三个 Reviewer 分别评估 Reasoning Logical Consistency、Information Sourcing Credibility、Result Validity，最终由 AC 综合三者权重 0.5/0.3/0.2 输出最终判定，并用结构的 JSON 报告提供 evidence quote 审计轨迹，从机制上消除 LLM-as-a-Judge 的「hallucinated objectivity」偏差。

独立分析下 MIA 的弱点可以从工程与学术两个层面拆解。第一，Planner 的 RL 训练对超参数极度敏感：训练分析 (Figure 7) 显示 Planner 的 reward 曲线比 Executor 平缓得多，说明间接奖励信号噪声很大；论文承认 Planner 的响应长度也存在较大波动。建议改进方向：可尝试为 Planner 单独设计 intermediate reward（比如 plan 的 plan length、tool selection diversity），或者改用 process reward model (PRM) 给每个 plan step 打分，而非依赖最终答案的稀疏奖励。第二，TTL 的「边推理边训练」在生产环境部署时存在并发风险：每个 batch 要并行做 G=4 次 rollout + 1 次更新，若一次更新失败或回滚不当，会污染后续所有 batch 的参数。建议增加周期性 checkpoint 与回滚机制，并把 update 与 serving 拆分到不同进程。第三，Reviewer×3 + AC 的同行评审机制让无监督判定变得更鲁棒，但同时把判定成本从 1 个 LLM 调用放大到 4 个，且不同维度需要分别调试 prompt，迁移到新领域时调优成本陡增。建议引入可学习的维度权重，或者用 GroupWise bias 一次性评估。第四，Memory Manager 的工作流压缩目前调用 Qwen3-32B 单点完成，缺少对压缩质量的自动验证；如果压缩后丢失关键步骤，会让检索回来的负样本失效。建议加入 workflow summary 的 NLI 一致性校验或与原轨迹做 ROUGE/BLEU 对比，低于阈值则不替换入库。第五，工具集仅支持 search/web_image_to_image_search，未涉及代码执行、表格解析、跨语言检索等；论文刻意做了「轻量工具」实验，但深度研究场景中常需要多模态多工具协同。第六，论文未报告推理时延与服务成本，每条样本需要 G 次 rollout + 1 次 Router 调用 + 1 次 Executor 完整 ReAct 循环才能输出，难以直接用于实时性要求高的产品。

作者在结尾提到计划将 MIA 扩展到「更复杂更动态的环境」。基于本文成果，可延伸的具体方向包括：(1) 把 Planner 拆成 hierarchical 形式：高层做任务分解，低层每步预测具体工具参数；同时引入 tool-aware 的中间奖励，缓解 Planner 的稀疏奖励问题。(2) 把 Memory Manager 的相似度检索升级为稠密语义图检索，例如让每条 workflow 用 code-as-actions (like Voyager) 表示，使检索结果可直接被 Executor 编译执行，从而把检索从「找相似」升级为「找可用 skill」。(3) 当前图像搜索工具仅返回 top-3，可以引入更细粒度的 visual evidence grounding（子图像定位+属性抽取），减少 caption 信息损失；这对 In-house 2 这种动态新闻类任务特别关键。(4) 把 Reviewer×3 + AC 的同行评审结构推广到多智能体协作，用 MIA 同时调度多个 Executor 解决子任务，再用 Reviewer 投票判定一致性。(5) 把 Planner TTL 的参数化更新与 Slow Thinking 模型结合：用 o1-style 的 chain-of-search 轨迹作为 Planner 的微调数据源，让 Planner 本身具备深层推理能力，进一步压缩「直觉式」与「思考式」之间的鸿沟。(6) 探索 Memory Manager 的去重/遗忘机制：长期运行下记忆库可能仍缓慢膨胀，可以引入基于熵或方差的主动遗忘策略，让 system 真正 lifelong evolvable。(7) 把无监督 TTL 推广到跨语言/跨模态迁移场景，例如用英文训练的 Planner 零样本迁移到中文多模态任务，测试记忆机制的模态无关性。

MIA 的开源状况非常友好，论文明确给出 Code (https://github.com/ECNU-SII/MIA)、Model (https://huggingface.co/LightningCreeper/MIA)、Dataset (https://huggingface.co/datasets/LightningCreeper/MIA) 三个仓库。复现所需的硬件门槛处于中高水平：训练 Executor 需要 8 张 GPU（论文未指明型号，应为 A100 80G 或等效算力），训练 Planner 需要 4 张 GPU，TTL 测试每个批次的 G=4 rollout 在单卡 vLLM 上即可。训练数据总量适中（FVQA-train 4,856 + MATPO 6,175 条），所有 benchmark 都是公开可下载的，附录 E 详细列出了每个数据集的样例数与来源。复现难度主要集中在：(a) GRPO 的两阶段交替训练需要分别实施 8 epoch + 4 epoch，超参数 (lr=1e-6, KL=0.0, G=8 rollouts) 都很标准但 Executor 训练对 prompt template (Figure 4) 高度敏感；(b) Memory Manager 需要部署一个独立的 Qwen3-32B 长上下文服务，对显存与推理时延都提出要求；(c) Reviewer×3 + AC 的 prompt 模板在 Appendix G 中给出，但 prompt 的微小变化会显著影响无监督 TTL 的稳定性，作者未提供 prompt tuning 经验。综合来看，一个具备 8×A100 算力的研究组可在 1-2 周内复现主要 Table 3/4 的结果，但完全复现 TTL 与无监督自进化曲线可能需要更细致的 prompt 工程。