HAGE：通过强化学习驱动的加权图演化驾驭智能体记忆 HAGE: Harnessing Agentic Memory via RL-Driven Weighted Graph Evolution

HAGE 的完整流程可拆为五个阶段。**第一步，事件节点抽取**：用结构化事件抽取 prompt 把对话/文档转成 Event-Node $n_i = \langle c_i, \tau_i, v_i, A_i \rangle$，其中 $c_i$ 是事件内容、$\tau_i$ 是时间戳、$v_i \in \mathbb{R}^d$ 是 all-MiniLM-L6-v2 生成的 384 维语义向量、$A_i$ 是结构化元数据。**第二步，关系图构建**：按四种关系（时间 $E_{temp}$、语义 $E_{sem}$、因果 $E_{causal}$、实体 $E_{ent}$）把节点连成有向多重图 $G_t = (N_t, E_t)$，每条边关联可训练特征向量 $e_{ij} \in \mathbb{R}^R$（$R=4$），初始化为 LLM 一次性打分 $[s_{temp}, s_{sem}, s_{causal}, s_{ent}]^\top$，无缓存时退化为 one-hot。**第三步，查询条件遍历**：查询 $q$ 先经 LLM 分类器得到关系意图 $T_q$ 与密集嵌入 $\vec{q}$，再与查询时的余弦相似度拼到边上得到增强特征 $\tilde{e}_{ij} = [e_{ij}; v_{T_q}; \cos(\vec{q},v_i); \cos(\vec{q},v_j)]$，送入 QueryRouter MLP 输出 $w_{ij}(q) = \text{softplus}(\text{MLP}([\vec{q}; \tilde{e}_{ij}]))$；最终转移分数 $S(n_j|n_i,q) = \lambda \cos(v_j, \vec{q}) + (1-\lambda) w_{ij}(q)$ 喂给 softmax 策略 $\pi(n_j|n_i,q)$，训练时采样、推理时贪心或 beam。**第四步，RL 联合优化**：把上述检索过程建模为 MDP——状态包含当前节点 $n_i$、查询嵌入 $\vec{q}$ 和已访问掩码 $V_t$，动作是选邻居 $n_j$，奖励 $r_t = r_t^{hit} - \lambda_{step} r_t^{step} - \lambda_{timeout} r_t^{timeout}$，其中 $r_t^{hit}=10.0$（命中 ground-truth 证据节点），$\lambda_{step}=0.05$ 的步数惩罚、$\lambda_{timeout}=1.0$ 的超时惩罚，hop budget $H_{max}=5$。优化目标是 REINFORCE：$\nabla_\theta J = \sum_t \nabla_\theta \log \pi_\theta(a_t|s_t) \cdot (G_t - b)$，折扣 $\gamma=0.99$、基线衰减 $\beta=0.99$，参数集 $\theta$ 同时包含 QueryRouter 权重和边特征。**第五步，Anchor 正则化与上下文合成**：在策略梯度上叠加 anchor 损失 $L_{anchor} = \lambda_{anchor} \sum_{(i,j)\in E_{train}} \| e_{ij} - e_{ij}^{(0)} \|_2^2$（$\lambda_{anchor}=1.0$）防止 Phase 1 的语义初始化被 RL 拖到不可控区域；最后把检索到的节点按时序/因果/得分重排并序列化喂给下游 LLM 生成答案。

从技术新颖性看，HAGE 的贡献有三个层面。第一，把边的可学习表示从标量权重升级到关系感知的特征向量，使同一条边在不同查询意图下可以呈现完全不同的结构价值，这是 MAGMA、Zep 等静态加权图系统所不具备的。第二，把记忆访问形式化为顺序决策问题并用 REINFORCE 端到端训练，与 MemGPT/A-MEM 等「先建库后检索」的范式相比，HAGE 让检索策略本身具有任务适应性。第三，引入 anchor 正则 + 非对称学习率的协同稳定化机制，避免了 RL 在结构化输入上常见的灾难性遗忘或冷启动失效，这一点在 AgeMem、MemSkill 等先前 RL-based 记忆系统中并未被显式处理。

第一个弱点是查询分析对 LLM 的强依赖。从公式 $\tilde{e}_{ij} = [e_{ij}; v_{T_q}; \cos(\vec{q},v_i); \cos(\vec{q},v_j)]$ 可知，$v_{T_q}$ 的质量直接决定路由方向，但论文没有给出关系意图分类器的精度和错误率分析，一旦分类器在对抗样本或长尾意图上失准，边增强就退化为噪声；改进方向是引入一个端到端可微的关系路由器或用小模型蒸馏 LLM 的意图标签。第二个弱点是 R=4 的关系维度是写死的，且 4 个关系之间没有显式约束（如因果应该不被时间单向支配），当记忆中出现新类型关系时只能堆叠到现有 4 维里造成混淆；改进方向是用稀疏字典或 mixture-of-experts 替代固定 4 维，让模型自动发现关系类别。第三个弱点是 anchor 正则 $\lambda_{anchor}=1.0$ 把边特征锁回 Phase 1 太紧，理论上会让 RL 收益打折；可以改为只在 Phase 2 初期施加 warm-up 约束、后期逐步衰减。第四个弱点是奖励信号依赖 ground-truth 节点命中，在真实部署中很难拿到这种监督；改进方向是用 RAG 答案质量或下游 LLM 的困惑度作为更弱的奖励。第五个弱点是 Hop budget $H_{max}=5$ 是全局常量，对极长上下文（>100K token）的工业级记忆可能不够，且超时惩罚 $\lambda_{timeout}=1.0$ 比 hit 奖励 $R_{hit}=10.0$ 小一个量级，容易让模型倾向快速放弃而非积极探索，可考虑自适应 hop 预算。

作者暗示的方向包括把 HAGE 扩展到程序性记忆（procedural memory）和文档级 QA，以及把 query 分析器换成更轻量的模型以降低部署成本。基于本文成果我自己看到的延伸方向有三个：(1) 把 HAGE 的图遍历 RL 框架拓展为多智能体协同记忆，多个 agent 共享一个可学习的多关系图，分头探索后合并证据；(2) 引入对比学习预训练，让 edge feature 摆脱对 Phase 1 LLM 打分的依赖，使 HAGE 真正变成 end-to-end；(3) 把边特征从连续向量升级为可解释的关系符号+强度组合（如「因果强度 0.8 且时间跨度长」），在医疗、法律等可解释性要求高的领域落地。另一个值得探索的方向是与 LLM 的长上下文能力正交融合——HAGE 擅长结构化检索，长上下文擅长「就近相关性」，两者结合在 LoCoMo 这类基准上还有提升空间。

代码已经在 GitHub 公开（FredJiang0324/HAGE_MVPReview），核心训练超参已写明：Adam、$\eta_{router}=10^{-3}$、$\eta_{edge}=10^{-4}$、$\gamma=0.99$、$\beta=0.99$、$\lambda_{anchor}=1.0$、$H_{max}=5$、$R_{hit}=10.0$、$\lambda_{step}=0.05$、$\lambda_{timeout}=1.0$，每折 200 epoch + 5 折交叉验证，20% 验证、10% 严格测试。数据集使用 LoCoMo（CC BY-NC 4.0，1986 个样本）和 HotpotQA（CC BY-SA 4.0），embedding 用 all-MiniLM-L6-v2（Apache 2.0），backbone 为 GPT-4o-mini 与 Qwen2.5-3B。复现难度中等偏低：GPT-4o-mini 通过 OpenAI API 调用，需要 API 费用，5 折 × 200 epoch 跑下来预计消耗数千美元级别；Qwen2.5-3B 可完全本地化，单卡 A100 即可完成训练。最大的复现风险点是 query 分析和 LLM-as-a-Judge 的 prompt 模板与温度设置——论文给到的 prompt（C.1–C.3）相对详细但仍依赖 LLM 的版本稳定性，建议在复现时同时记录 OpenAI API 的具体 snapshot。