记住是有代价的：资源约束下学习记忆的价值 Remembering Has a Price: Learning Memory Worth under Resource Constraints
在生成、交互、记忆三重预算约束下学习「哪条记忆值得用」，用更少token拿到更高成功率
前置知识
终身学习智能体
在生产部署后持续从任务流中积累、存储并复用经验的 LLM 智能体。它不更新模型参数，而是把成功轨迹存入外部记忆库，遇到相似任务时检索注入上下文，从而越用越好。典型代表有 Reflexion、Mem0、MemRL、Voyager 等。
本文研究的正是这类智能体的记忆机制，理解其「积累-检索-复用」闭环是理解论文问题设定的前提。
RAG 与记忆检索
检索增强生成：用文本相似度（如 embedding 余弦或 BM25）从外部库中找出与当前查询最相关的若干条文本，拼进提示词后再生成。它是「记忆」最朴素的实现，只优化语义相关性，不关心找到的内容对任务是否真有用。
论文的核心论点就是语义相关性 ≠ 下游价值，RAG 是被反复对比的基线（如 DB 环境 33.0% vs TokenWorth 65.0%）。
递归特征机（RFM）与 AGOP
RFM 是一种从数据中「学出特征几何」的核方法：它用平均梯度外积 AGOP = Diag((1/N)Σ ∇f(z)⊙∇f(z)) 作为度量矩阵，反复用该度量重定义核、重训模型，使重要特征维度被放大，最终收敛到刻画数据的特征学习算子。
TokenWorth 的残差学习器就是一个 RFM：慢速 AGOP 更新特征度量 $M_t$、快速核岭回归更新系数，这是方法的技术核心。
核岭回归（KRR）
带 L2 正则的核化线性回归：$f(z)=\sum_j \alpha_j K(z,z_j)$，系数闭式解 $\alpha=(K+\lambda I)^{-1}\delta$。配合自适应度量 $K_{M}$ 即可在不同特征几何下拟合，样本量小时非常稳定且训练成本极低。
TokenWorth 用小缓冲区上的 KRR 做「快更新」，从稀疏的执行反馈中实时修正记忆价值估计。
LifelongAgentBench
面向终身学习语言智能体的在线评测基准，包含数据库交互（DB）、操作系统（OS）、知识图谱推理（KG）等环境。任务按流式到来、每条只执行一次，前序任务积累的经验可用于后续任务，天然适合评测持续适应。
本文全部主实验都建立在该基准的三个环境上，读实验部分必须知道各环境的任务形态和预算差异。
研究动机
现有终身记忆方法默认资源充裕：记忆库可以近乎无限扩张、每次召回多条经验、模型可以多轮交互充分推理后再给答案。但真实部署中延迟、算力与推理成本都很紧张。作者在 LifelongAgentBench 的 DB/OS/KG 三个环境上用 Qwen2.5-14B-Instruct 做了严格的联合约束实验：每任务输出 token 预算仅 128/512/128，交互轮数上限 3/5/15，记忆库容量 64、每次最多召回 1 条。结果是大量复杂记忆方法失效甚至有害：MemRL 在 KG 环境只有 4.7% 成功率，远低于无记忆 Standard 的 30.7%；RAG 在 KG 掉到 11.3%；Mem0、MemP、EvoSC 等在多个环境与 Standard 基本持平或更差。原因在于语义相关但实际无用的记忆会挤占稀缺的上下文与推理轮次，反而拖累执行。
本文的目标是本文要形式化并求解「资源受限终身智能体」问题：在冻结骨干、不增加任何额外语言模型调用的前提下，于联合预算 $C=(O_{max},J_{max},B_{max},K_{max},L_{max})$ 约束下（分别限制每任务输出 token、交互轮数、记忆库容量、召回条数与注入长度），最大化任务流平均成功率 $S(\pi_{mem};C)=\frac{1}{T}\sum_t \mathbb{E}[r_t]$。核心是让记忆策略学会判断「哪条经验值得占用稀缺的记忆资源」，并把同一价值信号一致地用于两处：查询时决定注入哪条记忆，长期决定记忆库里保留哪条，从而在成功率和生成效率上同时超过所有基线。
与已有工作不同的是，已有考虑资源的智能体记忆工作大多只约束单一维度：Hajimiri 等只看固定推理 token 预算，Wu 等只研究设备端硬容量记忆，BudgetMem 关注运行时预算路由，Chen & Cheng 建模记忆价值但聚焦保留与检索的单点因素。本文的独特切入是把生成、交互、记忆三类资源同时钉死在苛刻水平，并指出资源稀缺会把记忆分配从「检索最相关」升级为「估计真实价值」的问题——语义相似的经验可能毫无下游效用，而错过一条有用经验也无法靠多轮交互或更多上下文补救。方法上，它用轻量在线统计学习（线性打分器 + RFM 残差）从稀疏执行反馈中学价值，与依赖额外 LLM 反思调用的方法形成本质区别。
核心方法
直觉很简单：资源紧张时，每条注入上下文的记忆都很贵，所以要用「价值」而非「相关性」做决策。TokenWorth 给每个候选记忆打价值分 $s_t(q_t,m_i)=s_{base,t}(q_t,m_i)+\eta_t f_t(z_i^t)$。第一项是可解释的线性基打分器，只用四个特征——文本相似度 $\phi_{sim}$、历史效用 $\phi_{util}$、可靠性 $\phi_{rel}$、时近性 $\phi_{recent}$，以信息先验 $w_0$ 正则的在线逻辑回归方式捕捉跨任务稳定的全局规律；第二项是 RFM 残差学习器，在更丰富的查询-记忆表征 $z=[|e_t-e_i|,\cos(e_t,e_i),u_i,rel,rec,freq]$（哈希文本特征 + 历史统计）上修正线性模型解释不了的非线性偏差。任务执行后用回报 $y_t=2r_t-1$ 在线更新两个组件，学到的价值既用于检索（取 $\arg\max s_t$），也通过探针平均价值 $V_t(m)$ 驱动记忆库的准入与淘汰。全程无骨干更新、无任务重放、无反事实执行、无额外 LLM 调用。
核心创新是「记忆价值」（memory worth）这一查询依赖的量及其两时间尺度在线学习。与 RAG 只算语义相似度、MemRL 等只累积粗粒度效用统计不同，TokenWorth 把稀疏且只对被选记忆可见的执行反馈转成监督信号：基打分器对被选对 $(\phi_t^\star,y_t)$ 做先验正则更新，残差目标定义为 $\delta_t=y_t-\hat{y}_{base,t}$，即线性基线解释不了的部分交给 RFM。第二个关键设计是快慢分离：KRR 系数 $\alpha=(K_{M_t}+\lambda I)^{-1}\delta$ 用短缓冲快速更新以跟踪局部残差，而特征几何用 AGOP $\hat{G}_t=\mathrm{Diag}\left(\frac{1}{N_s}\sum_j\nabla_z f_t(z_j)\odot\nabla_z f_t(z_j)\right)$ 缓慢更新 $M_{t+1}=\mathrm{NormClip}((1-\beta)M_t+\beta\hat{G}_t)$。消融证明这不是装饰：固定度量的 RFM 反而把 DB 成绩从 64.2% 拖到 63.0%，加 AGOP 才恢复到 65.0%。
方法步骤详情
流程分五步。(1) 召回：用轻量文本相关函数从容量不超过 64 的记忆库为查询 $q_t$ 取 Top-$K_c$ 候选集 $C_t$（$K_c$ 只是内部候选池，与最终注入上限 1 条解耦）。(2) 表征：为每个候选构造四维特征 $\phi=[\phi_{sim},\phi_{util},\phi_{rel},\phi_{recent}]$ 和富表征 $z$。(3) 打分与执行：计算 $s_t=s_{base}+\eta_t f_t(z)$，选 $m_t^\star=\arg\max_{m_i\in C_t}s_t$ 注入冻结骨干，在输出预算 128/512/128 token与交互上限 3/5/15 轮（DB/OS/KG）内执行，得到 $r_t\in\{0,1\}$。(4) 在线更新：由 $y_t=2r_t-1$ 在 $(\phi_t^\star,y_t)$ 上最小化先验正则逻辑损失 $\mathcal{L}_{base}$ 更新基打分器；残差 $\delta_t=y_t-\hat{y}_{base,t}$ 存入快慢两个缓冲，KRR 快速重解 $\alpha=(K_{M_t}+\lambda I)^{-1}\delta$，AGOP 慢速更新度量并重拟合。(5) 生命周期管理：只有成功且外部验证的交互成为新候选记忆，用探针集 $P_t$ 上的平均价值 $V_t(m)=\frac{1}{|P_t|}\sum_{q\in P_t}s_t(q,m)$ 做准入门槛，库满时淘汰 $V_t$ 最低者，保证 $|B_t|\le B_{max}$。
技术新颖性
技术新颖性体现在四处。一是问题形式化：首次把生成、交互、记忆三类资源作为一个联合预算 $C$ 同时约束，并给出在此设定下复杂记忆方法普遍失效的系统性实证（如 MemRL 在 KG 掉到 4.7%、RAG 掉到 11.3%），这是新的发现而非常识复述。二是价值估计的分解设计：用「可解释线性先验正则基 + RFM 非线性残差」对抗稀疏二值反馈下的学习不稳定，而不是端到端神经网络或依赖 LLM 自我反思，方法开销几乎可以忽略。三是 RFM 两时间尺度机制的智能体场景新用法：快 KRR + 慢 AGOP 把「预测适应」与「特征几何适应」解耦，消融显示几何自适应是残差项有效的前提。四是查询时价值 $s_t(q,m)$ 与长期价值 $V_t(m)$ 的统一：同一套打分器贯穿「现在用哪条」和「以后留哪条」两个时间尺度，配合覆盖-质量准入原则持续把容量重分配给对未来任务流有用的经验。
实验结果
主实验覆盖 LifelongAgentBench 的 DB/OS/KG 三环境 × 本地 Qwen2.5-14B-Instruct 与 API DeepSeek-V4-Flash 两种部署，共六个组合，TokenWorth 全部拿到最高成功率：本地 65.0/59.4/36.7，API 62.2/73.2/36.7。DB 提升最惊人：本地比最强基线 RAG 的 33.0% 高 32.0 个百分点，API 比最强基线 Mem0 的 32.2% 高 30.0 个百分点；OS/KG 也有 3.0–6.0 个百分点的稳定优势（如 API KG 36.7% vs MemRL 32.0%）。同时它在全部六个设定中输出 token 最少：相对无记忆 Standard，本地省 9.3%/51.5%/18.7%，API 省 31.6%/58.3%/21.3%，OS 上输出不足标准智能体一半，且低于每个设定中最省 token 的基线。这说明收益来自更高质量的记忆选择，而非更长的推理。消融在本地 DB 上：仅基打分器 64.2%，加固定度量 RFM 降到 63.0%，完整 AGOP 版本 65.0%，证明非线性残差必须配合几何自适应才有正贡献。附录还在 BigCodeBench 与 ALFWorld 的在线终身变体上验证了泛化性。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| LifelongAgentBench-DB（本地 Qwen2.5-14B-Instruct） | 任务成功率 (%) | 65.0 | RAG 33.0（最强基线）；Standard 25.2 | +32.0 个百分点 |
| LifelongAgentBench-DB（API DeepSeek-V4-Flash） | 任务成功率 (%) | 62.2 | Mem0 32.2（最强基线） | +30.0 个百分点 |
| LifelongAgentBench-OS（本地） | 任务成功率 (%) | 59.4 | RAG 54.6（最强基线） | +4.8 个百分点 |
| LifelongAgentBench-OS（API） | 任务成功率 (%) | 73.2 | EvoSC 70.2（最强基线） | +3.0 个百分点 |
| LifelongAgentBench-KG（本地） | 任务成功率 (%) | 36.7 | Standard 30.7（最强基线）；MemRL 仅 4.7 | +6.0 个百分点 |
| LifelongAgentBench-KG（API） | 任务成功率 (%) | 36.7 | MemRL 32.0（最强基线） | +4.7 个百分点 |
| 输出 token 效率（本地 DB/OS/KG，相对 Standard） | ΔTok (%)，越低越好 | -9.3 / -51.5 / -18.7 | Standard 为 0%；六个设定中全部最低 | 所有设定中最省，OS 省 51.5% |
| 输出 token 效率（API DB/OS/KG，相对 Standard） | ΔTok (%)，越低越好 | -31.6 / -58.3 / -21.3 | Standard 为 0% | 所有设定中最省，OS 省 58.3% |
| 核心消融（本地 DB） | 任务成功率 (%) | 完整版 65.0（Base Only 64.2，Base+RFM 固定度量 63.0） | Base Only 64.2 | AGOP 几何自适应挽回 2.0 个百分点并超越基线版 |
局限与改进
作者承认两点局限：其一，监督只对被选记忆可见，价值标签 $y_t=2r_t-1$ 反映执行成败而非该记忆的因果贡献，反事实信用分配悬而未决；其二，实验只在单一苛刻预算点上评估（容量 64、召回 1 条、128/512/128 token），未展示方法随预算宽松程度变化的稳健性，作者明确声明「不声称跨预算水平的稳健性」。我的补充观察：KG 环境基线大面积崩盘（MemRL 4.7%、RAG 11.3%）而 TokenWorth 也只有 36.7%，绝对水平仍低，提示该任务在 15 轮预算内可能本质需要更多探索，预算设定对需要探索的任务是否过苛值得商榷；其次，残差表征 $z$ 用确定性哈希文本特征而非语义嵌入，查询与记忆词汇不重叠时可能失效；再次，每任务只注入 1 条记忆是极端设定，结论对可召回多条的中等约束场景是否成立未验证；最后，论文未报告方差与统计显著性检验，DB 上 32 个百分点的差距虽大，OS/KG 上 3–6 个百分点的优势置信度需谨慎看待。
独立分析的弱点
弱点一：信用分配缺失。任务失败可能源于记忆差、任务本身难或骨干能力不足，但 TokenWorth 把全部 $y_t$ 归因到被选记忆上，长期会引入系统性偏差；改进方向是引入轻量反事实估计，例如对价值分歧大的样本用一次廉价调用做 A/B 验证，或用倾向得分加权校正选择偏差。弱点二：单一预算点评估。128 token、3 轮的 DB 预算极为苛刻，方法在中等预算下是否仍优于 RAG 未知；改进方向是扫描 $O_{max}$ 与 $B_{max}$ 画预算-性能帕累托曲线。弱点三：哈希式文本表征。$z$ 中的 $|e_t-e_i|$、$\cos(e_t,e_i)$ 基于确定性哈希，同义改写可能得分悬殊；改进方向是换用小型句向量模型并量化其开销收益比。弱点四：泛化证据较薄。BigCodeBench/ALFWorld 结果在附录且正文未给数字；改进方向是补充多种子方差与显著性检验。弱点五：超参数较多。探针集 $P_t$ 选取、$\beta$、$\eta_t$、$K_c$、准入门槛等在任务分布剧烈漂移时可能过时，需要自适应调度或元学习这些旋钮。
未来方向
作者明确提出的方向是预算高效的信用分配：在不多花生成预算的前提下区分记忆的因果贡献，例如多次廉价 rollout 或重要性加权。基于本文成果还可延伸：其一，把 worth 学习推广到算力分配——在线预测当前任务需要多少 token/轮次，动态调整 $O_{max}$，形成「记忆价值 + 算力价值」的联合资源调度器；其二，把快 KRR + 慢 AGOP 的两时间尺度机制迁移到技能库、工具库等其他经验形态的管理；其三，检验价值学习器对记忆表征的无关性，与语义嵌入、参数化记忆（如 LoRA 适配器）组合；其四，多智能体共享记忆库场景下的价值估计与公平淘汰策略；其五，理论上分析稀疏二值反馈下先验正则线性 + 核残差组合的在线遗憾界；其六，在长期客服、编程助手等真实非平稳任务流中验证探针集 $P_t$ 的滚动更新策略，这是实验室基准与生产部署之间最关键的一环。
复现评估
复现条件较好。代码开源在 GitHub（AIGNLAI/TokenWorth），评测基于公开的 LifelongAgentBench（DB/OS/KG）及 BigCodeBench、ALFWorld 的在线终身变体；协议写得非常细：记忆容量 64、每任务最多召回 1 条、三环境输出预算 128/512/128 token、交互上限 3/5/15 轮，所有方法共享同一冻结骨干与任务流。算力方面本地骨干 Qwen2.5-14B-Instruct 单卡即可推理，API 骨干 DeepSeek-V4-Flash 成本可控；方法本身计算极轻——线性打分器是低维逻辑回归，KRR 反馈缓冲只有几十个样本，AGOP 只做对角矩阵更新，不需要训练 GPU 集群。风险点：这是 NeurIPS 2026 TTCL Workshop 版本，附录 B 的超参细节（$w_0$ 先验、$\lambda$、$\beta$、探针集大小、缓冲区 $N_f/N_s$）是否完整公开需查仓库；建议先复现 DB 环境，那里基线差距最大（65.0% vs 33.0%），最容易验证核心结论。
论文图表
左图用柱状图对比资源充裕与资源受限两种设定：资源充裕时各记忆方法在 DB 环境能到 59.4%–65% 一带，而在严格联合约束下 Standard、RAG、MemRL、Summary 等方法大多跌到 25%–37%（DB 上 RAG 仅 33.0%，KG 上 MemRL 崩到 4.7%），只有 TokenWorth 维持 65.0% 的高位；右图是示意画：一个终身智能体在「更少记忆、更短输出、更少交互轮次」三类有界预算下运行，循环经历 Action→Evaluate→Always Wrong/Hard 的困境。
这张图是整篇论文的问题陈述：一眼看出「复杂记忆方法在资源充裕时有效、在严格联合约束下失效」这一核心实证现象，是理解研究动机的钥匙。
(a) 六个环境-部署组合上的相对输出 token 用量：TokenWorth 在本地 DB/OS/KG 分别省 9.3%/51.5%/18.7%，API 端省 31.6%/58.3%/21.3%，每个设定都低于菱形标注的最省 token 竞争基线（如 MemRL）。(b) 本地 DB 上的核心消融柱状图（纵轴截断）：Base Only 64.2%，Base+RFM 固定度量 63.0%，完整 AGOP 版本 65.0%。
图 (a) 证明「更高的成功率不是靠多生成 token 换来的」，图 (b) 则揭示了最容易被忽视的设计要点：没有 AGOP 几何自适应的 RFM 残差反而有害，这是方法有效性的关键证据。