面向任务的多模态智能体记忆策略学习

通过强化学习使多模态智能体学会根据环境任务动态决定记忆内容

前置知识

长期记忆

长期记忆是指智能体能够保留和利用超出上下文窗口的信息的能力。对于多模态智能体而言，长期记忆使其能够在动态环境中维持跨模态的一致性、积累世界知识、支持持续学习并改善复杂的长周期决策。长期记忆通常分为情节记忆、语义记忆和视觉记忆等类型。

本文核心就是解决多模态智能体应该记住什么内容的问题，理解长期记忆的基本概念和分类是理解TaskMem框架的基础。

强化学习策略优化

强化学习是一种通过试错来学习最优策略的机器学习范式。智能体在环境中采取行动，根据获得的奖励或惩罚来调整其策略。策略优化算法如GSPO直接优化策略参数，使智能体学会在给定状态下采取最佳行动以最大化长期累积奖励。

TaskMem将记忆生成建模为一个可学习的策略，并使用GSPO算法进行优化，理解强化学习策略优化的原理对于理解Phase One训练至关重要。

直接偏好优化

直接偏好优化是一种无需显式奖励模型的离线强化学习方法。给定成对的偏好数据，DPO直接优化策略，使偏好回复的概率更高，而非偏好回复的概率更低。

Phase Two使用DPO算法来训练adapter，将稀疏的任务反馈转化为成对偏好数据，理解DPO的工作原理有助于理解TaskMem如何解决稀疏反馈问题。

参数高效微调

参数高效微调是一种在保持基础模型参数不变的情况下，通过训练少量额外参数来适应新任务的技术。常见的PET方法包括LoRA、Adapter、Prefix Tuning等。Adapter通常是在transformer层之间插入的小型神经网络，只更新这些额外参数而不修改原始模型权重。

TaskMem的Phase Two采用adapter进行参数高效微调，仅训练2048个参数，解决了灾难性遗忘和计算效率问题，理解PET的原理有助于理解Phase Two的设计动机。

AI框架问题

AI框架问题最初是人工智能哲学中的一个经典问题，指的是在表示现实世界时如何确定哪些信息是相关的、哪些应该被忽略，从而避免被可能性的组合爆炸所压倒。对于多模态智能体而言，这个问题更加复杂。

论文明确指出记忆选择的核心挑战与AI框架问题相关，理解这个概念有助于理解TaskMem试图解决的根本问题：智能体如何从无界的多模态信息流中自主决定记忆内容。

研究动机

现有多模态智能体的记忆方法存在根本性缺陷：它们将记忆构建视为一个独立的过程，与任务执行并行运行，主要依赖启发式的方法如prompt工程或后训练来生成记忆内容，而未明确优化应该记忆什么信息。例如，当机器人在家庭环境中工作时，如果其任务主要是家务，它应该专注于记忆房屋布局；如果它频繁接收与用户相关的指令，则应该优先建立以用户为中心的记忆，如用户偏好、习惯和情绪。然而现有方法无法根据环境任务动态调整记忆焦点，导致生成的记忆可能无法有效支持未来任务，浪费计算和存储资源。

本文的目标是本文的目标是将记忆生成从被动存储转变为主动的、目标驱动的过程，使智能体能够根据其在环境中的角色和任务动态调整记忆焦点。具体而言，通过将记忆生成建模为可学习的策略，智能体能够从流式多模态输入中自主决定每个时刻应该存储什么信息，以最大化对未来任务的效用。该框架需要解决两个层面的问题：Phase One学习如何生成高质量的记忆，满足准确性、非冗余性、格式正确性等基本要求；Phase Two学习生成任务相关的记忆，根据实际环境中的任务反馈调整记忆策略。

与已有工作不同的是，本文的独特切入角度在于将记忆生成提升到策略学习的层面，而非传统的固定总结步骤。现有工作主要关注记忆模块的设计，但记忆内容生成本身仍然是启发式的。本文则聚焦于记忆选择这一核心挑战，直接优化应该记忆什么这个决策过程。此外，本文采用了两阶段训练范式：Phase One离线学习记忆生成的基本能力，Phase Two在线学习任务相关性，这种设计既解决了稀疏反馈问题，又避免了灾难性遗忘。相比仅依靠prompt工程的方法，TaskMem通过参数更新实现了更深层次的适应；相比全参数微调，adapter训练保持了部署效率。

核心方法

TaskMem采用两阶段强化学习框架来训练记忆策略。整体直觉是智能体首先需要学会如何记忆，掌握生成准确、非冗余、格式正确且内容丰富的记忆的基本能力；然后在部署环境中，智能体根据实际任务反馈学习记忆什么，调整记忆焦点以生成任务相关的记忆内容。Phase One使用GSPO算法，通过多目标奖励函数优化记忆质量，奖励包括格式正确性、推理长度、质量和丰富度。Phase Two则采用DPO算法，仅训练一个轻量级的adapter，仅2048个参数，将稀疏的任务反馈转化为成对偏好数据，引导策略生成更相关的记忆，同时保持Phase One学到的基本能力。

核心创新点是将记忆生成建模为一个可学习的策略，该策略以滑动窗口上下文为输入，决定当前视频片段的记忆。这与传统方法将记忆生成视为固定总结步骤有本质区别。另一个关键创新是两阶段训练设计：Phase One离线学习基本记忆能力，使用多目标奖励防止策略hack奖励；Phase Two在线学习任务相关性，通过adapter微调解决稀疏反馈、灾难性遗忘和计算效率三大挑战。这种设计使得智能体能够在保持基本记忆质量的前提下，根据环境任务动态调整记忆焦点，真正实现了从被动存储到主动、目标驱动的记忆过程的转变。

方法步骤详情

TaskMem的完整工作流程包括以下步骤：1) 预处理：对视频进行身份标注，检测人脸并用全局face ID标记，将ASR转录作为带说话者ID的时间对齐字幕叠加在视频上。2) Phase One训练：使用GSPO算法训练记忆策略，对于每个上下文，滚动生成多个候选记忆轨迹，计算每个轨迹的多目标奖励，在组内归一化奖励计算优势值，通过GSPO损失更新策略参数，使用PSR和NSR分解提高训练稳定性。3) Phase One采用两阶段训练：第一阶段使用Gemini-2.5-Pro合成历史记忆进行off-policy历史训练；第二阶段使用当前策略生成历史记忆进行on-policy历史训练。4) Phase Two训练：使用Phase One策略构建数据集，在部署时收集真实任务，利用奖励模型将稀疏反馈转化为成对偏好数据，使用DPO算法仅训练adapter参数，保持基础MLLM冻结。5) 推理：智能体接收流式多模态输入，使用训练好的记忆策略生成任务相关的记忆，随后仅基于记忆回答问题。

技术新颖性

TaskMem的技术新颖性体现在多个方面：1) 框架层面创新，首次将记忆生成明确建模为可学习的策略，使用强化学习直接优化记忆选择决策；2) 训练范式创新，提出两阶段训练框架，Phase One和Phase Two分别解决如何记忆和记忆什么两个层面的问题；3) 奖励设计创新，Phase One采用多目标奖励包括丰富度奖励，防止策略通过生成过短内容来hack质量奖励；4) 效率优化创新，Phase Two仅训练2048参数的adapter，既解决了灾难性遗忘问题，又保持了部署效率；5) 评估创新，将VQA基准重构为流式设置，通过按问题类型分组模拟特定任务环境，仅基于生成的记忆回答问题来评估记忆质量。

实验结果

实验结果显示TaskMem在三个基准测试上均取得了显著提升。在VideoMME上，准确率达到67.9%，比基线Qwen3-VL-30B-A3B的61.6%提升了6.3%；覆盖率从74.7%提升至79.3%，精确度从82.5%提升至85.6%。在EgoLife上，准确率达到45.4%，比基线的38.4%提升了7.0%；覆盖率从52.4%提升至56.4%，精确度从73.3%提升至80.5%。在EgoTempo上，准确率达到27.6%，比基线的22.3%提升了5.3%；覆盖率从38.9%提升至43.7%，精确度从57.2%提升至63.2%。消融实验表明Phase One训练本身就能提升性能，Phase Two进一步将记忆与任务对齐。仅使用prompt的方法比基线略有提升，但仍远低于TaskMem，说明参数更新比prompt工程更有效。跨任务迁移实验表明Phase Two学习的是任务特定的记忆焦点，而非通用的更好adapter。Phase One训练使用326个长视频，平均每个视频25.15个片段。Phase Two训练仅需40步，adapter范数在训练初期就快速收敛。

查看结构化数据

任务	指标	本文	基线	提升
VideoMME VQA	Accuracy	67.9%	Qwen3-VL-30B-A3B 61.6%	+6.3%
EgoLife VQA	Accuracy	45.4%	Qwen3-VL-30B-A3B 38.4%	+7.0%
EgoTempo VQA	Accuracy	27.6%	Qwen3-VL-30B-A3B 22.3%	+5.3%
VideoMME Coverage	Coverage	79.3%	Qwen3-VL-30B-A3B 74.7%	+4.6%
VideoMME Precision	Precision	85.6%	Qwen3-VL-30B-A3B 82.5%	+3.1%
EgoLife Precision	Precision	80.5%	Qwen3-VL-30B-A3B 73.3%	+7.2%
EgoTempo Precision	Precision	63.2%	Qwen3-VL-30B-A3B 57.2%	+6.0%

局限与改进

作者承认的局限性包括：1) TaskMem目前仅在情节记忆上进行了验证，尚未扩展到语义记忆和视觉记忆；2) 评估基于VQA基准，虽然重构为流式设置，但仍可能与真实多模态智能体在物理或虚拟环境中的交互存在差距；3) Phase Two的训练依赖于奖励模型来构建成对偏好数据，奖励模型本身的质量会影响性能；4) 当前的适配器训练假设任务分布相对稳定，如果任务频繁剧烈变化，可能需要更频繁的adapter更新。基于观察到的局限性，我认为还存在以下问题：1) 身份标注虽然有助于跨片段一致性，但人脸检测和说话人识别的准确性在复杂场景中可能受限；2) 滑动窗口大小固定为5，可能不适合所有场景；3) Phase Two的稀疏反馈问题虽然通过奖励模型部分缓解，但仍然依赖于足够数量的任务；4) 当前方法主要关注记忆生成，但记忆检索和更新的机制仍然相对简单。

独立分析的弱点

TaskMem的独立分析弱点包括：1) 评估局限性：虽然将VQA重构为流式设置，但仍然是问答任务，而非真实的交互式任务，可能无法充分反映智能体在实际环境中的记忆需求。改进方向：引入更真实的交互式评估环境，如ALFRED或VirtualHome等具身智能基准。2) 任务特定性：Phase Two学习的是任务特定的记忆焦点，如果环境任务频繁变化，adapter需要频繁重新训练。改进方向：研究多任务adapter或动态adapter组合机制。3) 奖励模型依赖：Phase Two依赖奖励模型将稀疏反馈转化为成对偏好数据，奖励模型的偏见可能传播到记忆策略中。改进方向：探索无需奖励模型的在线学习方法。4) 身份标注成本：当前方法需要人脸检测和说话人识别，这在计算和标注上都增加成本。改进方向：研究端到端的身份感知记忆生成。5) 上下文窗口固定：滑动窗口大小固定为5，可能不适合所有场景。改进方向：研究自适应上下文窗口机制。

未来方向

作者提出的未来工作方向包括：1) 将TaskMem扩展到语义记忆和视觉记忆，验证框架在不同记忆类型上的有效性；2) 在更交互式的具身环境中探索自适应记忆机制。基于TaskMem的成果，可以延伸以下研究方向：1) 多智能体协同记忆，研究多个智能体如何共享和协调记忆；2) 记忆遗忘机制，研究智能体如何学会遗忘不重要的信息；3) 层次化记忆结构，将TaskMem与更复杂的记忆系统结合；4) 元学习能力，研究智能体如何快速适应新的任务类型；5) 可解释性，分析记忆策略学到的决策模式；6) 效率优化，进一步减少Phase Two的计算开销。

复现评估

复现评估方面，TaskMem提供了相对详细的实现细节：1) 模型基于Qwen3-VL-30B-A3B，这是一个30B参数的多模态大语言模型；2) Phase One训练使用326个长视频，平均每个视频25.15个片段，采用off-policy和on-policy两阶段训练；3) Phase Two训练仅训练2048参数的adapter，插入第22层，训练步数为40步；4) 评估基准包括VideoMME、EgoLife和EgoTempo，使用GPT-4o作为答案生成器。算力方面，论文未明确提供训练所需的GPU数量和训练时间，但考虑到30B模型和两阶段训练，需要相当可观的计算资源。难度评估：中等偏高，主要挑战包括需要访问Qwen3-VL-30B-A3B模型、Phase One训练需要大量视频数据和奖励模型调用、GSPO和DPO的实现相对复杂。作者提供了项目页面，如果代码开源且提供训练好的模型，复现难度将降至中等到低。

面向任务的多模态智能体记忆策略学习 Task-Focused Memorization for Multimodal Agents