流式对话摘要中的缺失证据记忆

提出ReMEMBER，以上下文缺口为条件检索并精炼历史证据，提升流式摘要记忆召回

前置知识

流式对话摘要

与封闭式对话摘要（全文一次可得、输出全局摘要）不同，对话以话语流持续到来：模型在每一步$t$只看到最近约1,024词元的窗口$W_t$，其前所有话语构成无界增长的历史$H_t$，必须在固定记忆预算下构建记忆$M_t$，生成窗口的自包含摘要$S_t$。窗口常含悬空指代、缺省属性与理由，摘要不能只看窗口本身。

这是本文定义的新任务，问题设定、基准构建与方法设计全部围绕它展开，不先理解任务设定就无法理解后续实验。

稀疏与稠密检索（BM25 / 嵌入检索）

BM25是基于词频与逆文档频率的稀疏检索，强化查询与文档的词面重叠；稠密检索用神经编码器（本文用Qwen3-Embedding-0.6B）把查询和文档映射为向量，按余弦相似度召回语义相关内容。两者召回的是互补的相关性信号：词面精确匹配 vs 语义泛化匹配。

ReMEMBER的候选块构造就是双路检索加融合，理解两种检索的互补性才能看懂其设计动机与消融结果。

倒数排名融合（RRF）

一种无需校准不同检索系统分数的融合方法：对每个文档取其在各排名榜中名次的倒数之和。本文公式为$s_g(c)=\frac{1}{60+r_{\text{sparse}}(c)}+\frac{1}{60+r_{\text{dense}}(c)}$，其中$r(c)$是块$c$在某路检索中的名次，常数60抑制头部名次的过度主导。

论文候选块打分直接使用该公式（引用Cormack et al. 2009标准设定），不熟悉RRF就无法读懂方法细节一节。

上下文缺口与三类缺口

上下文缺口指当前窗口中某条值得总结的话语因缺少先前上下文而无法被独立理解。论文定义三类可由历史解析的缺口：指代缺口（代词/提及缺先行词）、属性缺口（缺实体的状态、偏好或性质）、关系缺口（缺因果、逻辑或话语级关系）。每条承载缺口的话语由一条或多条历史证据话语解析。

缺口是全文的核心概念：基准标注的对象、检索的触发器、记忆召回的评估单位都建立在缺口之上。

LLM-as-a-Judge（量规引导评估）

用LLM按预定义评分量规对生成文本打分，温度设为0以保证稳定。研究表明该方式与人类评估在忠实度、完备性等NLG维度上具有较强相关性，更强的裁判模型能进一步提升一致性。本文所有指标均由Qwen3.6-27B按量规打分。

论文的记忆召回、窗口完备性、缺口解析完备性、忠实度、简洁性五个指标全部依赖该评估方式，读实验部分必须理解其前提与局限。

长上下文病理

直接把超长历史塞进上下文会遭遇的已知失效：lost-in-the-middle（中部信息被模型忽视）、needle-in-a-haystack（关键细节被大量无关内容淹没）、推理开销随长度显著增长。本文的Full Memory诊断基线正是为了实证复现这些失效。

它是'为什么需要选择性记忆而不是全量上下文'的直接论据，Figure 1的示意与Table 2中Full Memory的崩溃数据都要据此解读。

研究动机

现代消息应用（WhatsApp、微信）与协作平台（Slack、MS Teams）持续产生多轮对话流，用户很少需要全局摘要，而是反复需要最近片段的摘要以跟上讨论或决策——作者将这一场景形式化为'流式对话摘要'。其核心困难在于当前窗口（约1,024词元、约合5分钟对话）很少自包含：说话人依赖共享历史，导致代词没有先行词、实体缺少属性、决策缺少理由。若只看窗口本身，会产出'顶部又弯了''证实了我们之前的怀疑'这类无法落地的碎片；若直接喂入全部历史，历史动辄数万至160K词元，计算代价高昂且受lost-in-the-middle、needle-in-a-haystack等长上下文病理影响。现有长对话方法要么采用增量摘要（反复压缩使早期信息衰减），要么层次摘要（偏向全局抽象、丢弃细粒度证据），均不保留解析当前窗口依赖所需的先前上下文。

本文的目标是本文的目标有三个层面。第一，形式化流式对话摘要任务：在每一步$t$，模型观察当前窗口$W_t$，其前所有话语构成无界历史$H_t$，模型必须构建记忆模块$M_t$，在固定词元预算下选择性保留解析$W_t$上下文缺口所需的关键证据，进而生成自包含摘要$S_t$。第二，构建带显式'话语-证据'链接的基准：从LoCoMo、REALTALK（闲聊）与EverMemBench（职场）抽取35段长对话，切成1,024词元窗口，历史长度覆盖7K至160K词元，按域分层采样900个实例，并用五阶段LLM辅助标注流程（三个不同模型家族多数同意）标注显著话语与三类上下文缺口。第三，设计分离'记忆质量'与'摘要质量'的评估协议，并提出ReMEMBER方法，在同等预算下超越近因、摘要与检索三类记忆构造基线，且优势在160K词元历史下保持一致。

与已有工作不同的是，本文的独特切入是对三种代表性记忆范式（近因式、摘要式、检索式）的系统诊断：检索虽然是最强的现有范式（保留显式历史证据、选取与窗口相关的轮次），但在流式设定下暴露两个根本瓶颈——构造侧，检索查询由窗口'已经表达'的内容驱动，而记忆真正需要的是窗口'未解决'的依赖，导致检索回来的多是重复或改写窗口的历史；利用侧，128词元的检索块混合了解析证据与邻近轮次、重复内容和话题漂移，在固定预算下稀释了证据密度。由此提炼出核心论断：挑战不在于访问多少历史，而在于记忆是否恢复了当前窗口所预设的证据。这一'以缺口为中心'的视角把记忆构造从相似性驱动的块检索，重构为证据密集的记忆构造——记忆存储的不是与窗口相似的历史，而是补全窗口的证据。

核心方法

ReMEMBER的直觉是：与其用整个窗口去检索相似历史，不如先让模型找出窗口中哪些话语'值得写进摘要却无法独立理解'，再把每个未解析依赖转写成'寻找证据'的定向查询，最后把检索结果精炼到轮次粒度、按缺口轮转分配预算。技术路线分两个阶段：(i) 缺口条件化证据检索——用一个紧凑LLM（默认Qwen3.5-4B）检测窗口$W_t$中既summary-worthy（动作、决策、计划、状态更新）又gap-bearing（解释依赖缺失先行词、理由、先验状态或因果链）的话语，为每个缺口构造证据查询；(ii) 缺口条件化块精炼——对检索候选块内的每条话语计算与缺口查询的余弦相似度$\cos(e(u), e(g))$做重排，只保留高分完整轮次，并按轮转方式累积至1,024词元预算$B$。最终摘要生成器仅接收$M_t$与$W_t$。作者刻意在所有记忆方法间固定同一生成器，以隔离记忆构造本身对摘要质量的影响。

核心创新是'以缺口为条件的记忆构造'，与已有方法的本质区别有三点。其一，检索触发器不同：标准RAG或会话式搜索用用户查询或窗口表面内容做检索，ReMEMBER由话语不完整性触发——查询由LLM推演得出，指明缺口话语、为何不自包含、需要哪类证据，并附带窗口词汇锚点，明确不假设答案存在，从而减少检索漂移。其二，记忆的目标物不同：增量/层次摘要维护全局压缩摘要，ReMEMBER维护'缺口对齐的轮次级证据集合'——存储准则不是相似度而是补全性，每个缺口都有轮转保障的表示份额。其三，粒度不同：所需线索往往集中在单条话语，块级评分会稀释信号，因此在块内做话语级余弦重排并提取含说话人信息的完整轮次。一句话概括：把记忆从'与窗口相似的历史'变成'能完成窗口的证据'。

方法步骤详情

流水线分五步。第一步缺口检测与查询构造：输入当前窗口$W_t$，紧凑LLM（Qwen3.5-4B，消融显示更大检测器无一致增益）识别既值得总结又承载缺口的话语，为每个缺口生成证据查询（指出缺口话语、说明为何不自包含、指定所需证据类型、附窗口词汇锚点）。第二步候选块构造：将$H_t$切成128词元块、32词元重叠；每个查询$g$同时发给BM25稀疏检索与Qwen3-Embedding-0.6B稠密检索，各取top-30，用倒数排名融合$s_g(c)=\frac{1}{60+r_{\text{sparse}}(c)}+\frac{1}{60+r_{\text{dense}}(c)}$聚合，每缺口保留top-K=8个候选块$C_g$。第三步缺口条件化轮次提取：块分解为话语，用同一嵌入编码器计算$\cos(e(u), e(g))$重排，提取高分完整轮次（含说话人）构成$T_g$。第四步缺口平衡证据累积：第$d$轮为每个$T_g$追加其第$d$高分且未入$M_t$的轮次，直至预算$B$=1,024词元，确保无缺口垄断记忆。第五步摘要生成：生成器只接收$M_t$与$W_t$，三个摘要器间保持一致。

技术新颖性

技术新颖性体现在四个层面。任务与评估层面，首次把流式对话摘要形式化为独立任务，基准带显式话语-证据链接，评估协议把完备性分解为窗口完备性与缺口解析完备性，从而能分离'记忆没召回证据'与'摘要没用上证据'两种失败模式——这是现有对话摘要基准不具备的。方法层面，缺口条件化检索是对查询分解研究的定向改造：传统方法把模糊输入改写为显式查询或假设文档（如HyDE），本文触发器是话语不完整性，查询指定非假设性的历史证据需求（先行词、先验状态、因果链），避免锚定到可能不存在于历史的假设答案。工程层面，稀疏+稠密双路RRF融合、块内话语级余弦重排、跨缺口轮转预算分配共同把原始检索结果转化为证据密集记忆。诊断层面，Table 1显示访问全部历史的压缩式（Inc. 0.3581、Hier. 0.3212）甚至低于近因基线（0.4126），首次量化证明'无差别压缩主动丢弃任务相关证据'。

**Figure 3**: The prompt used for gap detection（缺口检测提示词）

实验结果

第一，记忆召回（Table 1）：ReMEMBER达0.6984，比最佳基线Hybrid（0.5412）高0.157；近因0.4126、增量0.3581、层次0.3212，无差别压缩垫底；分类型看，指代/属性/关系缺口为0.2457/0.3558/0.1008，关系型最难（理想也仅0.1328）。第二，摘要质量（Table 2）：ReMEMBER三区间复合分均最佳（0.65/0.68/0.69），优势主要来自缺口解析完备性，比Hybrid最高提升0.17；Full Memory在64K+窗口完备性跌至0.13、简洁性0.16。第三，缺口级分析（Table 3）：ReMEMBER关系型缺口记忆包含76.89%、摘要反映52.21%，远超Hybrid（46.13%/25.68%）；即便Ideal Memory摘要反映也只有72.96-80.34%。第四，消融（Table 4）：去掉缺口条件化检索掉分最大（召回0.70→0.60、缺口解析0.50→0.43），去掉块精炼召回降至0.66。第五，延迟（Figure 2）：构建约4秒，检索基线<1秒，ReMEMBER召回最高。

**Table 1**: Memory recall and its breakdown by gap type, where each type-level score is the fraction of gaps included in Mt out of all annotated gaps of that type.

**Table 2**: Summary quality across dialogue length bins (-32K, 32K-64K, 64K-). Win-Comp, Gap-Comp, Conc, and Faith denote window completeness, gap-resolution completeness, conciseness, and faithfulness.

**Table 3**: Percentage of annotated gaps per type whose resolving evidence is included in memory and reflected in the generated summary.

**Table 4**: Ablation results using Qwen3.5-4B as gap detection model and summarizer.

**Figure 2**: Memory recall versus memory build runtime (log scale, in seconds) across three dialogue length bins.

查看结构化数据

任务	指标	本文	基线	提升
记忆构造（流式对话摘要）	记忆召回 Memory Recall	0.6984	Hybrid 检索 0.5412（最佳记忆构造基线）	+0.157
流式对话摘要（历史32K-64K）	缺口解析完备性 Gap-Comp	0.48	Hybrid 0.31	+0.17
流式对话摘要（历史<32K）	复合分 Composite（四指标均值）	0.65	Hybrid 0.61	+0.04
关系型缺口证据恢复	记忆包含率（%）	76.89	Hybrid 46.13	+30.76个百分点
关系型缺口证据利用	摘要反映率（%）	52.21	Hybrid 25.68	+26.53个百分点

局限与改进

作者承认的局限：即便提供参考缺口证据的Ideal Memory，摘要反映率也只有73%左右（指代80.34%、属性73.73%、关系72.96%），说明记忆召回与摘要使用之间存在持续差距，生成端独立构成天花板；评测依赖LLM打分（Qwen3.6-27B，temperature 0），虽有量规引导且文献支持其与人类评估的相关性，终究不是人工评估。我的补充观察：其一，基准规模小——35段对话、900个实例，全部源自三个既有数据集，LLM多数同意标注的噪声无法完全排除；其二，缺口检测是单点故障，4B小模型漏检的缺口将永久丢失证据，文中未报告检测器自身的召回率；其三，每窗口约4秒的构建延迟在高频流式场景与全历史索引/切块开销下会累积；其四，实验只覆盖1,024词元窗口与1,024词元预算的单一配置，未给出预算敏感性曲线；其五，摘要器仅三个中小型开源模型，未验证结论在更强模型上是否迁移。

独立分析的弱点

第一，缺口检测决定上限：若小型LLM未识别某条gap-bearing话语，对应解析证据将永远不会进入记忆，且系统对此无感知。改进方向：多检测器集成投票、低置信度时回退到窗口级混合查询兜底，并报告缺口检测自身的召回/精度。第二，构建延迟与成本：每窗口需LLM检测、双路检索与逐话语嵌入，约4秒（H200），是纯检索的数倍；改进方向是跨窗口缓存（历史块索引只建一次）、仅对新增话语增量更新、蒸馏更小的检测模型。第三，配置单一：固定1,024词元窗口与预算，未探索512至4,096词元预算的性能-成本曲线，实际部署中预算应随缺口数量自适应。第四，生成端未被共同设计：Ideal Memory也只有约73-80%的反映率，说明瓶颈已部分转移到生成器；改进方向是把缺口信息显式传给生成器做缺口感知生成，或生成后自检覆盖。第五，关系型缺口召回仍低（0.1008，理想0.1328），隐式因果与话语级证据需要超越嵌入相似度的推理式检索。

未来方向

作者指出的方向：记忆构建与摘要生成的协同设计是关键——Table 3显示记忆包含与摘要反映之间存在持续鸿沟，即便理想记忆也无法被完全利用。基于成果可延伸的研究包括：(1) 增量式记忆维护，随窗口推进只更新受影响部分而非每窗口全量重建，把约4秒的构建延迟摊薄到流式节奏中；(2) 把缺口条件化检索推广到相邻流式任务，如会议摘要、客服工单与agent长期记忆（intent-driven记忆与本文互补）；(3) 缺口类型感知的生成策略，对最难的关系型缺口引入显式推理链或图结构记忆；(4) 更强评估：当前用单一27B裁判模型，可加入人工评估与多裁判一致性分析；(5) 用户反馈闭环，在线学习哪类缺口对用户最重要并动态调整轮转预算；(6) 与原生长上下文模型对比，验证上下文窗口持续扩大后选择性记忆是否仍有优势——Full Memory的系统性失效暗示会，但需要更强模型验证。

复现评估

复现条件总体友好。数据：基准基于三个公开数据集（LoCoMo、REALTALK、EverMemBench），附录A.1给出统计信息，A.2/A.3给出缺口定义与五阶段标注流程（三个不同模型家族LLM多数同意保留），附录B与Figures 5-12给出全部指标定义与提示词（缺口检测Figure 3、摘要生成Figure 4、层次摘要Figure 11、No Memory Figure 12）。超参数完整：128词元块/32重叠、双路各top-30、RRF常数60、每缺口top-8、预算与窗口均1,024词元。模型全部为公开权重：Qwen3.5-4B/9B与Gemma-4-E2B-it（检测与摘要）、Qwen3.6-27B（评测）、Qwen3-Embedding-0.6B（检索）、BM25（开源实现即可）。算力：单张H200即可复现全部实验（构建约4秒/窗口）。不确定性：正文未见官方代码或基准发布链接，需自行实现流水线与LLM标注管线，标注多数同意流程调用成本中等但繁琐。综合评估：中低难度，约一至两周工程量可复现主表。

流式对话摘要中的缺失证据记忆 Don't Scroll Back: Missing-Evidence Memory for Streaming Dialogue Summarization

前置知识