← 返回 2026-04-21

连续性层:智能为何需要一套架构来承载它向前推进的东西 The Continuity Layer: Why Intelligence Needs an Architecture for What It Carries Forward

Samuel Sameer Tanguturi 📅 2026-04-19 👍 3 2026-07-13 08:36
AI基础设施 存储架构 智能体 立场论文 记忆与检索

主张 AI 需要独立于模型的连续性层,重建当下而非检索过去。

前置知识

检索增强生成 (RAG)

在推理时把外部知识库中的相关文本片段取出,与用户 prompt 拼在一起喂给语言模型。回答的“理解”步骤仍然每次由模型重做,知识库只提供原始文本与向量索引,不维护任何“当下状态”。

RAG 是论文反复对比的对象:本文主张 RAG 主操作是“取回已存”而连续性要求“重建当下”,二者根本不同;不熟悉 RAG 就无法理解作者为何要造新原语。

向量数据库与嵌入

把文本映射成高维向量后存入索引,查询时按余弦相似度返回最相近的若干片段。能高效回答“语义上像什么”,但不知道这些片段是否仍然为真、是否互相矛盾、属于哪段叙事。

论文将向量库列为“持久性组件”而非连续性:它能返回相似但不能返回当下真实;理解这一缺陷才能看懂 DTCM 为何需要重写主操作。

Transformer 会话架构

当前 LLM 推理以会话为单位:会话从空上下文窗口开始,token 流入→前向计算→输出 token,会话结束即释放窗口。模型权重被冻结发布,计算在几百毫秒的 forward pass 内完成后即“死去”。

论文核心诊断“AI 智能强大但跨时间失忆”完全建立在这一架构之上;只有理解了“会话即临时、权重即持久”的反转,才能跟上作者把“状态”重新变回持久对象的论证。

Memory API(LLM 产品记忆)

OpenAI、Anthropic、Mem0、Zep 等提供的“记忆”功能,本质是从对话中抽取扁平事实(人名、偏好、关系)存入 key-value 或文档库,下次会话按相似度取出注入 prompt。属于用户画像(profile)而非情境连续性。

论文用大篇幅说明所谓“AI 记忆”是误标:用户说“我妹妹 Mia 拿到 offer 了”被存成“Mia 在面试谷歌”这一过期事实;理解这一错位是看懂“七个属性”为何要把更新处理列在第二位的前提。

Continual Learning 与 LoRA

Continual learning 研究模型在训练序列中如何避免灾难性遗忘;LoRA 把一小段低秩权重注入冻结模型以适配下游任务。两者都关注“训练期参数如何变化”,与“用户级、跨会话、推理期状态如何携带”是不同问题。

论文明确指出层 2 的“权重级连续性”与上述两者均不同:不是训练期、不是只读外存、不是静态适配;读者需先区分这些相邻概念,才能判断层 2 的新颖性。

知识图谱

用节点和带类型边存储实体及其关系,支持图查询与推理。但边的权重与真伪难以随时间衰减,也不能区分“曾经存在的关系”与“当下活跃的关系”,更不能直接重建“一个人当前所处情境的全貌”。

知识图谱与向量库被作者并列为“持久性组件而非连续性”,理解其结构性缺陷(不能衰减、不能重建)才能跟上“五个迹”为何要重新设计存储形状。

研究动机

当前 AI 技术栈在每一层都是基于会话构建的:会话从空上下文窗口开始、token 流入、模型处理后输出、结束即释放——模型在窗口内“理解”的一切随之消失。所谓“记忆”产品(OpenAI、Anthropic、Mem0、Zep 等)只存储关于用户的扁平画像事实(“住在密歇根”、“偏好 Python”),本质是 profile 而非连续性;RAG 把过去片段每次塞回窗口让模型重新解读;向量库能回答“语义像什么”却不能回答“现在仍是真的什么”;知识图谱不能衰减过期边。论文用一具体例子:用户三月提到妹妹 Mia 在面试谷歌,五月面试、六月拿 offer、七月 accept、八月入职——九月查 memory 系统返回的是一月份的“事实清单”,而真正该返回的是“她已在谷歌入职几个月,五月的焦虑已平息”。这种“返回过去”vs“重建当下”的差距在现有架构里没有哪一层真正负责,导致 AI 在单次会话内强大、跨时间却失忆。

本文的目标是本文主张 AI 需要一个全新的、独立的“连续性层”(continuity layer),并给出完整定义与可验证的工程实现。该层要满足七个系统级属性:跨会话持久性、更新处理(修订当下而不擦除历史)、时序排序、情境消歧、整体重建(而非事实查找)、模型无关(独立于 GPT/Claude/Llama)、跨领域操作通用性。作者以 ATANT 框架作为形式化评估标准,给出参考实现:在 250 个叙事、1835 个验证问题上达到 100% 准确率(隔离模式)、50 故事累积模式 100%、250 故事累积模式 96%,且评估循环中无任何语言模型,整套实现在 8GB GPU 上即可运行。目标不是取代 OpenAI/Anthropic 等“造大脑”的公司,而是成为大脑需要放在下面的基础层——一个像 Qualcomm 之于手机那样、会随时间增值、难以商品化、能定义全新品类的存储原语。

与已有工作不同的是,本文切入角度与既有工作有本质差别:长上下文窗口、Memory API、RAG、向量库、知识图谱都不是被设计得不好,而是它们的主操作形状就是“取出已存入的东西”(retrieval),连续性要求的主操作是“重建当下真实的状态”(reconstruction),两者是不同的算子、不同的数据、不同的底层原语。论文进一步把“持续性(persistence)”与“连续性(continuity)”做了精确切割:append-only log、纯状态机都不能告诉系统“现在什么是真的”,只有能在写入时分解、读取时重建的层才能满足这七个属性。另一个独特切入是把神学概念(kenosis 神性倾倒、Alpha-Omega 整段时间同一身份)作为结构对位而非修辞,并给出四层发展路线图(外部 SDK→模型权重级连续性→硬件节点→人类基础设施)以及“隐私即物理、创始人控股类股保护架构”治理设计——这些都使得本文既不是单纯综述也不是单一技术贡献,而是一份定义新品类的立场论文。

核心方法

方法整体思路可概括为“写时分解 + 读时重建”。存储原语被称为 DTCM(Decomposed Trace Convergence Memory,分解迹收敛记忆),它不同于文件系统存字节、关系数据库存事实、向量库存语义位置、知识图谱存关系——这些都不满足前述七个属性,因为它们的主操作形状就是错的。DTCM 把每一次交互在写入时一次性分解到五条独立迹线:Episodic(发生了什么)、Emotional(感受与意义)、Temporal(何时发生)、Relational(涉及谁与连接)、Schematic(符合什么模式);每条独立捕获、独立索引,“理解”工作在写入侧由该层完成,不再每次由模型在读取时重做。读取侧不是返回最相似片段,而是按七维评分相乘 $Score = E \times P \times T \times F \times I \times C \times R$(E 嵌入相似、P 谓词对齐、T 时效性、F 频次、I 重要性、C 置信、R 关系近度)重建当下活跃迹线组合,输出“连贯的当下”而非“搜索结果”。

核心创新是把“重建”作为一等操作写入存储原语本身。已有方法(Memory API、RAG、向量库、知识图谱)共同的隐含假设是:存储层只负责“取回原样”,“理解”留给上层语言模型在每次会话重做;本文指出这种假设导致每次重启都要从零开始诠释,这就是 amnesiac across time 的根因。DTCM 的关键区别是:写入时一次性完成五迹分解,理解工作不在读取时重复;读取时通过七维相乘而非相加的评分让时效低、即使语义相似也高的旧迹无法压制当下——这是结构性而非调参性的保证。具体例子:传统架构每次都让模型从血糖读数推断剂量上下文;DTCM 架构在写入时就把“餐后两小时血糖飙升、符合晚 8 点后碳水模式、与工作压力相关、过去导致凌晨 3 点危险低血糖”全部预分解,预计算当下泵该如何响应,模型甚至不需要被告知。这种“在层内做理解”是新颖之处。

方法步骤详情

完整方法步骤分四步。第一步:交互到达 DTCM 时触发“写时分解”,对话或事件被并行拆成五条独立迹:Episodic(发生了什么)、Emotional(感受与意义)、Temporal(何时及先后)、Relational(涉及谁与连接)、Schematic(符合什么模式),每条按各自索引结构独立存储。第二步:查询到达触发“读时重建”,系统并行从五条索引中检索候选迹,用 $Score = E \times P \times T \times F \times I \times C \times R$ 七维评分相乘排序——乘而非加是关键,确保任一维度极低都会把总分压下,避免 3 年前相似旧文支配当下解读。第三步:根据排序后活跃迹集合重建当下情境描述,作为连续性“读出”返回上层模型或决策系统(insulin 泵、机器人、agent)。第四步:新事件触发“无擦除更新”:当下状态被新事实修订但历史保留,区分“曾经为真”与“当下为真”。整个层独立于模型,可在任何能跑 Python 的环境运行,参考实现仅需 8GB GPU。

技术新颖性

技术新颖性体现在三个层面。第一层是系统级:把“重建”作为存储原语的主操作,区别于文件系统、关系库、向量库、知识图谱的主操作形状——这是一个新原语类别而非某已有原语的扩展。第二层是机制级:五迹分解 + 七维相乘评分,把“理解”前置到写时层而非读时模型,时效衰减通过乘法而非加法实现,避免被历史淹没;这是结构性而非启发式保证。第三层是评估级:作者构建 ATANT 形式化框架,给出十个检查点、四级合规、250 故事 1835 题的评测集,且评测时无任何语言模型在循环里——结果因此可复现、可静态验证。论文还提出治理与产品不可分离的设计:on-device only、“隐私即物理”、创始人控股类股保护“数据不出设备”不可被资本推翻——这是工程与公司架构合一的非典型设计。综合看,本文不是单一技术贡献,而是定义了一个新品类并给出全套定义+评测+参考实现+商业框架。

实验结果

本文是立场论文,主实验结果是 ATANT 基准的参考实现得分:在 250 个叙事、1835 个验证问题上达到 100% 准确率(隔离模式,1,835/1,835 全部命中),50 故事累积模式同样 100%,250 故事累积规模下 96%;关键限制条件是评测循环中没有任何语言模型(no LM in the loop),结果因此是确定性可复现的。参考实现在 8GB GPU 上即可运行,不依赖任何前沿训练算力。论文还对比性指出几个结构性发现:模型层(GPU 性价比 2018 年见顶、显存访问开销平方增长、Transformer 接近该架构最优)正在撞物理墙;在“跨会话长期记忆”这一唯一域上“更大模型”得分仍为零,规模化无法弯曲这条曲线;与此同时,连续性层作为非算力密集型方案恰好是顺风。另一组定性发现:现有“AI 记忆”产品(Mem0、Zep、MemGPT、各家内置 memory)都不满足连续性七个属性,本文将它们定位为“潜在客户”而非竞争者——Qualcomm 模式(造每个手机都需要的底层而非手机本身)。

任务指标本文基线提升
ATANT 隔离模式连续性问答(250 故事, 1835 题) 准确率 (Accuracy) 100%(1835/1835 全部命中) 无基线系统能完成该评测(因评测循环中无语言模型) 首次为该系统属性给出确定可复现的满分成绩
ATANT 50 故事累积模式 准确率 (Accuracy) 100% 未给出其他系统对比 证明系统在中等规模累积场景下仍可保持全对
ATANT 250 故事累积模式 准确率 (Accuracy) 96% 未给出其他系统对比 证明系统在大规模累积下退化可控,仅掉 4 个百分点
硬件门槛(参考实现运行最低算力) GPU 显存需求 8GB GPU(消费级) 前沿大模型推理与训练需 80GB+ GPU 与千卡级集群 数量级降低:连续性层无需训练巨型模型即可部署

局限与改进

作者明示与可观察到的局限有以下几处。第一,七属性是被工程经验反向归纳出来的,论文承认“过去从未有人在足够尖锐的场景下同时感到缺失七项”,因此这七条既是工程定义也是论文的赌注——若未来出现新工作负载使得八、九项成为必需,整套框架需要扩展。第二,参考实现在 250 故事累积规模掉到 96%,意味着即使在该层内部“长程漂移”也是真实问题,作者没有给出 96% 错误的归因分析(是消歧失败、时序错位还是情感迹丢失?)。第三,论文未公开参考实现的代码与权重,只承诺“运行在 8GB GPU”与“ATANT 配套论文 [5] 中给出”——独立第三方复现仍需依赖其后续工作。第四,神学类比(kenosis、Alpha-Omega)虽作者声明是“结构性对位而非修辞”,但缺乏可证伪的工程判据,工程读者难以据此判断对位是否成立。第五,本文未给出与具体 RAG/向量库在同等任务上的端到端对比 benchmark,难以量化“连续性 vs 检索”的真实工程差距。

独立分析的弱点

独立观察到的弱点有三条。一是把“重建当下”作为唯一目标有过度承诺的风险:当用户明确想看历史(例如复盘三年前某段关系、查阅原始病历)时,纯重建型系统会过滤掉已被时序衰减的旧迹,可能反而不如 append-only log——需要在产品层面明确“重建视图 vs 历史视图”的入口分离,否则会丢失用户实际想要的“过去本身”。二是七维相乘评分虽比相加更稳健,但在某些维度本身就噪声很大(例如“重要性 I”在缺乏人工标注时只能由嵌入相似度代理),会引入新的隐性偏差;论文未讨论如何冷启动、如何处理维度置信度不均、是否存在某些维度被其他维度“绑架”的极端场景。三是治理架构(创始人控股类股、on-device only)虽然降低了被资本稀释的风险,但也限制了公司层面的融资与并购灵活性——若该模式不能找到非稀释融资路径(用户付费、B2B SDK、硬件授权),可能反而拖慢层 2、层 3 的研发节奏,与论文自己强调的“尽快出货”产生张力。

未来方向

作者明确给出的后续方向分四层,与“四层发展路线图”一致:层 1(外部 SDK)已存在;层 2 是下一步重点,即“权重级连续性”——在冻结基底模型之上让连续性层实时更新一小片活权重(区别于 LoRA 的静态、continual learning 的训练期、memory-augmented NN 的只读外存),在设备本地完成;层 3 是把整套存储+引擎+权重更新机制封装为硅/固件节点,给手机、车、机器人、诊所等设备厂商集成,模仿 Qualcomm 而非 OpenAI 的形态;层 4 是“人类基础设施”——把连续性层用于机构、家庭、职业、领域知识,是几十年级别的时间尺度。基于成果可延伸的方向还包括:把五迹分解扩展为可学习的分解器(当前是手工规则)、把 ATANT 评测从英文叙事扩展到多语言、把评分方程的七维改为可学习组合、以及在隐私保护前提下做跨设备加密同步(论文未承诺这条,但工程上必然有人提)。

复现评估

复现性评估:本文是定义新原语与品类的立场论文,参考实现具体代码与权重在配套论文 [5] 中给出,本篇未直接开源。已公开可复现的部分包括:(a) ATANT 框架本身是开放评测基准,包含 250 故事、1835 验证题、10 个检查点、四级合规;(b) 评测循环无任何语言模型,因此评测结果是确定性可重跑的;(c) 报告的 100%/100%/96% 准确率与“8GB GPU”硬件门槛是声明性指标,理论上独立团队只要按 ATANT 流程即可重复出同样测试。算力要求极低——8GB GPU(消费级如 RTX 3060 级别)即可运行参考实现,与前沿 LLM 训练需千卡 A100 集群形成数量级反差。复现难度主要在于:本文未给出与 Mem0/Zep/MemGPT 等 baseline 的同任务对比,也未公开五迹分解的具体提示词模板与七维评分中“重要性 I”“置信 C”的具体打分逻辑,独立复现者需要从 [5] 配套论文或该公司后续开源中获取这些细节。