大规模智能体:以感知为中心的持久智能体架构 Agents in the Large: Perception-Centered Architecture for Persistent Agents
提出以主动感知与生命周期任务为核心的 Pera 架构,让智能体跨越单个任务提供持续自适应服务
前置知识
认知语言智能体(CoALA 视角)
指把语言模型嵌入由记忆、动作与决策程序组成的系统中执行任务的智能体形态,代表工作如 ReAct、Reflexion 以及 Sumers 等人提出的 CoALA 分类框架。其特点是所有推理、检索、工具调用与记忆读写都围绕一个当前有界目标组织,目标既决定哪些信息相关,也定义任务何时算完成。
Pera 的全部论证都建立在“现有智能体是认知系统、以情景任务为最高控制单元”这一判断之上。只有先理解 CoALA 式架构的记忆分层与决策循环,才能看懂 Pera 到底在哪个层次之上加了感知与控制组件,以及为什么作者声称这只是增加控制范围而非推翻已有机制。
编程在小与编程在大(programming in the small / large)
DeRemer 与 Kron 在 1976 年提出的软件工程区分:前者关心单个程序或模块内部的计算正确性,后者关心模块之间接口、依赖与交互关系的组织。核心洞察是系统级性质(如整体可靠性)可能不违反任何单个模块的约束,因而无法靠改进单个模块解决,必须由架构显式管理。
这是全文的中心类比:作者认为语言智能体正经历从 agents in the small(以单个任务为设计对象)到 agents in the large(以跨越任务的持续服务为设计对象)的同构转变。理解这个类比才能抓住“架构范围由受控活动与状态的跨度决定,而非单元内计算量”这一贯穿全文的判据。
主动感知(Active Perception)
源自 Bajcsy 与 Hayes-Roth 的思想:动态环境暴露的信息远超资源受限智能体能连续处理的总量,因此感知什么、何时感知、以何种细节感知,应由智能体当前活动产生的信息需求主动引导,形成“活动指导感知、感知更新情境评估、评估再改变后续感知”的反馈回路。感知不是固定的输入阶段,而是受控操作的一部分。
Pera 直接把 Hayes-Roth 1995 年自适应智能系统(AIS)架构中的这一思想重新解释并扩展为持久智能体的核心:任务有界目标只覆盖任务期内的信息需求,跨任务边界的持久条件则需要感知组件主动去“看”。不懂主动感知就无法理解标题中 perception-centered 的含义。
长程任务与长时设定(long-horizon task vs long-lived setting)
长程任务指在单一目标下延长执行时间、目标达成即结束的任务,衡量的是任务内执行跨度;长时设定则指用户偏好、工件、约束、决策与操作程序等跨任务存续的条件所构成的持久范围,跨越多个目标且在任何单个任务完成后依然存在。前者是时间量,后者是控制范围。
作者明确区分这两者,以反驳“持久智能体就是跑得更久的任务智能体”这一常见误解。Pera 的核心主张恰是把长时设定本身作为受控范围:理解这组概念才能判断一个系统是仅仅延长了执行(agents in the small),还是真正把跨任务条件纳入了架构管理(agents in the large)。
研究动机
现有语言智能体几乎都被架构为认知系统:围绕当前用户指定的有界任务,组织语言模型、记忆、工具与决策程序。作者引用近期实证评估指出,即便一些系统已能针对单个复杂任务连续运行数十小时,其有效任务视界仍远短于名义运行时长,且长时间运行中进展常常停滞不前,这种自治程度距离真正的持久服务还有明显差距。以研究最活跃的计算机使用智能体为例:现有评测只考察完成用户显式指派的任务,而更自主的智能体应当持续感知用户活动与计算机环境的变化、推断尚未被言明的需求,并识别当前决策程序何时已不适应未来任务进而主动修订。问题的架构根源在于跨任务边界的可观测性缺口:如果信息只能通过当前活跃任务的观测环路进入智能体,那么已完成任务的延迟反馈修正、可复用程序因环境变化而失效、用户偏好的漂移等跨任务变化,就只能等它们的后果在未来某个任务中再次暴露时才会被发现——而那时损失已经发生。换言之,单个任务完成得再好,也不能保证支撑后续任务的持久条件(上下文、程序、工具、用户需求)仍然可靠。
本文的目标是论文的目标是为持久智能体提供一个概念架构,明确回答三个目前缺乏系统答案的问题:第一,在认知核心之外,持久智能体还必须存在哪些组件;第二,感知到的跨任务变化如何变成智能体对自身执行的、有边界的工作;第三,如何用统一框架回顾组织现有工作并指导未来开发。具体而言,作者希望像软件架构学组织大型软件系统那样,为长时设定中的持续服务给出组件、交互与约束的描述:智能体要能持续感知来自情景任务执行、内部上下文以及周围环境变化的服务相关信号,用这些信号构造生命周期任务,由这些任务驱动服务程序的持续运行与适应。论文还要求该框架能向后兼容地解释近年的主动智能体、记忆系统、自演化智能体等工作各自贡献了哪个部分,并给出可操作的前瞻研究方向。
与已有工作不同的是,本文的独特切入有三点。其一是类比迁移:作者借用软件工程从编程在小到编程在大的历史转变(DeRemer & Kron, 1976),把语言智能体的演化框定为同构的架构转型,从而自然导出“系统性质取决于跨模块关系、必须由独立于单元内计算的架构层管理”这一论证结构。其二是思想溯源:不同于从强化学习或操作系统视角出发,作者把 Hayes-Roth 1995 年自适应智能系统中的主动感知思想重新解释并扩展到语言智能体,使感知从“支持当前任务行为的输入阶段”升级为“跨越任务边界维持长期服务范围的架构级功能”。其三是相对定位:与持续学习、终身学习的现有综述不同(后者要么聚焦从已完成任务流中积累经验,要么按能力与组件做分类学),也与 CoALA、AIOS 等不提供生命周期级叙述的框架不同,Pera 提供的是感知加控制双组件的生命周期级概念架构,并同时刻画了外部与内部信号如何催生生命周期任务、生命周期任务与情景任务如何交互。
核心方法
直觉上,正如各自正确的软件模块可能因接口不匹配、依赖冲突而组成错误的系统,各自成功的任务执行也可能因跨任务条件(用户偏好、可复用程序、环境约束)失效而使长期服务崩坏,因此需要一个独立于任务内计算的架构层来管理这些跨任务关系。Pera 在认知语言智能体之上引入持久智能体核心,由两个组件构成:生命周期感知与控制平面。生命周期感知包含传感器(sensors)与信号处理器(signal processors):传感器持续捕获外部信号(来自物理、人类、数字环境的变化)与内部信号(来自单次任务执行、跨任务执行的回顾、内部上下文记忆、乃至感知与控制组件自身),信号处理器抑制无关输入、聚合相关信号,产出对服务相关变化的描述。控制平面评估这些描述,对照智能体与环境当前状态判断是否需要进一步证据或干预;需要时构造生命周期任务包,调度给任务智能体规范,后者实例化出带专门决策程序的任务运行时,通过任务级决策制定执行工作。由此形成循环:感知使长时设定的变化可观测,控制把相关变化变成可执行的生命周期工作,任务执行与评审建立并检验持久效果,其产出又作为新信号回流——设定与智能体就在这个循环中持续共同演化。
核心创新是两个概念区分加一个判据。第一,情景任务与生命周期任务的区分:判据是任务的目的与完成条件——情景任务以有界的用户可见结果完成,生命周期任务则以建立、恢复或验证未来任务所依赖的持久条件所需的证据完成。例如修正应约束未来所有报告的偏好就是生命周期任务。这纠正了“主动=生命周期级”的直觉:智能体自发的一次性服务仍是情景任务。第二,信号与观测的区分:观测是提供给任务运行时用于其内部决策的信息,信号则是提交给持久智能体核心、作为生命周期级判断起点的事件,同一事件可身兼两职(如工具错误既支持当前恢复,又提示可复用程序已不可靠)。第三,贯穿全文的判据:架构范围由受控活动与状态的跨度决定,而非单元内计算量——执行再久、记忆再长,只要仍从属于当前情景目标就仍是 agents in the small。与已有方法的本质区别:CoALA 式架构以情景任务为最高控制单元;STOP 等自演化智能体虽更新源码工具,却缺少“何时需要更新”的感知与控制;ProactiveAgent、ContextAgent 有外部感知但控制范围仍是情景级;Pera 则让跨任务变化变成对服务程序本身的维护工作。
方法步骤详情
Pera 的运行分七步。第一步,信号捕获:物理或软件形式的传感器按事件触发或周期检查捕获信号,来源覆盖人类反馈、文件系统事件、执行轨迹中的重复工具失败等;单个事件或聚合条件(如接口变更后重复失败提示程序过时)都可成为信号。第二步,信号处理:处理器把信号解释为足够具体的条件描述,可调用检索、多模态理解乃至打包成任务执行。第三步,制定:控制平面以语言模型为通用推理机制、扮演类似操作系统内核的角色,构造生命周期任务包,含任务目标与预期持久效果、完成标准、任务特定程序、上下文来源、恢复机制(保留稳定版本可回滚、限制修改范围)与评审标准。第四步,调度:在立即、延迟、等待资源/依赖/授权之间选择,并按紧急度、依赖与长期影响同情景任务统一排序。第五步,实例化与执行:任务特定程序补充或约束通用决策程序,运行时经规划—行动循环执行,动用到推理、检索、更新、接地。第六步,评审:检查轨迹、结果与状态,对生命周期任务额外判断持久条件是否建立、更新应被接受、修订还是回滚,必要时回放改动前成功的输入验证行为保持。第七步,新信号回流:执行与评审的发现被生命周期感知再次捕获,循环继续。
技术新颖性
新颖性有四层。第一,首个以感知为中心的生命周期级语言智能体概念架构:把“认知核心之外必须存在哪些组件、感知到的变化如何变成智能体对自身执行的工作”作为明确的架构问题提出,而此前工作要么只覆盖组件(记忆、工具、调度),要么只覆盖能力(主动、自演化)。第二,信号/观测与情景/生命周期两组区分给出可操作的判定标准,使“架构范围”变成可对系统映射的维度——Table 1 正是用它把四个代表性系统定位为覆盖局部维度的特例。第三,生命周期任务包把软件工程的验证与回滚思想(保留稳定版本、双重检验、关键变更需授权)显式编码为控制平面与任务执行间的接口;完成标准与评审标准的分离尤为关键:变更是否进入未来服务由生命周期层独立裁决,直接回应了自演化智能体中错误修改持久污染后续任务的风险。第四,更新动作可指向持久智能体核心自身——传感器、信号处理器乃至控制器都可成为修改目标,形成元级自改进闭环。与直接启发 Pera 的 Hayes-Roth AIS 的区别在目的:AIS 的感知服务于当前任务的行为调节,Pera 的感知还要识别新兴需求、决定服务如何随设定演化。
实验结果
这是概念架构论文,没有定量实验,“结果”由三部分构成。第一,案例研究(Figure 5):共享集群上同一用户依次完成稠密训练、推理评估、数据处理、MoE 训练四个情景任务,工件与经验跨任务累积。到数据处理结束时,下一配置已表明转向 MoE;监控基线与诊断程序却仍编码旧假设——出现“服务错配”:没有任务失败,但可靠性服务已与工作负载脱节。第二,架构对比(Table 1):Plan-and-Act 每阶段都要在任务内重新发现项目级依赖;A-MEM 保留经验但只是任务级决策的输入,不会变成维护可靠性服务的工作;PaLM-E 扩展当前任务观测而不保留项目历史;ContextAgent 兼具持久上下文与外部感知,能在 MoE 训练前主动发起面向新负载的服务,但控制范围仍是情景级;只有 Pera 同时具备内外信号、生命周期任务制定与生命周期级决策,它把错配转化为修订共享感知与诊断程序的生命周期任务,。第三,回顾性组织:用 Pera 梳理主动智能体、记忆系统(Mem0、A-MEM)、自演化智能体(STOP)与 AIOS 调度等工作,显示现有系统各自只实现局部组件,感知与生命周期控制仍缺失。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 演化中的模型开发长时设定下的架构能力定性对比(案例研究:稠密训练→推理→数据处理→MoE 训练四阶段) | 感知(范围/来源)、控制(任务制定/决策层次)、上下文(瞬态/情景/持久)三维度覆盖,均为定性映射而非数值指标 | Pera 五项全占:观测+信号、外部+内部来源、情景+生命周期任务、任务级+生命周期级决策、三类上下文;能把服务错配转化为修订共享感知与诊断程序的生命周期任务并保留为持续服务状态 | Plan-and-Act(瞬态上下文,任务级)、A-MEM(情景上下文,任务级)、PaLM-E(外部观测,任务级)、ContextAgent(外部信号+三类上下文,但控制仍为主动情景级) | Pera 是唯一同时具备内部信号感知与生命周期级控制回路的架构(定性优势,论文未提供任何数值对比) |
局限与改进
作者承认的局限相当坦诚:其一,Pera 是概念架构而非实现,全文没有系统原型、量化评估或公开基准,案例研究是构造性的单一场景(一个用户的模型开发项目),代表性有限;其二,作者明确指出关键技术挑战仍未解决——外部与内部来源会产生大量可能无关的信号,感知强度与粒度的恰当选择、信号的准确解释与根因识别都是生命周期感知的核心开放问题;其三,作者承认“感知如何随环境与智能体状态变化而自适应”在近期语言智能体中研究不足,文中只能给出方向而非方案。我自己的观察补充四点:第一,框架的可操作性高度依赖“领域特定信号语言”,但该语言如何设计、如何随设定演化、如何保证跨时间可比,论文只举了集群通信瓶颈的例子,没有给出构建方法;第二,生命周期任务的自动化评审在证据不足时会退化为人机交互问题(主动澄清),而在高风险场景下“何时该问人”本身就是难题;第三,架构组件多、控制回路长,感知—控制的持续开销、信号噪声引发的误触发、错误生命周期任务修改核心组件导致智能体“自我致盲”等工程风险仅被一笔带过;第四,框架与模型参数学习的衔接(harness 改进如何内化到模型)只作为未来方向提出,缺乏哪怕概念层面的机制设计。
独立分析的弱点
独立分析五个弱点及改进方向。第一,缺乏形式化与度量:判定“持久条件已建立”没有可计算判据,跨信号聚合停留在“重复失败提示程序过时”的直观描述,可引入证据论或贝叶斯框架,例如用 $P(\text{程序失效} \mid \text{接口变更后}\, k \text{次重复失败})$ 的阈值化触发生命周期任务。第二,感知的隐私与成本被系统性忽略:持续监控用户活动、屏幕、语音正是主动智能体的敏感点,应把最小化采集与本地处理约束写进信号处理器规范作为可审计要求。第三,自修改的级联风险:更新软件传感器可能让感知本身失效且难以自察(智能体失去发现自己“失明”的能力),可借鉴金丝雀发布与影子运行——新感知组件先与旧组件并行输出,差异超限自动回滚。第四,验证仅限单一构造性案例:应在软件维护、办公助手、具身机器人等多领域做构造性或模拟验证,并公开可复用的模拟环境。第五,任务包工程成本高:为每个生命周期任务构造含目标、完成标准、程序、恢复与评审标准的包,对控制平面要求很高;论文自己也承认“任务包构造程序的缺陷修订可成为生命周期任务”,这种递归自指存在收敛性风险,需要研究包模板库与失败模式复用来降低成本。
未来方向
论文第 6 节给出七组方向。自适应感知:拓宽感知界面覆盖人类、物理、数字与内部来源,按情境选择监控对象、频率与粒度,并让传感器本身可演化。信号表示:把感知事件映射为带共享概念与关系的领域特定信号语言(如把 worker 变慢、延迟上升、吞吐下降统一映射为通信瓶颈),发展跨信号聚合以识别只在时间累积中显现的弱信号。上下文学习:在真实世界杂乱上下文中学习、从上下文学习预训练外的新知识(作者自研的 CL-bench 已开始隔离此能力且显示改进空间巨大)、学习上下文的时间有效性。主动性:从累积上下文发现与预期需求,按置信度、收益与风险校准主动行为,呼应 Horvitz 1999 的框架。生命周期控制:让调度感知任务的服务含义,并在任务包中显式规定可接受变更的范围、证据与恢复要求。自我改进:改进改进过程本身(元级)、跨组件协调演化、按风险与可逆性分级授权的安全改进,以及把反复有用的 harness 改进内化到模型参数。评估:发展刻画长时设定全生命周期的基准,从“任务能跑多长”转向“服务能维持多好”;自然延伸包括构建带脚本化环境变化与延迟反馈的持久智能体模拟基准。
复现评估
作为概念论文,其“复现”含义是按框架实现原型系统,而非复现实验数字。输入侧完全可得:论文为 arXiv 开放访问(2608.30478v1,共 23 页正文),案例研究对四阶段工作负载、信号类型、任务包要素的描述足够具体,可直接指导实现。但论文没有发布任何代码、数据或工件,也没有定量结果可供对照,Table 1 是定性映射而非常规 benchmark。若要实现最小 Pera 原型,需要:一个可调用 LM API 的控制平面(提示工程实现信号处理与任务包制定)、软件传感器(文件系统监控、日志与执行轨迹检查)、任务运行时(ReAct 式规划—行动循环)、内部上下文的三层存储(瞬态/情景/持久,可用现有向量库加元数据实现)与版本管理(Git 实现可回滚更新),主要成本是 LM 推理调用与工程集成,算力门槛不高;难点在于评审标准的自动化——如何为“修改是否保持既有行为”构造回放测试集,这实质上是自动回归测试问题。总体评估:复现架构骨架为中等难度(有经验的智能体工程师一到两周可搭出演示级原型),而完整复现论文设想的自适应感知与信号语言能力则属于开放研究问题,目前无人能做到。
论文图表
三栏对比三类语言智能体的架构演进。A:语言智能体——把语言模型嵌入源码实现的决策程序中,通过接地(grounding)与环境交互,输入经语言模型产生输出与动作;B:认知语言智能体——在此交互环路之上增加内部上下文(记忆),以及推理、检索、更新等认知动作,使保留的经验能服务于后续任务;C:感知中心持久智能体——为在长时设定中维持有效服务,智能体必须持续感知自身与环境的变化并主动适应,因此引入主动感知(perception,接收外部信号与任务级观测)与生命周期级控制(control,经调度派发任务),控制与感知之间还有检索+更新内部信号的通道。
这张图一图道尽全文论点:从 A 到 B 是认知增强(agents in the small 内部的进步),从 B 到 C 则是架构转型(agents in the large)——新增的不是更强的推理,而是感知与生命周期控制这两个新的架构层次。理解三级差异是理解全文的起点。
A 栏展示 AIS 如何通过自适应控制协调感知、推理与行动:感知从动态环境中选择性获取信息(经抽象、过滤、优先级排序与协调),认知层进行推理、规划并生成控制计划与操作,感知与行动之间还有快速反射弧直达通路;B 栏放大感知过程:感知在认知引导下选择性地获取环境信息,形成信息获取与控制之间的反馈回路。
这是 Pera 直接的思想源头——作者明确承认 AIS 架构启发了其对感知与控制的强调。此图解释了主动感知的原始含义(感知策略本身受控、随条件变化),以及 Pera 与它的关键区别:AIS 的感知服务于当前任务的行为调节,Pera 的感知还要服务跨任务的服务演化。