StreamingClaw：面向流式视频理解和具身智能的统一智能体框架 StreamingClaw Technical Report
提出多智能体协作框架解决流式视频理解中的实时推理、长期记忆和主动交互三大挑战
前置知识
流式视频理解（Streaming Video Understanding）
与传统离线视频处理不同，流式视频理解要求系统能够实时处理连续到达的视频流，无需等待完整视频加载。这种范式要求模型具备增量推理能力，能够利用历史上下文同时保持低延迟响应。流式视频理解的核心挑战在于如何在有限的计算资源下，持续感知动态变化的环境并做出实时决策，这是具身智能（如机器人、自动驾驶）在真实世界部署的基础能力。
StreamingClaw的核心设计目标就是解决流式视频理解中的三大挑战，理解这一概念是把握论文技术贡献的关键
KV-Cache（键值缓存）
在Transformer架构的自回归生成过程中，KV-Cache存储已计算过的注意力层的键（Key）和值（Value）向量。当生成新token时，只需计算新token的查询向量与缓存中所有键的注意力权重，避免重复计算历史token的键值对，从而显著降低计算复杂度。在流式场景中，KV-Cache的管理策略（如剪枝、滑动窗口）直接影响模型的推理效率和内存占用。
StreamingReasoning智能体采用流式KV-Cache和动态滑动窗口机制实现实时推理，这是框架的技术基础
多智能体协作（Multi-Agent Collaboration）
多个专业化智能体通过分工协作完成复杂任务的系统架构。通常包括一个主智能体负责任务规划和调度，多个子智能体各司其职处理特定子任务。这种架构的优势在于模块化设计使系统更易扩展和维护，专业化分工提升各模块性能，同时通过统一接口实现跨智能体的信息共享和协同决策。
StreamingClaw采用主-子智能体协作架构，StreamingReasoning作为主智能体调度StreamingMemory和StreamingProactivity两个子智能体
分层记忆进化（Hierarchical Memory Evolution）
一种将短期细粒度记忆逐步抽象为长期结构化记忆的机制。在流式视频场景中，记忆系统首先将视频片段组织为原子动作，然后将相关的原子动作聚合为事件级记忆。这种分层结构既保留了时间顺序信息用于时序查询，又通过冗余压缩减少了存储开销，同时支持不同抽象层次的记忆检索。
StreamingMemory智能体采用分层记忆进化机制解决长期记忆的信息碎片化和检索效率问题
主动交互（Proactive Interaction）
智能体不等待用户指令，而是主动感知环境变化并在适当时机发起交互的能力。这包括时间感知交互（如定时提醒）和事件感知交互（如异常检测触发警报）。主动交互要求智能体具备持续监控、条件判断和自主决策能力，是实现自然人机协作的关键技术。
StreamingProactivity智能体专门负责主动交互决策，是框架实现'感知-决策-行动'闭环的重要组成部分
研究动机
当前流式视频理解面临三大核心挑战，严重制约了具身智能在真实场景中的部署。首先，在流式感知方面，真实环境是持续动态变化的，不能像离线视频那样预处理。现有方法通过视觉压缩或token选择来减少冗余，但往往丢失关键细粒度信息，导致历史内容难以可靠记忆和检索。其次，在长期记忆方面，现有方法依赖模型的原生上下文感知能力，仅在当前上下文中记忆历史动作和事件。这种方式构建的记忆高度受限，通常只包含文本信息或历史KV-Cache，无法支持基于视觉场景的类人回忆。随着交互时间增长，这种方法会积累大量冗余且难以聚焦重要信息。第三，在主动交互方面，现有方法使用视觉流中的显著变化作为触发器激活模型，或引入轻量模块决定是否主动响应。但这些模块通常依赖启发式规则，对复杂上下文理解和长程依赖建模能力有限。
本文的目标是本文提出StreamingClaw框架，旨在构建一个统一的智能体系统，系统性解决流式视频理解中的三大核心挑战。具体目标包括：实现低延迟的实时流式推理和交互；构建支持多模态长期记忆存储、分层进化、高效检索和跨智能体共享的记忆系统；支持未来事件推理和在线目标进化下的主动交互；通过可扩展的工具和技能库将决策转化为可执行动作，实现感知-决策-行动的完整闭环；兼容OpenClaw框架以利用开源社区资源。
与已有工作不同的是，与现有工作相比，StreamingClaw的独特切入角度体现在三个方面。第一，现有方法通常只解决流式理解的某个单一问题（如压缩或记忆），而StreamingClaw提供系统性解决方案，将实时推理、长期记忆和主动交互统一在同一框架中。第二，大多数现有方法停留在模型感知和理解层面，缺乏将理解转化为可执行策略以驱动真实行动的能力，而StreamingClaw通过工具和技能库实现了从感知到物理行动的完整闭环。第三，StreamingClaw采用主-子智能体协作架构，通过专业化分工和统一调度实现模块化扩展，而非依赖单一模型处理所有任务。
核心方法
StreamingClaw采用主-子智能体协作架构处理流式视频输入。整体思路是将复杂的流式视频理解任务分解为三个专业化模块：实时推理、记忆管理和主动交互。主智能体StreamingReasoning负责流式推理和任务调度，兼容开源多模态模型；子智能体StreamingMemory负责构建和管理多模态记忆；子智能体StreamingProactivity负责主动交互决策。系统首先接收多端点流式输入并进行标准化处理，然后通过动态提示构建协调不同智能体的协作。当用户查询到达时，主智能体解析任务类型并决定是否需要调用子智能体，实现自适应调度。最后，智能体输出的动作指令通过工具库和技能库执行，形成完整的感知-决策-行动闭环。
StreamingClaw的核心创新在于三个技术突破。首先是流式推理机制：通过动态滑动窗口和流式KV-Cache，将离线视频智能体转化为在线版本。新到达的视频块被增量处理，只计算新增token而非重复计算全部历史，同时基于注意力分数剪枝KV-Cache中低贡献token，在保持推理质量的同时控制计算开销。其次是分层记忆进化（HME）：记忆系统不再局限于文本存储，而是以视觉为中心的多模态记忆。通过'片段→原子动作→事件'的层级抽象，短期细粒度记忆逐步进化为长期结构化记忆，既保留时间顺序又压缩冗余。第三是双模态主动交互：支持训练无关和基于训练两种范式，前者无需额外训练即可支持在线目标进化，后者通过触发token学习实现更精确的场景适配。
方法步骤详情
StreamingClaw的执行流程包含五个关键步骤。第一步，多端点输入适配：系统接收来自手持设备、车辆、智能眼镜、具身机器人的流式输入，通过时间戳对齐和绝对时间锚定进行标准化处理，并采用共享流式缓存队列支持不同时间窗口和帧密度需求。第二步，流式推理：StreamingReasoning将输入视频沿时间轴分割为细粒度块，每到达一个新块就执行一轮编码和推理。采用动态滑动窗口只保留最近时间范围内的视觉和文本上下文，窗口外信息按策略丢弃或卸载到记忆智能体。在解码阶段，通过流式KV-Cache复用历史计算结果，只对新增token进行增量计算。第三步，自规划调度：主智能体解析用户查询，判断任务类型（记忆检索、实时推理或主动交互），并自主规划执行工作流。如果需要历史信息则调用StreamingMemory进行分层检索；如果需要主动交互则分配给StreamingProactivity；否则直接基于当前窗口信息推理。第四步，记忆存储与进化：StreamingMemory将视频片段构建为记忆节点，通过分层进化机制将片段聚合为原子动作，再将原子动作聚合为事件。采用命令驱动、高并发、自导向时序遍历的检索策略提高效率。第五步，工具和技能执行：智能体输出结构化的工具调用或技能指令，由运行时调度器解析执行，结果写回对话上下文和工作记忆，智能体继续推理直到满足终止条件。
技术新颖性
StreamingClaw的技术新颖性体现在多个层面。在流式推理方面，创新性地将动态滑动窗口与基于注意力分数的KV-Cache剪枝相结合，实现了'重复全历史重计算'到'线性增量更新'的计算模式转变。具体而言，系统在第一轮解码迭代计算初始视觉token的交叉注意力权重，保留top p%高重要性token；后续迭代中，如果新视觉token与缓存token的余弦相似度超过阈值则跳过缓存更新；需要写入时重复剪枝和更新过程。这种机制在保持关键信息和上下文一致性的同时，显著降低了注意力计算复杂度和KV-Cache读写开销。在记忆系统方面，引入了以视觉为中心的多模态记忆表示，记忆节点包含压缩视频片段、文本摘要、详细描述和时间戳四个组件。分层记忆进化机制通过兼容性分数（综合语义相似度和时间连续性）进行在线更新，实现了从碎片化短期记忆到结构化长期记忆的人类式抽象过程。在主动交互方面，提出训练无关和基于训练两种互补范式。训练无关方法通过提醒节点生成、主动响应匹配和目标演化三个阶段支持在线目标进化；基于训练的方法引入场景特定触发token，将传统'检测/分类状态变化'任务重新表述为'预测token序列'的语言建模问题，实现了多事件类型的统一处理。
实验结果
作为技术报告，本文主要通过架构设计和能力展示来验证StreamingClaw的有效性，而非提供定量基准测试结果。论文展示了框架在多个具身智能场景中的应用能力：在车载场景中，驾驶员监控系统技能能够实时检测疲劳驾驶（闭眼触发2级警报、打哈欠触发1级警报）和分心驾驶（低头、使用手机触发0级警报）；在家庭机器人场景中，跌倒检测技能能够在检测到跌倒时自动触发主动关怀询问，并在情况危急时升级到拨打紧急联系人；在AI眼镜教育辅导场景中，系统支持实时解题、翻译、文献检索和定制化主动交互。论文通过工具调用示例展示了Video Cut工具和Call Memory工具的实际效果：Video Cut工具能够根据时间戳提取视频片段并进行细粒度分析，例如在视频中定位女孩首次出现的时间（约0:06秒）并描述其外观和位置；Call Memory工具能够检索历史记忆并进行跨时间推理，例如回答'老师举起烧杯前，装有透明液体的玻璃烧杯放在哪里'的问题时，系统检索到0.2秒的图像记忆，确认烧杯放在金属托盘上。这些示例验证了框架在流式视频理解、长期记忆检索和主动交互方面的有效性。
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 流式视频理解 | 实时响应延迟 | 支持实时流式推理，采用增量计算模式 | 现有方法需重复计算全部历史，延迟随时间增长 | 将计算模式从O(n²)降低到O(n)线性增量更新 |
| 长期记忆管理 | 记忆检索效率 | 分层记忆进化，支持命令驱动、高并发检索 | 传统方法直接注入全部记忆或简单文本检索 | 通过分层结构和早期停止策略减少无效遍历 |
| 主动交互 | 事件识别准确性 | 支持场景特定触发token，单次前向传播输出多个信号 | 统一token设计存在语义歧义 | 通过场景定制化训练提高多事件识别准确性 |
| 工具调用能力 | 工具使用可靠性 | 三阶段后训练（SFT+RL+RFT），多维奖励系统 | 基础模型缺乏工具调用能力 | 结合结果奖励、过程奖励和置信度奖励优化工具调用策略 |
局限与改进
论文承认的主要局限性在于，StreamingClaw目前主要针对'视觉+文本'输入范式设计，语音主要作为输出通道，对音频输入、更细粒度的时间对齐（如音视频同步理解）以及端到端跨模态联合推理和生成的支持仍然有限。从技术架构角度观察，分层记忆进化机制虽然有效，但记忆节点的构建和进化依赖于语义相似度和时间连续性的阈值判断，这些阈值的设定可能需要针对不同场景进行调优。此外，训练无关的主动交互方法虽然部署便捷，但论文承认其在复杂场景和跨域任务中的泛化能力相对受限。流式KV-Cache的剪枝策略基于注意力分数，但在长程依赖场景中，低注意力分数的token可能包含重要的长期信息，过度剪枝可能导致信息丢失。最后，作为技术报告，论文缺乏在标准基准数据集上的定量评估，难以与其他方法进行公平比较。
独立分析的弱点
StreamingClaw存在几个值得关注的弱点及其改进方向。首先，记忆系统的分层进化依赖于预定义的兼容性分数阈值进行片段-原子动作合并和场景相似度阈值进行事件聚合，这些超参数可能需要针对不同应用场景精细调优，增加了部署复杂度。可以考虑引入自适应阈值学习机制，让系统根据交互历史自动调整合并策略。其次，训练无关的主动交互方法通过提醒节点匹配实现，但其泛化能力有限，难以处理未见过的事件类型。可以通过元学习或少样本学习提升对新事件类型的快速适配能力。第三，当前框架的工具和技能库需要手动定义触发场景和输出格式，缺乏自动发现和学习新技能的能力。可以探索基于强化学习的技能自动发现机制。第四，流式推理的动态滑动窗口机制虽然控制了计算开销，但窗口外的信息被直接丢弃或卸载到记忆系统，可能丢失重要的长程依赖信息。可以考虑引入多尺度滑动窗口或分层注意力机制保留不同时间粒度的信息。
未来方向
论文明确指出未来工作将向全模态智能体框架演进：构建能够处理视频、图像、音频和文本输入输出的统一模型，实现真正的全双工、全模态闭环。具体方向包括：长程时间建模，提升对跨越数小时甚至数天的长时间视频的理解能力；增强空间理解，支持更精细的物体关系和场景语义推理；跨模态对齐机制，实现音视频等多模态信息的深度融合理解。此外，论文提到将优化低延迟部署、高级记忆和长程工具调用，使StreamingClaw在真实世界中实现更强的具身交互能力。基于论文成果，还可以延伸以下研究方向：探索多智能体间的记忆共享和知识迁移机制，实现跨任务的经验复用；研究主动交互策略的个性化适配，根据不同用户的交互习惯调整触发时机和响应方式；开发面向特定领域的技能自动生成框架，降低新场景适配的人力成本。
复现评估
从复现角度评估，StreamingClaw的复现面临一定挑战。论文未提供完整的开源代码和预训练模型权重，仅提到项目页面在StreamingClaw（具体URL未明确给出）。技术细节方面，论文描述了框架架构和算法流程，但部分关键实现细节（如KV-Cache剪枝的具体p%阈值、分层记忆进化的兼容性分数计算公式、训练数据的具体构建方法）未充分披露。算力需求方面，框架依赖大型多模态基础模型（如Qwen3.5 397B-A17B或Qwen3-VL-235B-A22B）作为主智能体，这些模型的训练和推理需要大量GPU资源，对研究机构的硬件门槛较高。数据方面，训练适配方法需要场景特定的标注数据（包括正常/变化状态段、精确时间戳、主动信号等），构建高质量训练数据的成本较高。总体而言，完整复现StreamingClaw需要较大的算力投入和数据构建工作，但其核心思想（如分层记忆进化、自规划调度）可以在较小规模系统中借鉴实现。
论文图表
展示了一个完整的Video Cut工具调用流程：用户询问'女孩在视频中首次出现的时间'，智能体调用video_cut工具传入时间戳(0.0, 17.4)，工具返回详细描述（女孩约在0:06出现，穿着银色皇冠和紫色公主裙，拿着黄色冰棒和白色星形魔杖），智能体基于返回结果生成最终回答。
这个示例展示了工具调用的实际效果，验证了Video Cut工具在细粒度视频理解中的有效性
展示了Call Memory工具的调用流程：用户询问'老师举起烧杯前，装有透明液体的玻璃烧杯放在哪里'，智能体调用call_memory工具进行记忆检索，工具返回基于0.2秒图像的记忆证据（烧杯放在金属托盘上，周围有棕色瓶子和试管等实验器材），智能体基于检索结果和当前工作记忆进行推理并生成回答。
这个示例展示了长期记忆检索和跨时间推理的实际效果，验证了Call Memory工具的有效性