VisualClaw：面向物理世界的实时个性化多模态智能体 VisualClaw: A Real-Time, Personalized Agent for the Physical World
三级时间尺度自演化多模态智能体，边缘级联门+记忆驱动技能进化
前置知识
视觉语言模型 (VLM)
视觉语言模型是同时处理图像/视频帧和文本输入的多模态大模型，例如 Gemini 3 Flash 和 GPT-5.2。本文将其视为冻结权重的黑盒 API，通过外围架构而非微调来提升表现。
理解 VLM 冻结权重 $\theta$ 不更新是阅读 VisualClaw 整套方法的基石——所有优化都发生在语言层脚手架上。
感知哈希 (dHash)
dHash 是一种将图像压缩为短二进制码并用汉明距离比较相似度的算法，常用于近似去重。本文用它做边缘级近重复帧过滤，汉明距离阈值 $\leq 6$ 视为近似重复。
它是级联门 $G$ 的第一道关卡，决定哪些帧根本不需要进入后续编码，直接关系到边缘侧 $\sim 10\mu s$ 级判断的可行性。
级联式特征门控 (Cascaded Gate)
级联门按顺序叠加多个 O(1) 复杂度的判断模块，层层过滤冗余信息。本文把 dHash + 128 维 CPU 编码器 + 自适应变化门串起来，把每帧映射到 MAJOR/MINOR/SKIP 三态。
它是 VisualClaw 能在边缘 CPU 上以 $\sim 100$ fps 速度筛掉约 98% 帧的核心机制，直接决定 $\$-99.3\%$ 的成本压缩能否实现。
技能库 (Skill Bank) 与记忆库
技能库 $S=\{s_1,\dots,s_K\}$ 是文本规则卡片集合，每张含名称、描述、步骤、反例。记忆库 $M_v$ 是按稠密句向量检索的 episodic buffer，存正确回答样本。两者协同形成语言层脚手架。
它们是 $\pi_\theta(\cdot|q, G(F), \mathrm{Ret}_S(q,k), \mathrm{Cat}(S), \mathrm{Ret}_{M_v}(q))$ 中可演化的关键参数，决定了 VLM 之外的推理增强。
Reflexion 类经验回放
Reflexion 等方法把过去的失败反思写入 episodic buffer，下次推理时拼接回 prompt。本文把这一思路搬到更慢频率的离线 evolver，而非高频答题 prompt。
理解这种'低频更新 + 高频查询'的设计权衡是抓住 VisualClaw 自演化范式的关键，否则会混淆 Cat./Guide 与 +SkillMemCat 的差别。
研究动机
当前 VLM 部署存在三个明显缺口。其一，密集视频帧上传带来巨大延迟和成本，以 1 fps 处理 30 分钟长视频 (如 Video-MME long) 每题需约 1,926,361 输入 token，相当于 $520.12。其二，部署后智能体的脚手架是静态的，无法从自身失败中学习。第三，标准视频问答基准只测一次性问答，不评估智能体能否在工具使用的工作空间中使用视觉证据，例如编辑文件、协调视频与文本记录、跑可执行检查。AI 眼镜等实时边缘应用放大了这三个问题：1 小时会话在 1 fps 下产生 3,600 帧，全部上传意味着约 390 万 token 和无法承受的蜂窝网络延迟。已有工作如 LLoVi、MovieChat、VideoAgent 等多在离线全片上做选帧或使用 LLM 规划器在线选帧，难以适配未知时长的流式输入。
本文的目标是本文提出 VisualClaw 自演化多模态智能体，并发布 VisualClawArena 基准。具体目标包括：在边缘 CPU 上以 $\sim 10\mu s$/帧速度过滤流式视频，仅上传 MAJOR 关键帧；通过 hot/cold top-$k$ 技能注入把每题 prompt 成本与技能库增长解耦；用记忆增强的离线 evolver 在每 $N_{evo}=15$ 次失败时把失败轨迹蒸馏成新技能并合并到技能库；构建 200 个场景、3,106 步的多模态智能体基准，要求智能体在工具调用工作空间中处理视频证据、文档、动态更新和可执行检查。
与已有工作不同的是，现有方法把高效编码、技能库、长上下文记忆、智能体评测分开研究。VisualClaw 的独特切入角度是把这三件事统一为'三个时间尺度'的协同设计：每帧的边缘级联门（$\sim 10\mu s$）、每题的热冷技能注入（$\sim 10$ ms）、每会话的离线 evolver（分钟级）。区别于 MetaClaw 耦合 RL 与技能演化、VisionClaw 固定栈加 OpenClaw 执行，本工作在 VLM 权重完全冻结的前提下，用语言层脚手架的自演化同时解决成本与自适应问题，并把这一框架扩展到多模态智能体评测中。
核心方法
VisualClaw 的整体思路是'在三个时间尺度上同时优化边缘视频流与语言层脚手架'。直觉上，冗余视频帧和冗长技能描述都是 prompt 成本的主要来源，所以系统并行做两件去冗余：边缘级联门在像素级筛帧，热冷注入在文本级筛技能条目，离线 evolver 又周期性把失败转化为新技能以持续适配。技术路线是把系统建模为元模型 $M=(\theta, S, M_v, G)$，其中 $\theta$ 是冻结的云端 VLM，$S$ 是技能库，$M_v$ 是 episodic 记忆，$G$ 是边缘视觉编码门；推理时 $a \sim \pi_\theta(\cdot|q, G(F), \mathrm{Ret}_S(q,k), \mathrm{Cat}(S), \mathrm{Ret}_{M_v}(q))$，更新按 per-frame、per-question、per-session 三种节奏进行，互不阻塞。
核心创新点是'边缘级联门 + 热冷技能注入 + 记忆增强离线 evolver'的三时间尺度协同。边缘级联门 $G$ 顺序组合 dHash（汉明距离去重，阈值 $\leq 6$）、128 维 CPU 编码器（HSV 直方图 + 亮度 + 边缘密度 + 纹理）和自适应变化门（时序衰减阈值 $\tau_{major}=0.30$，10 秒静默上限），输出 MAJOR/MINOR/SKIP 三态，全程只依赖 $f_{1:t}$，不需要未来帧。热冷注入把技能库分两层：top-$k$ 个 Shot 直接内联完整文本，剩余变成只含名称描述的 Cat 目录，使每题成本与库大小脱钩。记忆增强 evolver 有两种变体：Cat. 简单拼接检索记忆到进化 prompt；Guide 加一个引导前缀要求 evolver 抽象出可复用技能并避免场景细节。
方法步骤详情
方法按三条时间线运行。Per-frame（约 $10\mu s$）：每帧 $f_t$ 算 dHash $h$，与滚动缓冲 $H$ 汉明距离 $\leq 6$ 则跳过；否则取 128 维向量 $e$，按时序衰减阈值 $\tau_{major}=0.30$ 判定 $g_t \in\{\mathrm{MAJOR},\mathrm{MINOR},\mathrm{SKIP}\}$，仅 MAJOR 帧进 $K$ 上传。Per-question（约 10 ms）：sentence-transformer 对 $S$ 排序，$S_{hot}=\mathrm{Ret}_S(q,k)$ 内联全文、$S_{cold}=\mathrm{Cat}(S\setminus S_{hot})$ 仅名称描述，并从 $M_v$ 取 $m$（余弦 $\geq 0.55$）。Per-session（分钟级）：$|D_{fail}|\geq N_{evo}=15$ 时 evolver 提议 $\Delta S=E(S, D_{fail}, M_v)$，经 $F_1$ 去重并入 $S$，每 100 题 $F_2$ 剪枝。
技术新颖性
技术新颖性体现在三处：其一是纯 CPU 边缘级联门能在 $f_{1:t}$ 单向因果约束下完成帧级判断，区别于 VideoAgent、Frame-Voyager、SeViLA 等依赖 LLM 在选帧环里的离线方法；表 1 显示在所列 12 种对比方法中，VisualClaw 是唯一同时满足 Online、Edge-CPU 和 Evolve 三个属性的方案。其二是把技能演化、记忆注入与冻结 VLM 解耦，避免 MetaClaw 的 RL 训练开销同时保留反思式增益。其三是把评测从静态视频问答扩展到工具调用工作空间，要求智能体读 AGENTS.md / IDENTITY.md / USER.md，跑 check_*.py，并把失败回流到同一记忆-技能回路，填补了 standard video-QA benchmark 不能测 workspace-style 智能体的空白。
实验结果
核心发现覆盖三层。Video-QA 上（表 3），Gemini 3 Flash FullEvo Guide 平均涨 +3.85%，EgoSchema 从 52.60% 跃升到 68.40%（峰值 +15.80%）；GPT-5.2 上 Guide 是唯一让级联跑赢 Plain 的设置（+1.27%）。表 4 显示 FullEvo 加到 Uniform-8 离线基线还能涨 +3.50 到 +13.00%。表 5 显示流式 68.40% 击败 VideoAgent 60.20% 8.20 点，离线 73.60% 超 Gemini 1.5 Pro 的 72.20%。VisualClawArena（表 7）上 Codex Cat. 拿到 macro 54.27%，Claude Code Cat. 52.16%，Hard 场景受益最大 +5.36 点。效率上（表 9）cascade 把每题压到 1.13–5.41 帧，平均省 98.1%（峰值 -99.3% on V-MME long），累计花费从 $563.31 降到 $10.51。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| EgoSchema 视频问答 | 5-way 多选准确率 (%) | VisualClaw 流式 FullEvo Guide 68.40%（Gemini 3 Flash） | Plain 级联 52.60%，Uniform-8 Plain 60.60% | +15.80% vs Plain，+7.80% vs Uniform-8 Plain |
| Video-MME long 视频问答 | 准确率 (%) | VisualClaw FullEvo Guide 64.22%（Gemini 3 Flash） | Plain 级联 60.33%，Uniform-8 Plain 61.44% | +3.89% vs Plain，+2.78% vs Uniform-8 Plain |
| EgoPlan-Bench 视频问答 | 准确率 (%) | VisualClaw FullEvo Guide 28.85%（Gemini 3 Flash） | Plain 级联 24.62%，Uniform-8 Plain 37.96% | +4.23% vs Plain（Uniform-8 离线仍领先） |
| NextQA 视频问答 | 准确率 (%) | VisualClaw FullEvo Guide 74.50%（Gemini 3 Flash） | Plain 级联 72.70%，Uniform-8 Plain 77.70% | +1.80% vs Plain（Uniform-8 离线仍领先） |
| EgoSchema（Uniform-8 + FullEvo Guide） | 5-way 多选准确率 (%) | 73.60% | Uniform-8 Plain 60.60% | +13.00%（表 4） |
| VisualClawArena（Codex backend） | Macro 准确率 (%) | VisualClaw Cat. 54.27% | VisualClaw w/o FullEvo 51.35%，Uniform-8 50.25% | +2.92 vs no-evolution，+4.02 vs Uniform-8（表 7） |
| VisualClawArena（Claude Code backend） | Macro 准确率 (%) | VisualClaw Cat. 52.16% | VisualClaw w/o FullEvo 49.00%，Uniform-8 43.99% | +3.16 vs no-evolution，+8.17 vs Uniform-8（表 7） |
| 4 个 video-QA benchmark 累计 API 成本 | Gemini 3 Flash 美元花费 ($) | VisualClaw Cascade + FullEvo $10.51 | Full-frame @1 fps $563.31，Uniform-8+FullEvo $14.19 | $-98.1\%$ vs Full-frame，$-25.9\%$ vs Uniform-8+FullEvo（表 9） |
| VisualClawArena 端到端成本 | Claude Code 总成本 (USD) | Cascade-8 $627.21 | Uniform-8 $686.88 | $-9.5\%$（表 10） |
局限与改进
作者承认的局限：其一，能力条件性回归——针对 Gemini 演化的技能可能伤害 GPT-5.2，移除 seed-11 后 GPT-5.2 反恢复 +4 到 +6 点。其二，自演化库的奖励黑客风险，MC 位置偏置等会被 evolver 放大，需 $F_1$/$F_2$ 加人工审计。其三，Cat./Guide 偏好随任务反转：静态问答倾向 Guide，agent 长工作流倾向 Cat.（Claude Code Cat. 比 Guide 高 1.39 点）。其四，cg-adaptive 在 offline EgoSchema 比 cg-static 低约 4 点（表 16）。我的额外观察：EgoPlan-Bench 单帧下 Uniform-8 37.96% 远超 Plain 24.62%，Uniform-8 仍是 Pareto 占优；Indoor/VSI 部分仍用旧版 visual_required 子集，与其他源 100% 覆盖率不一致；cascade-fill 在长视频上未能复现 NextQA/EgoPlan-Bench 收益。
独立分析的弱点
独立分析有以下弱点。第一，dHash + 128 维 CPU 编码器对光照突变、相机抖动鲁棒性存疑，表 16 的 dhash-only 在 EgoSchema 仅 57.0%，可考虑引入轻量 CLIP 嵌入作为 $G$ 补充。第二，$N_{evo}=15$ 是固定超参，但 EgoPlan-Bench 失败率 71% 而 NextQA 仅 25%，固定间隔易让高难度任务过度更新，应改为按 bank 大小自适应。第三，Cat. 与 Guide 的选择依赖任务类型而非启发式，建议构建元分类器预测。第四，VisualClawArena 仅覆盖 Codex 与 Claude Code 两个 backend 且 Indoor/VSI 用旧选择器，跨源公平性需扩展到开源 VLM agent。第五，附录承认 GPT-5.2 通过 Azure 代理的推理 token 计费不透明，可能让成本被低估 1.5–3×。
未来方向
作者明确指出的未来方向包括：(1) 把级联门从启发式 $G$ 升级为可学习版本，并保持 Edge-CPU 约束；(2) 在更长演化历史下启用 $F_2$ 效用剪枝（已在 TeleEgo 等补充 benchmark 上验证可减 bank 24–37%）；(3) 引入周期性人工审计以对抗奖励黑客。基于成果可延伸的方向：第一，把三时间尺度架构迁移到机器人控制或音频流，把 $G$ 换成声学级联门、$S$ 换成操控技能；第二，结合 MetaClaw 的 RL 训练让 evolver 不仅是离线的语言蒸馏，还可影响 $\theta$ 的局部 LoRA；第三，给 VisualClawArena 增加多模态（音频、IMU）证据以测试更全面的感知-行动回路；第四，研究 bank 漂移的数学刻画，例如用 skill embedding 的 KL 散度监控累积偏移；第五，把跨 VLM 家族的格式技能（seed-11）和推理技能分离建模，构建可迁移的'格式无关'技能子集。
复现评估
复现评估中等偏难。作者未承诺代码开源，但提供较多实现细节：$\tau_{major}=0.30$、dHash 阈值 $\leq 6$、$N_{evo}=15$、$K_{seed}=12$、top-$k$ 范围 3–5、Jaccard 0.5、记忆余弦 0.55、每 100 题 $F_2$ 剪枝、evolver 用 Claude Haiku 4.5；附录 A.3 给出 Algorithm 1。数据上 video-QA 用公开 benchmark（EgoSchema 500、V-MME long 900、EgoPlan-Bench 923、NextQA 1000），VisualClawArena 由 100 VSI + 50 EgoSchema + 50 QVHighlights 拼装需自建 AGENTS.md 等工作空间。算力门槛在 API：4 benchmark × 2 VLM 约 $190（表 14），Tier-1 消融 18 小时墙钟。难点是 200 场景需 Gemini 3.1 Pro 标注并过 5 阶段筛选。
论文图表
展示 VisualClaw 在真实场景中如何高效编码流式视频并通过持续演化的记忆库和技能库产生个性化答案与动作，包含级联视频编码、关键视觉证据压缩、相关技能和记忆检索、记忆引导演化等关键组件的鸟瞰图。
这是论文 teaser 图，让读者一眼看到三时间尺度协同的全景，并暗示边缘部署+自演化的双重目标，是动机和方法的视觉总览。