智能体技能应超越文本：为视觉技能正名

提出视觉技能范式，用视觉先验克服技能表示的文本瓶颈。

前置知识

智能体技能（Agent Skills）

智能体技能是把可复用的任务经验固化成可调用的资产，常见形式包括标准操作流程、工具接口、工作流模板和技能库。现有方法大多把经验蒸馏成结构化自然语言，规定目标、动作序列、输入输出格式与异常处理规则，擅长符号化任务如API配置和数据库查询。

读懂本文必须先明白'技能=文本'这一现状，才能理解作者所指的文本瓶颈所在。

GUI定位（GUI Grounding）

GUI定位指从界面截图中定位可交互目标（按钮、图标、控件）的精确位置，常用Point-in-Box准确率、平均IoU和中心点距离评估。难点在于'知道点什么'不等于'知道精确点哪里'，需把握控件边界、命中区域、嵌套层级与周围干扰项。

本文用GUI定位作为静态先验的验证任务，是理解实验数据与nTDR指标的关键背景。

多模态大语言模型（MLLM）

MLLM能同时处理文本与图像等多模态输入，常作为通用智能体的推理骨干。本文用Qwen3-VL-32B-Thinking做GUI定位、用Gemini-2.5-Pro做密集计数，正是要测试视觉技能在强骨干之上是否仍有增益。

作者特意选强基线模型，证明视觉技能是模态匹配的表示问题而非模型能力的补丁。

密集物体计数（Dense Counting）

密集计数要求模型逐一枚举图像中同类物体数量，难点是要持续记录哪些区域已检查、哪些实例已数过。文本坐标清单在密度增大时迅速失效，易漏数、重复数，因而需要'写在图像上'的中间状态跟踪机制。

这是本文验证动态先验的核心任务，理解它才能理解动态跟踪崩溃的失败模式。

研究动机

当前智能体的可复用技能几乎都以纯文本形式存储——指令、推理轨迹或摘要化轨迹。但在以视觉为中心的任务中，可复用知识往往依赖空间布局、视觉定位、细粒度外观与局部状态变化，文本压缩会丢失这些信息。论文识别出两种典型失败：一是静态协议歧义，GUI操作依赖控件边界曲率、命中区域容差、留白节奏、视觉层级等细粒度线索，一旦转写成语言就变得欠定或脱离空间上下文，加更多文本边界条件只会更脆而不恢复原生空间结构；二是动态跟踪崩溃，密集计数、迷宫求解等需持续记录已检查区域与已数实例，文本坐标清单随密度增大迅速模糊，导致漏检、重复检查与重复计数。WebArena、Mind2Web中强模型在长程任务上远低于人类水平，AppAgent需对每张新截图重新发现可交互区域，SeeClick/ScreenSpot也表明'知道点什么'不等于'知道精确地点哪里'，Design2Code等布局生成还需可复用的比例/间距/对齐/层级视觉约定。

本文的目标是本文的目标是论证可复用智能体技能应超越纯文本，把视觉结构作为一等技能资产。具体地，作者提出VISUAL SKILL这一可复用多模态技能范式，将技能表示为 $S_v=(L,P_v,B)$：声明式文本逻辑 $L$ 规定目标、流程与边界条件；可复用视觉支持 $P_v$ 保存文本难以编码的空间结构，分静态先验、动态先验与交错视觉技能三种形式；多模态绑定协议 $B$ 规定何时、如何把文本逻辑与视觉先验联合接地与执行。为使该范式可扩展构建，作者还提出AUTOVISUALSKILL这一概念验证式自动生成流水线，把用户目标与多模态材料自动转化为含skill.md、manifest.json、视觉资产的独立技能目录，供智能体加载、人类检视或版本管理。

与已有工作不同的是，本文的独特切入角度不在于争辩多模态模型能否感知图像，而在于指出它们的可复用经验被文本主导的技能表示所扭曲——技能可能描述'做什么'却丢失了引导'看哪里、如何检查、如何验证'的视觉痕迹。作者进一步区分：受稳定空间约定支配的任务（如GUI定位）应把知识存为静态视觉先验；需持续感知跟踪的任务（如密集计数）应把中间推理外化为图像上的动态视觉痕迹；文档工作流等则适合用交错技能把有序文本步骤绑定到对应源帧。由此本文把'文本瓶颈'从定性抱怨升级为可度量评估目标：提出文本退化率 $TDR$ 与归一化 $nTDR$，量化纯文本技能相对视觉技能丢失了多少可恢复信息。这与图像级few-shot提示有本质区别——后者是实例级临时缓存，而视觉技能是协议级、跨实例可复用、可版本化的持久资产。

核心方法

方法的直觉是：把技能从'一段纯文本流程'升级为'文本逻辑+视觉先验+绑定协议'的多模态资产。文本擅长规定做什么（解析指令、组织步骤、定义输出格式），视觉擅长保存看哪里、如何检查（命中区域、布局比例、计数扫描顺序、空间违规模式）。VISUAL SKILL的三种视觉支持对应不同瓶颈：静态先验是线框图、布局原型、标注模板等外部参考，固化跨实例的稳定空间约定；动态先验是可执行的空间协议，规定如何在推理中初始化、更新、验证锚点、轨迹、已访问区域或计数标记等中间视觉痕迹；交错视觉技能把有序文本步骤绑定到支撑它的源证据（视频关键帧、文档截图、页面区域）。AUTOVISUALSKILL流水线则从用户目标与可选的文本/图像/视频/PDF材料出发，经输入归一化、视觉瓶颈诊断门控、双轨生成（语言轨写声明式逻辑、视觉轨抽取/检索/生成先验）打包成可复用技能工件。

核心创新是把视觉结构明确提升为技能的一等资产，并用形式化三元组 $S_v=(L,P_v,B)$ 落地。这与已有方法的本质区别有三：其一，模态分工清晰——文本负责逻辑控制、视觉负责空间接地，二者经绑定协议 $B$ 在每一步决定是检索静态先验、实例化动态先验、绑定交错证据还是仅用文本推进；其二，与图像级few-shot提示不同，视觉先验是协议级而非实例级，编码的是目标粒度、空间边界、布局原型与检查流程，从不包含任何实例的答案，因此可跨实例检索、版本化、组合与审计；其三，引入可度量的文本退化率 $TDR(T)=M(\pi_{visual},T)-M(\pi_{text},T)$ 与归一化 $nTDR$，把'文本瓶颈'从定性主张变为评估对象，追问哪些可复用知识可安全文本化、哪些退化最严重。

方法步骤详情

完整流程分三部分。技能定义层面：给定技能三元组 $S_v=(L,P_v,B)$，$L$ 写目标、流程、输入输出约束、边界与失败处理；$P_v$ 按瓶颈选择静态/动态/交错先验；绑定协议 $B$ 按Algorithm 1对每个推理步 $s_i$ 判断是否需视觉支持，若需则依据稳定空间约定、in-situ跟踪或有序源证据分别调用RetrieveStaticPrior、InstantiateDynamicPrior、BindInterleavedReference，绑定后执行并在动态先验情形下用新空间输出更新 $p_i$。自动构建层面：AUTOVISUALSKILL先归一化多模态输入为语义文本、视觉帧与元数据，经视觉瓶颈门控判定该任务是保持纯文本还是需视觉支持、区分技能类型与先验机制，再双轨生成打包成含skill.md、manifest.json、视觉资产与溯源的技能目录。评测层面：对GUI定位用静态先验、对密集计数用动态先验（强制生成in-situ坐标锚点作为视觉工作记忆），全程冻结同一套文本规则，唯一变量是是否引入视觉先验，从而干净地隔离出文本退化量 $\Delta$。

技术新颖性

技术新颖性体现在四点。第一，提出VISUAL SKILL这一多模态技能范式，把'技能=文本'扩展为'技能=文本+视觉+绑定'，明确静态/动态/交错三种打包方式，对应静态协议歧义与动态跟踪崩溃两类失败模式。第二，AUTOVISUALSKILL提供可复现的自动生成流水线，含视觉瓶颈诊断门控、双轨生成与面向执行的manifest（记录技能类型、先验种类、资产角色、渲染策略、绑定规则），让技能可被智能体加载、人类检视、仓库版本化。第三，提出可度量的文本退化率 $TDR/nTDR$，使'文本瓶颈'成为可比较的评估目标，并能用点框准确率、IoU、MAE、证据区匹配等任务特定指标实例化。第四，实验特意把同一套文本规则冻结、仅切换是否引入视觉先验，从而把增益 $\Delta$ 干净归因为'文本无法编码但视觉能恢复的空间信息价值'，这是该范式最有说服力的论证方式。

**Figure 2**: VISUAL SKILL capability demo.

**Algorithm 1**: Multimodal Binding Protocol

**Figure 3**: Authoring reusable visual skills from multimodal context.

实验结果

两个受控任务一致支持'视觉技能优于纯文本技能'。GUI定位（静态先验，Table 1，Qwen3-VL-32B-Thinking）上，跨ScreenSpot/ScreenSpot-v2/GroundUI-18K三基准，视觉技能Point-in-Box准确率达0.930/0.951/0.713，全面高于无技能与纯文本技能；跨全部图标样本91.1%对无技能86.4%（p=0.005）、对纯文本88.1%（p=0.067），最大增益在平均IoU，归一化退化率nTDR为点框17.1%、IoU 8.1%、中心距9.2%。密集计数（动态先验，Table 2，Gemini-2.5-Pro）上，CountBenchQA准确率97.12%、MAE仅0.0535、Within-1达98.97%，而纯文本技能反劣于直接提示（93.00%对94.24%），证明无空间簿记的程序性文本只增推理负担；视觉技能相对纯文本+4.12点（p=0.003），MAE较基线降约60%，nTDR达准确率58.9%、Within-1 72.2%、MAE 66.8%。两类任务互补隔离了文本技能复用的两种失败机制。

**Table 1**: Evaluating Static Priors on Protocol Ambiguity.

**Table 2**: Evaluating Dynamic Priors on Dense Perception.

**Figure 4**: Qualitative examples of visual skills.

查看结构化数据

任务	指标	本文	基线	提升
GUI定位（ScreenSpot，静态先验）	Point-in-Box准确率/平均IoU/平均中心距离	视觉技能 0.930 / 0.364 / 0.030	无技能 0.873/0.274/0.037；纯文本 0.901/0.318/0.035	Point-in-Box +2.9点，IoU +0.046（相对纯文本）
GUI定位（ScreenSpot-v2）	Point-in-Box准确率/平均IoU	视觉技能 0.951 / 0.418	无技能 0.917/0.307；纯文本 0.923/0.343	Point-in-Box +2.8点，IoU +0.075（相对纯文本）
GUI定位（GroundUI-18K）	Point-in-Box准确率	视觉技能 0.713	无技能 0.670；纯文本 0.686	相对纯文本 +2.7点
GUI定位（跨三基准图标样本）	Point-in-Box准确率	视觉技能 91.1%	无技能 86.4%（p=0.005）；纯文本 88.1%（p=0.067）	相对纯文本 +3.0点，统计学显著
密集计数（CountBenchQA，动态先验）	准确率/MAE/Within-1准确率	视觉技能 97.12% / 0.0535 / 98.97%	无技能 94.24%/0.1317/97.74%；纯文本 93.00%/0.1612/96.30%	相对纯文本 +4.12点（p=0.003），MAE降约60%
文本退化率（nTDR）	归一化文本退化率	GUI：点框17.1%/IoU 8.1%/中心距9.2%；计数：准确率58.9%/Within-1 72.2%/MAE 66.8%	纯文本技能（共享同一套冻结文本规则）	量化纯文本技能丢失但视觉可恢复的空间信息比例

局限与改进

作者明确这是立场论文、工作中版本，实验目标是测文本退化率而非刷SOTA，只选了GUI定位与密集计数两个原型任务，交错视觉技能仅以附录示例呈现而未单独设基准。另一限制是AUTOVISUALSKILL依赖基础模型API生成先验，先验质量与生成模型强相关，且静态/动态先验的选择与渲染策略需要人工设计。本人额外观察到：样本规模与统计显著性部分偏弱——GUI上相对纯文本仅p=0.067未达常规显著；两个任务仅各用一个骨干模型，未展示跨模型稳健性；nTDR的分母依赖'oracle visual'的估计，论文未充分说明oracle如何界定；交错技能缺乏量化证据，说服力受限。

独立分析的弱点

第一，泛化证据不足：仅两个任务、各一个骨干模型，未覆盖布局生成、迷宫求解、文档工作流等文中大量举例的场景，交错技能更缺乏量化结果。改进方向：在Design2Code/PosterLayout等布局基准和ARC等空间推理基准上补做消融。第二，先验构建成本与质量依赖生成模型，静态先验需手工设计线框/原型、动态先验需指定锚点协议，易引入人为偏置。改进方向：把先验做成可学习/可优化的视觉记忆模块，或让绑定协议自适应选择。第三，统计显著性偏弱，GUI相对纯文本p=0.067未达显著。改进方向：扩大样本、报告多种子方差与跨模型稳健性。第四，nTDR的oracle分母界定不清，可能高估或低估退化率。改进方向：明确oracle上界定义并做敏感性分析。第五，绑定协议目前较启发式，缺少学习化的检索/执行机制。

未来方向

作者指出的方向包括：随模型变强，视觉技能的形式可能从静态图演化为视频、交互式标注、可执行视觉程序或学习化视觉记忆模块，但'带视觉结构的可复用知识应以多模态形式保存'这一原则不变。作者也列出适用边界——纯符号任务（代数、SQL、代码合成）和自由形式的开放感知（如自然场景自由VQA）不宜强加空间模式。基于成果可延伸的方向：一是把VISUAL SKILL纳入持续学习的技能库，研究跨任务先验组合、版本化与冲突消解；二是把TDR/nTDR推广为多模态技能通用评测协议，覆盖证据区匹配、布局对齐重叠率、路线-步骤绑定准确率、漏检/重复/错误定位率等指标；三是探索绑定协议的学习化，让模型自主决定每步是否检索/实例化/绑定；四是把交错技能扩展到长视频与多页文档，做端到端的step-evidence绑定评测。

复现评估

复现门槛中等偏友好。作者已在 https://github.com/Little-Fridge/AutoVisualSkill 开源代码，含命令行接口、轻量Gradio demo、示例技能与最小智能体集成代码，附录A.6还提供三类技能形式的额外示例。受控实验设置清晰：三档条件（无技能/纯文本/视觉技能）共享同一套冻结文本规则，仅切换是否引入先验，基准为公开的ScreenSpot、ScreenSpot-v2、GroundUI-18K、CountBenchQA，骨干为Qwen3-VL-32B-Thinking与Gemini-2.5-Pro。难点在于：静态先验需针对任务手工设计线框/模板，动态先验需实现坐标锚点渲染回路，并依赖生成式视觉模型产出先验；论文未公布完整先验资产与逐样本预测，统计显著性部分偏弱（GUI p=0.067），独立复现精确数值存在一定不确定性。

智能体技能应超越文本：为视觉技能正名 Agent Skills Should Go Beyond Text: The Case for Visual Skills