Omni-IO Skills：让通用智能体全模态原生的技能线束 Omni-IO Skills: Harnessing Your Agent Omni-Native
用分层技能、依赖图编排与资产注册表，免训练地把通用智能体变成全模态生产系统。
前置知识
Agent Harness（智能体线束）
基础模型只提供推理与决策策略，而线束是支撑其持续执行的操作基底，包括行动循环、工具访问、上下文与状态管理、执行控制、结果验证与故障恢复。可以理解为：模型负责想，线束负责把想法落成可靠、可追踪的行动。Codex、Claude Code 这类通用智能体本身就带有一套线束。
本文的核心论点是 harness 层面的能力组合（harness-level capability composition）：不改动宿主模型的推理核心，只在外围加一层线束就能让智能体全模态化。不理解线束与模型本身的分工，就无法理解这篇论文的立足点。
MCP（Model Context Protocol）
Model Context Protocol 是一个标准化协议，规定了应用如何向模型暴露外部工具与资源，使工具调用接口与具体实现解耦。智能体通过统一的工具契约发起调用，底层服务可以自由更换，而不需要修改上层的任务描述或提示词。
论文四层架构中的 MCP Tool Service 层正是把 Skill Entry 层产出的语义任务规格映射成标准化可执行操作的关键枢纽，理解 MCP 才能明白技能为何能做到与具体厂商、具体 API 无关。
DAG 与波次调度
有向无环图（DAG）用节点表示任务、有向边表示依赖，拓扑序保证下游任务只在前驱完成后启动。波次调度把同一拓扑深度上所有前驱已完成的节点归为一个 Wave，波内节点互相独立、可并发执行，波与波之间串行推进。
论文的 Declare Execution Graph（DEG）就是一个 DAG，其执行完全依赖这种依赖感知的 Wave 调度：无依赖的图像与音频生成并发跑，图像条件下的视频生成则必须等待。这是读懂第 5 节编排机制的基础。
全模态基础模型
指在单一模型内同时支持文本、图像、音频、视频等多模态理解与生成的大模型，主要有两条技术路线：统一自回归建模（把异质模态离散化后在共同序列上做下一词预测）和混合离散-连续设计（保留自回归语义推理，用连续表示、扩散或流目标与模态专属解码器保真）。
本文正是与这条路线对照：Omni 模型把统一性放在模型内部，能力被训练数据与更新周期锁死；Omni-IO Skills 则把统一性放在任务执行与资产流层面，两者互补。理解这条对照线才能把握论文动机。
研究动机
真实任务很少局限在单一模态。例如制作一门在线课程：从讲课录音和参考文档出发，经过内容分析与视觉设计，最终要产出幻灯片、插图、旁白和讲解视频，而这些产物并非彼此独立——它们共享事实、风格、时长与制作约束。现有两条路线都有硬伤。其一，把基础模型扩展到新模态意味着要调和不同模态的表示、目标与保真需求，往往需要新数据、新编解码器、新解码器和对齐阶段，能力增长被绑定在昂贵且缓慢的模型更新上；其二，拼装专家模型和工具虽然灵活，却没有回答流程如何表达、依赖如何声明、中间产物如何在工具间传递、失败如何隔离、上一轮的产物如何在下一轮被修改等问题。实测后果很直观：在 UniM-90 基准上，GPT-5.6 Sol 只能完整接收并处理 40.00% 实例的全部输入模态，Claude Sonnet 5 只有 38.89%，也就是说通用智能体对约六成涉及音频、视频、文档、3D 的任务根本无从下手。
本文的目标是本文的具体目标是构建一个即插即用的全模态智能体线束 Omni-IO Skills：在完全不改动宿主智能体（论文用 GPT-5.6 Sol 和 Claude Sonnet 5 两个宿主验证）推理与规划核心的前提下，通过四项机制把散落的模型、工具和程序性知识变成可选、可组合、可执行、可追踪的能力——(1) 分层 Skills：27 个技能（19 Atomic、2 Expert、6 Scenario）覆盖 7 种产物模态、38 类代表性任务，横跨理解、生成、推理、检索四大能力族；(2) 标准化多模态执行接口（MCP 工具服务）；(3) 依赖感知的编排（Declare Execution Graph）；(4) 持久化资产注册表支持下游与跨轮复用。量化目标是在 UniM-90 上把两个宿主的输入支持率 τ 从 40.00%/38.89% 提到 100%，同时大幅提升语义质量、交错连贯性与输出结构完整性。
与已有工作不同的是，本文的独特切入是把统一性从模型内部挪到线束层。与 Omni 基础模型（统一自回归或混合离散-连续设计）不同，它把基础模型、专家模型、媒体引擎一律视为可替换的执行后端，让应用随模型栈独立演进。从相关工作看，模型协调系统（MM-ReAct 及近年的 Omni agents）已证明智能体可以不重训练就委托模态专家，但它们聚焦证据获取、问答与响应整合；Agent Skills 一支（SkillsBench、CUA-Skill、MMSkills）把可复用的程序性知识打包供推理时使用，却止步于知识层。两者交集——any-to-any 理解与生成、多资产生产工作流、中间资产传递与溯源、跨轮修改——恰恰是空白。Omni-IO Skills 补上的正是这块：以分层技能组织多模态流程，以依赖感知执行和持久资产状态把流程变成可组合、可追溯的工作流。
核心方法
直觉上，这是给一个很会思考但只会读写代码与文档的智能体，配上能调用各种媒体引擎的手和一个记性极好的仓库管理员。系统位于宿主智能体与外部多模态工具之间，采用四层架构：(1) Skill Entry 层把流程知识组织为 19 个 Atomic、2 个 Expert、6 个 Scenario 共 27 个技能，按请求选择并递归展开为可执行任务；(2) MCP Tool Service 层把语义任务规格映射为理解、生成、效用（搜索/浏览）三类标准化工具操作；(3) Provider & Configuration 层把工具能力绑定到具体厂商、模型、凭证、默认参数与回退策略（OpenAI、Google Gemini、Alibaba、ElevenLabs、Tripo 3D 等）；(4) Asset Registry 层以 append-only JSON 注册表持久化所有中间与最终产物。运行时流程为：请求到来→选择技能→层级展开为终端任务→构造 DEG $G=(V,E)$→结构校验（依赖引用可解析、图无环）→按 Wave 并发调度→每个节点执行工具路由、提供方解析、资产注入、执行四步循环→成功输出登记入注册表，供下游任务与后续对话轮复用。
核心是三重解耦。第一，能力与实现解耦：技能在声明式表示 $s=\langle c_s, I_s, P_s, O_s, H_s\rangle$（适用条件、输入、过程、输出、技能间关系）中只引用语义能力如图像生成、语音合成，从不点名厂商端点，换提供方不需改任何技能描述与 DEG 结构。第二，执行与状态解耦：资产表示为 $a=\langle \text{asset\_id}, \text{type}, \text{subtype}, \text{path}, \text{description}, \text{params}, \text{turn\_id}, \text{source\_asset\_id}\rangle$，全局唯一 asset_id 使上层引用与物理路径无关；注册表只追加不覆盖、以文件锁串行化写入，source_asset_id 记录修订溯源；跨轮时用户以 asset_ref 引用历史资产，它在新 DEG 中被物化为已完成的 asset_source 节点，只需重跑受影响的任务（如只重新生成落地页）。第三，控制流与数据流统一编码在 DEG 的边上：一条边既是控制依赖（前驱未完成则后继不能启动）也是数据依赖（前驱输出注入后继调用）。与既有方法的本质区别在于：既有 Skills 只提供知识，既有协调系统只做问答式委托，本文把知识、执行接口、提供方绑定与持久资产状态装进同一个可演进的线束。
方法步骤详情
第一步，技能选择：请求落在明确应用场景则激活 Scenario Skill（如 S5 Event Material），单一专业产物直接选 Expert Skill（E1 Poster Design、E2 Complex Video Production），一步能完成的直接调 Atomic Skill（A1–A19）。第二步，层级展开：Scenario 替换为交付物所需的 Expert 与 Atomic 技能，Expert 再替换为原子生产与质检步骤，递归至终端任务（含宿主原生执行的代码/Markdown 生成），共享中间结果只表示一次，如 S5→E1+E2+A1/A6/A7/A8/A9/A16。第三步，DEG 构造与校验：终端任务实例化为节点 $v=\langle \text{id}, \text{type}, \text{prompt}, \text{params}, \text{depends\_on}\rangle$，校验依赖可解析且无环，否则判为规划错误并重构。第四步，Wave 调度：所有前驱已完成的待定节点构成下一波，波内并发；产品推广案例分四波——Wave 0 分析参考图，Wave 1 并行生成海报素材与视频/音效，Wave 2 合成推广视频与海报，Wave 3 生成落地页。第五步，执行环：MCP 按任务类型选工具，Provider 层解析厂商/模型/凭证/参数/回退策略，上游输出按任务关系注入（图生视频用图作初始视觉条件，图生 3D 用作参考图）。第六步，登记与失败处理：成功输出写工作区后登记；节点失败则取消其待定后代，独立分支继续，已完成输出不回滚。
技术新颖性
技术新颖性体现在五个方面。(1) 免训练的能力扩展范式：相对 Omni 基础模型需要新数据、编解码器、解码器与对齐阶段才能扩模态，本文宿主模型零改动，相对 SQCS 即提升 47.95 和 49.96 个百分点，证明线束层组合是可行路线。(2) DEG 的调度由声明的依赖而非模态决定：同一 Wave 中图像与音频生成可以并发，图像条件视频则必须等待参考图——并发度来自数据流结构而非人工编排。(3) 追加式资产注册表：以全局 asset_id、turn_id 与 source_asset_id 实现版本可追溯与跨轮修订，把'修改上次的产物'从一次全新任务降为对已完成 asset_source 节点的局部重算。(4) 失败的图级隔离：级联取消失败节点的后代、保留独立分支与已完成输出，比单体重试更精细。(5) 层级技能 grammar（Scenario→Expert→Atomic）让应用级请求能按声明式规则机械展开，Expert 的'只重生成受影响组件、复用已验证中间资产'实现了产物级质检回修。这些机制合起来把'模型/工具/程序的集合'提升为'可选、可组合、可执行、可追溯'的能力系统，是相对 SkillsBench、CUA-Skill、MMSkills 等纯知识型技能工作的实质跨越。
实验结果
实验在 UniM-90（从 UniM 固定抽样的 90 实例受控子集，覆盖文本、图像、音频、视频、文档、代码、3D 及其交错组合）上进行，采用 UniM Evaluation Suite，报告输入支持率 τ 与 SQCS/ICS/StS/LeS 四项指标的绝对、相对两套口径（$\mathcal{X}^{rel}=\tau\mathcal{X}^{abs}$），无法处理输入的实例也计入相对指标。第一，模态覆盖：GPT-5.6 Sol 的 τ 从 40.00% 升至 100%，Claude Sonnet 5 从 38.89% 升至 100%，全模态缺口被完全填平。第二，相对指标（全集口径）：SQCS 从 26.99→74.94（+47.95）和 27.82→77.78（+49.96）；ICS 从 34.61→93.98（+59.37）和 32.00→83.28（+51.28）；StS 从 19.14→100.00 和 20.30→99.78；LeS 从 28.89→100.00 和 26.67→100.00。第三，绝对指标：SQCS 67.49→74.94 和 71.53→77.78，加载线束后的绝对质量甚至超过基线在其狭窄支持子集上的得分；StS 47.84→100.00 和 52.21→99.78。第四，定性案例（Figure 6）：S4 协调 A2/A3/A6 把教学视频+音频转成含 11 张图的绘画教程；A1→E1→E2→A16 为 Owala FreeSip 水瓶同时生成 4:5 海报、恰好 10 秒的 9:16 促销 MP4 和自包含 HTML/CSS/JS 落地页，产品身份与卖点跨交付物一致。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 全模态任务输入支持（UniM-90 全部 90 实例） | 输入支持率 τ | 100%（GPT-5.6 Sol 与 Claude Sonnet 5 两个宿主） | GPT-5.6 Sol 40.00%，Claude Sonnet 5 38.89% | +60.00 与 +61.11 个百分点，实现全实例覆盖 |
| 多模态输出语义正确性与生成质量（全集口径） | 相对 SQCS | 74.94（GPT-5.6 Sol）/ 77.78（Claude Sonnet 5） | 26.99 / 27.82 | +47.95 / +49.96 分 |
| 交错多模态响应的整体连贯性（全集口径） | 相对 ICS | 93.98 / 83.28 | 34.61 / 32.00 | +59.37 / +51.28 分 |
| 严格输出结构一致性（全集口径） | 相对 StS | 100.00 / 99.78 | 19.14 / 20.30 | +80.86 / +79.48 分，接近满分 |
| 支持子集内的语义质量（可比口径） | 绝对 SQCS | 74.94 / 77.78 | 67.49 / 71.53 | +7.45 / +6.25 分，且线束版绝对值已超基线在自己支持子集上的得分 |
| 支持子集内的严格结构完整性 | 绝对 StS | 100.00 / 99.78 | 47.84 / 52.21 | +52.16 / +47.57 分 |
局限与改进
作者承认的局限：(1) 仅做 within-agent 比较，两宿主默认能力不同，跨代理分数差异不被解读为模型能力排名，限制外部对比说服力；(2) UniM-90 只是 90 实例受控子集而非完整 UniM；(3) 无法生成所需输出模态的失败实例仍计入指标。我的观察：(1) 绝对 SQCS 上限约 75–78，Claude 的绝对 ICS 仅从 82.29 提到 83.28，说明线束主要解决'能不能做'和'结构合不合规'，语义质量仍受底层专家模型制约；(2) 全文未报告成本、延迟、API 调用次数与 token 消耗，多波生成工作流开销不菲，工程价值难以完整评估；(3) 没有消融实验——Atomic/Expert/Scenario 各层贡献、资产注册表与跨轮复用的必要性、Wave 并发相对串行的收益均未量化；(4) 失败处理只有'取消后代、继续独立分支'，没有重试、降级或局部重生成策略；(5) 四项指标均依赖 UniM Evaluation Suite 的自动评估，无人工评价与显著性检验。
独立分析的弱点
独立分析如下弱点。第一，失败恢复过粗：某提供方限流或超时会直接取消整条子树的待定后代，而 Provider 层明明维护了回退策略（fallback policy），正文却未验证节点失败时自动换提供方重跑的效果；改进方向是'同节点换后端重试 N 次→再级联取消'的分级策略，并把失败原因写回注册表。第二，资产注册表是单机 append-only JSON 加文件锁，只适合单进程会话，多用户/多机场景需迁移到数据库与对象存储，且 append-only 使长对话注册表无限膨胀，缺乏归档与垃圾回收。第三，下游 prompt 要求自包含、上游资产描述与参数全量注入，长链工作流（E2 挂 7 个原子技能、S4 引用 14 个）会带来 token 成本膨胀，可引入资产摘要或按需注入。第四，跨轮修订仅靠 asset_ref 物化为已完成节点，没有版本 diff、冲突合并或部分采纳修订的语义。第五，技能覆盖以营销、教育、创意为主（27 技能），缺少表格图像、地图、传感数据等模态，且技能靠人工编写，编写成本将成为扩展瓶颈。
未来方向
作者在结论中提出的方向：把 Omni-IO Skills 作为应用导向的基础设施，支撑跨多轮生产工作流中异质媒体与可复用输出的协调，且流程、提供方、资产三者保持独立可扩展。基于其成果可以自然延伸：(1) 成本与延迟感知调度——给 DEG 边加权，在预算约束下决定 Wave 划分与后端选择（快速廉价模型草稿、高价模型终稿）；(2) 技能自举——从成功执行轨迹中反向挖掘 Expert/Scenario 技能，缓解人工编写瓶颈，甚至让线束自己写 SKILL.md；(3) 更严谨的评测——完整 UniM、人工评价、消融各层技能，并与 HuggingGPT、MM-ReAct 等协调系统同台对比；(4) 多宿主协作——Scenario 层的交付物天然可并行，可分解给多个智能体实例并发执行再由注册表汇合；(5) 资产语义检索——在注册表上构建嵌入索引，用自然语言查找历史资产，强化跨轮复用；(6) 接入流式与全双工交互（论文引用的 [29,30,31] 方向），把线束扩展到实时场景而非仅离线生产。
复现评估
复现条件总体友好但有外部依赖。代码仓库公开：https://github.com/any2any-mllm/Omni-IO-Skill，提供 SKILL.md 加载与 MCP 工具服务实现。复现需要：(1) 两个宿主智能体的访问权限（GPT-5.6 Sol 与 Claude Sonnet 5，均为商用 API）；(2) 多家生成服务的 API key——OpenAI、Google Gemini、Alibaba、ElevenLabs（语音）、Tripo 3D 等，视频与 3D 生成按次计费，跑满 90 实例成本可能达数百美元量级（论文未披露）；(3) UniM-90 抽样协议在附录 I.1，评测用 UniM Evaluation Suite。工程难度中等：技能是声明式配置加 MCP 服务绑定，不涉及训练，本地无 GPU 需求，主要工作量在配置各提供方凭证与默认参数；风险在于正文未给出 Provider 层的具体模型型号与参数细节，跨厂商 API 差异（分辨率、时长上限、速率限制）可能需自行调试，DEG 校验与 Wave 调度逻辑应能直接从仓库复用，评测需按论文口径保留失败实例并计算 $\mathcal{X}^{rel}=\tau\mathcal{X}^{abs}$。
论文图表
系统总览图：宿主智能体保持不变，Omni-IO Skills 作为外挂线束，通过分层技能（Hierarchical Skills）编排多模态的理解与生成操作，每次产出的资产都被登记进注册表，供下游任务和后续对话轮直接复用。
这是论文的门面图，一图概括了'宿主不变 + 技能编排 + 资产复用'三大卖点，读者应先看它建立整体心智模型。