Youtu-Parsing-Omni：单编码器、单模式，通吃全模态解析 Youtu-Parsing-Omni: One Encoder, One Schema, All Modalities
用共享编码器与统一输出模式，把文档、图像、音频、视频一次解析成可定位、可引用的结构化记录
前置知识
两塔（Two-Tower）多模态架构
主流全模态模型（如 Qwen2.5-Omni、Logics-Parsing-Omni）用两个独立预训练的编码器分别处理视觉与音频：视觉塔（ViT）把图像/视频帧切成 patch 编码，音频塔（AuT）编码梅尔频谱，两条 token 流拼接后送入语言模型融合。每个塔有自己的架构、训练目标与预训练血统，参数不跨模态共享，空间与时间位置也各自编码。
本文的 Youtu-Omni-Encoder 正是为了替代双塔设计。理解双塔的三个缺陷（模态孤立编码、时间轴不共享、感知参数重复）才能读懂 C1 挑战与本文核心贡献。
RoPE 旋转位置编码
RoPE 把位置信息编码为对 query/key 向量的旋转变换，注意力得分只依赖相对位置差 $t_q - t_k$。传统 RoPE 只有一维位置表；本文将其推广为分段轴分解形式：旋转预算 $d_{rot}=64$ 切成 $T/H/W$ 三段（21/21/22 槽），每段有独立逆频率表并按自身宽度归一化，视觉 token 写入 $(t,h,w)$，音频 token 写入 $(t,0,0)$。
统一时空位置编码是单编码器跨模态共享时间轴的关键机制，公式 (7) 的分段轴分解 RoPE 是读懂架构部分的前提。
RLVR 与 GRPO
强化学习与可验证奖励（RLVR）指用规则可验证的奖励（格式检查、编辑距离等）而非人类偏好训练模型。GRPO（组相对策略优化）对同一 query 采样一组 rollout，用组内平均中心化后的相对优势作策略梯度信号，无需价值网络。本文奖励为 $R=\mathbb{1}[\text{decodes}]\mathbb{1}[\text{payload}]\cdot\text{clip}_{[0,1]}\Omega\cdot\text{core}_\nu$。
RLVR 是 OSAD 之前的后训练阶段。理解其序列级标量奖励的局限（跨异构字段难以定义、只给整条序列一个反馈）才能理解 OSAD 的动机。
在线策略蒸馏（On-Policy Distillation）
SFT 在参考答案的前缀上算损失，与推理时模型自己生成的前缀分布不匹配；在线策略蒸馏让学生在自己采样的 rollout 上学习教师的逐 token 目标分布。本文 OSAD 进一步让教师以参考解析为附加条件（$\tilde{x}=[y^\star;x]$，即特权信息），内容 token 用有界对称 JS 散度、结构 token 用前向 KL 散度，并在每轮末把学生权重合并为新教师，实现自我进化。
OSAD 是本文最核心的训练创新，不懂 on-policy 蒸馏与参考条件化自蒸馏（OPSD）就无法理解其后训练贡献的来源。
LoRA（低秩适配）
LoRA 冻结基础权重，只训练注入线性层的低秩矩阵，大幅减少可训练参数与显存。本文 OSAD 中学生每轮以全新 LoRA 适配器在冻结基础权重上训练，轮末把适配器合并进基础权重生成下一轮教师，再挂新适配器开始下一轮，循环六轮。
OSAD 的自进化机制（训练-合并-刷新循环）建立在 LoRA 之上，这是理解 Figure 6 下半部分教师刷新机制的关键。
结构化解析的形式语言（OTSL/SMILES/ABC/Mermaid）
解析任务常要求输出形式语言而非自由文本：表格用 OTSL（优化表格结构语言）序列化结构与单元格；化学分子用 SMILES 字符串；乐谱用 ABC 记谱法；流程图用 Mermaid 图定义。这些输出可被确定性校验（如 SMILES 转分子指纹后算 Tanimoto 相似度），既可精确评测也适合可验证奖励。
论文用 ChemOCR（SMILES）与 PDMX-Synth（ABC）证明通用解析器能精确输出形式语言，理解这些语言才能读懂相关实验指标的含义。
研究动机
LLM 智能体越来越多地依赖参数之外的信息：回答前检索证据、推理中调用工具、通过屏幕操作电脑，而这些信息大多以文档、图像、音频、视频的形式到达。若让驱动智能体的模型直接消费原始像素和波形，既昂贵又难审计——每次回看材料都要重新编码长串视觉/声学 token，且基于原始输入的答案本身无法指出是哪个区域或时间段在支撑结论。全模态解析本应把输入一次性转成带空间/时间锚点的结构化文本记录，供任何 LLM 读取与溯源，但现有解析器覆盖不全：文档解析器（TeleOCR、PaddleOCR-VL-1.6、MinerU2.5-Pro 等）在标准页面上已很强，但化学结构、乐谱等符号内容仍主要留给领域专用模型（ChemDFM-X、LEGATO）；通用全模态模型（Qwen3-Omni 等）主要为描述生成和问答而建，不做带定位的结构化输出；跨图像/音频/视频的解析直到 OmniParsingBench 才被形式化为带基准的任务。结果是不同输入类型由不同模型、用不同输出格式服务，无法被统一的下游 agent 接口消费。
本文的目标是本文目标是构建一个单一的全模态解析器：用一个 5B 参数的 checkpoint、一套推理配置，覆盖十项解析任务——图像侧的文档解析、化学结构识别（SMILES）、乐谱识别（ABC）、图表解析（Markdown 表）、流程图解析（Mermaid）、几何图形解析、自然图像解析，音频侧的音频解析，视频侧的自然视频解析与富文本视频解析。所有输出遵循统一的 OmniSchema：每个内容单元都带显式空间锚点（归一化到 0–1000 的边界框）或时间锚点（HH:MM:SS 秒级时间戳），使任何 LLM（包括纯文本模型）都能读取解析结果并回溯到源区域/时间段。同时要求不牺牲文档解析深度：目标是在 OmniDocBench v1.6 上达到最先进水平，并在音频、视频等时间性任务上超越现有开源系统，达到与专用模型相当的符号转录精度。
与已有工作不同的是，独特切入角度有二。其一是感知层的统一：现有全模态模型与解析器都配两个独立预训练的塔，导致模态孤立编码、无感知层融合、时间各自索引（对齐被推迟到语言模型）、每加一个模态就要再预训练一个塔；跨视觉/音频的共享编码器虽有探索（VATT、Meta-Transformer 等）但从未用于带定位的解析。本文把'一个编码器服务所有模态'推进到 grounded parsing 场景，并用预训练文本语言模型初始化共享块来弥补纯视觉预训练在'读'上的不足。其二是优化层的统一：跨十项任务同时优化内容准确性、时空定位与 schema 合法性时，SFT 只在参考前缀上训练、RLVR 需要难以跨异构标准定义的标量奖励；本文观察到统一输出 schema 使每个 token 可划分为内容/结构两种角色，从而让一个共享的 token 角色目标（OSAD）跨任务工作，且教师随学生共同进化——既不需要手工设计奖励，也不需要单独训练的教师。
核心方法
直觉上，所有模态的解析输出同构：一组定位在空间或时间中的单元加各自内容。既然输出同构，感知与监督也应统一——用'一个编码器+一个 schema'替代'每种模态一个专家模型'。技术路线：解码器是按 Youtu-LLM 配方预训练的 4.5B 稠密文本模型（40 层、宽度 2560、MLA 注意力、1D RoPE、128k 上下文；空间时间结构已在编码器内解决，可直接复用文本检查点）；感知端 Youtu-Omni-Encoder 约 0.4B，共享块从 Qwen3-0.6B-Base（去掉 embedding 与 LM head）初始化。编码器三段式：薄模态 stem（视觉：原生分辨率切 16×16 patch 单线性映射成 token；音频：log-mel 频谱 + 3 层 stride-2 卷积，固定 13 token/秒；stem 合计不到编码器参数 3%）→ 共享双向 Transformer（28 层，RMSNorm/SwiGLU/GQA/QK-Norm，任意模态混合打包成一条变长序列、按累积长度向量分窗、无 padding）→ 模态相关 merger+projector（视觉帧内 2×2 合并、音频沿时间合并后投影到解码器宽度）。视觉与音频 token 写入同一 $(t,h,w)$ 轴分解 RoPE，第 13/14/27/28 层为音视融合层。
核心创新一是'文本初始化的统一编码器'：所有模态共享同一套 Transformer 权重与同一套 $(T,H,W)$ 旋转位置编码。分段轴分解 RoPE（式 (7)）把 64 个旋转槽切成 $T/H/W$ 三段各 21/21/22，每段用独立逆频率表归一化、各自覆盖全频率范围；视觉 token 取帧索引 $t$ 与 patch 坐标 $(h,w)$，音频 token 取时间偏移、$h=w=0$，两条模态因此写入同一时间轴。融合层窗口在每个音频→帧边界切分成 (I+A*) 组，组内按公共时间标度推进（$\Delta t_{\text{audio}}=1$，$\Delta t_{\text{vision}}=r_a/\text{fps}$），使'某张幻灯片在屏时说的是哪句话'这类对应关系在感知内部算出而非留给解码器推断；融合是纯逐层选择，训练以 $p_{fus}=0.8$ 保持两条推理路径均可用。核心创新二是 OmniSchema 使 OSAD 成为可能：每个输出 token 可标记为结构（JSON 语法，受限语法）或内容（字段值，可多种合法续写）角色，学生用 LoRA 在自己的 rollout 上训练，冻结教师额外条件化参考解析 $[y^\star;x]$ 给出逐 token 目标——内容用有界 JS 散度（$\tau_c$）、结构用前向 KL（$\tau_s>\tau_c$）加全 token JS 项，轮末合并权重刷新教师，使监督随解析器共同进化。
方法步骤详情
训练分四段预训练（共 2.24T tokens）加三段后训练。Stage 0 对齐（320B）：只训编码器、冻结解码器，稠密 caption/转写监督，图≤256 token、视频≤16 帧、序列 4k、无融合层。Stage 1 全模态预训练（1.28T）：解冻全部参数，图像预算升至 20k token、视频 64 帧、序列 8k–32k，开启 4 个融合层，混入纯文本防遗忘，学习率恒定。Stage 2 退火（512B）：余弦衰减 $10^{-4}\to10^{-5}$，分层学习率衰减 $\gamma=0.9$，融合路由 $p_{fus}=0.8$。Stage 3 长上下文（128B）：序列至 128k、视频至 512 帧。后训练：SFT（16B）混十任务解析数据与通用指令数据，建立可靠的 OmniSchema 序列化默认；schema 路由 RLVR（GRPO，0.6B）用奖励 $R=\mathbb{1}[\text{decodes}]\mathbb{1}[\text{payload}]\cdot\Omega\cdot\text{core}_\nu$，$\Omega$ 含格式、重复与覆盖不足惩罚；OSAD（0.6B，6 轮）：温度 0.35 采样，rollout 过四道准入门，学生 LoRA 在自身 rollout 上以角色化损失 $\mathcal{L}_{row}=\bar{d}_{all}+\alpha_c\bar{d}_{\mathcal{C}}+\alpha_s\bar{d}_{\mathcal{S}}$ 训练，$(\alpha_c,\alpha_s)$ 渐进至 (0.80,0.08)，轮末合并适配器刷新教师。
技术新颖性
新颖性有三。第一，Youtu-Omni-Encoder 是首个面向带定位解析（grounded parsing）的跨视觉/音频统一编码器：VATT、Omnivore、Meta-Transformer 等共享 Transformer 尝试面向分类/理解任务，DeepSeek-OCR 2 虽在视觉编码器内用 Qwen2 初始化但只覆盖文档；本文把文本初始化用于视觉+音频共享的感知骨干，并在 5.7 节以受控实验同时对照'统一 vs 双塔'与'文本初始化 vs 从零'两个因素，这是此前工作缺乏的实证。第二，分段轴分解 RoPE 让一套旋转预算同时表达 2D 版面、1D 时间及二者对应，且融合无需额外结构——同一打包特征携带 $c_{fus}$ 与 $c_{nof}$ 两份窗口分割供各层选用；论文还报告了两个被试但未采纳的变体（显式模态轴无增益、交错布局逊于分段布局），消融深度少见。第三，OSAD 把参考条件化自蒸馏（OPSD）改造成 schema 感知版本：内容 JS 有界避免过度惩罚多解字段、结构前向 KL 鼓励覆盖教师结构预测并配更高温度软化；轮次化教师刷新区别于 born-again/Noisy Student 的代际演化与 Mean Teacher 的 EMA——它在固定数据池上交替更新解析器与其监督源，六轮持续正增益证明自进化确实有效。
实验结果
文档解析：OmniDocBench v1.6（1651 页）Overall 96.96 第一，超 TeleOCR 96.91、OvisOCR2 96.47、Gemini-3-Pro 92.91；与 TeleOCR 的文本/公式/表格差距均在 0.21 分内，阅读顺序 Edit 0.1104 与 TEDS-S 98.20 全场最优；较前代提升集中在表格（TEDS +4.77）与公式（CDM +3.17）。鲁棒性：PureDocBench clean 82.61 / 数字降质 78.13 / 实物翻拍 68.13，Avg3=76.29 为端到端最高。全模态：OmniParsingBench 均分 75.08 为开源最强（Logics 72.26、Qwen3-Omni 66.44），仅低于 Gemini-3-Pro 77.44；优势集中在时间性分集——音频 78.08（+2.5）、自然视频 74.18（+6.84，距 Gemini 0.64）、富文本视频 75.62（+10.26），图表 95.02 全场最高；静态分集较弱（自然图像 62.84 落后 4.7、几何 74.33 落后 2.0）。通用能力未受损：Video-MME-v2 无字幕组得分 11.5 与 4B thinking 模型相当，L1 20.0 领先所有非 thinking 基线至少 5 分。符号转录：ChemOCR Tani@1.0=54.2 最高（DeepSeek-OCR 2 49.6、GPT-4o 3.4）；PDMX-Synth CER 22.73 低于专用 LEGATO 的 23.30，远超 GPT-5.6（45.02）。消融：随机初始化统一编码器在 300B tokens 时比双塔低 1.3 Avg-6、低 53.4 OCRBench 但 WER 更优（2.14 vs 2.43）；文本初始化把 Avg-6 差距缩至 0.4、OCRBench 反超双塔 77.2 分、超从零版 130.6 分（767.0 vs 636.4）；OSAD 贡献 SFT 后 1.99 分中的 1.75（88%），六轮从 95.21 升至 96.96。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 文档解析（OmniDocBench v1.6） | Overall | 96.96 | TeleOCR 96.91（次优）/ Gemini-3-Pro 92.91 | +0.05，且是唯一 96+ 同时支持全部模态的模型 |
| 文档解析（OmniDocBench v1.6） | TEDS / TEDS-S / 阅读顺序 Edit | 96.79 / 98.20 / 0.1104 | TeleOCR 96.82 / 98.18 / 0.1184；前代 Youtu-Parsing 92.02 / 95.00 / 0.1160 | TEDS-S 与阅读顺序全场最优；较前代 TEDS +4.77 |
| 文档解析鲁棒性（PureDocBench） | Avg3 | 76.29（端到端最高） | TeleOCR 78.41（多阶段流水线）；OvisOCR2 75.06（端到端次优） | 三条轨迹全部超过端到端专家；较前代 +7.97 |
| 全模态解析（OmniParsingBench） | 五分集平均 Overall | 75.08 | Logics-Parsing-Omni 72.26；Gemini-3-Pro 77.44；Qwen3-Omni-30B-A3B 66.44 | 开源最优 +2.82，仅低于 Gemini-3-Pro 2.36 |
| 富文本视频解析（OmniParsingBench） | Overall | 75.62 | Logics-Parsing-Omni 65.36；Gemini-3-Pro 76.80 | +10.26，时间定位 50.70 vs 23.05、ASR 76.52 vs 34.28 |
| 自然视频解析（OmniParsingBench） | 时间定位 Time F1 / Overall | 63.68 / 74.18 | Gemini-3-Pro 59.47 / 74.82；Logics 34.62 / 67.34 | Time +4.21 / +29.06；Overall 距 Gemini 仅 0.64 |
| 音频解析（OmniParsingBench） | Overall | 78.08 | Logics 75.58；Gemini-3-Pro 76.74 | +2.50 / +1.34，来自时间定位 +9.1 与事件关键词 +13.1 |
| 图表解析（OmniParsingBench） | Overall / 统计图 F1 | 95.02 / 97.16 | Logics 94.65 / 93.26；Gemini-3-Pro 92.79 / 92.42 | 全场最高 |
| 化学结构识别（ChemOCR） | Tani@1.0（指纹完全匹配率） | 54.2 | DeepSeek-OCR 2 49.6；ChemDFM-X 36.5；GPT-4o 3.4 | +4.6 / +17.7 |
| 乐谱识别（PDMX-Synth） | CER（越低越好） | 22.73 | LEGATO（专用模型）23.30；GPT-5.6 45.02；Gemini-3-Pro 54.26 | 低于专用模型 0.57，约为最强通用模型的一半 |
| 通用视频理解（Video-MME-v2 无字幕） | Group score / L1 | 11.5 / 20.0 | Qwen3-Omni-30B-A3B-Instruct 10.9 / 15.0；4B-Think 11.6 / 15.0 | L1 领先所有非 thinking 基线至少 5 分 |
局限与改进
作者承认的局限：相比前代 Youtu-Parsing 尚未实现推理加速——前代复用共享编码器特征、按区域并行解码，而本模型端到端自回归解码且解码器更大，在表格等密集结构内容上吞吐量预计更低。我补充的观察：（1）静态分集弱于双塔对手：自然图像 Overall 62.84 落后 Logics-Parsing-Omni 4.7 分，知识型实体识别仅 13.90 vs 21.39，几何关系感知 46.77 vs 64.24——作者归因于 5B 稠密 vs 30B-A3B MoE 的总参数差距，但消融中从零初始化编码器在空间关系类基准 BLINK 上反而 +9.5，提示文本初始化偏向'读'而非空间推理；（2）ASR 是短板：音频分集 ASR 77.94 为对比模型最低，自然视频 67.80 vs Gemini-3-Pro 84.06，整体靠时间定位优势补偿；（3）计数对所有模型都难（Count 均 <80）；（4）L2/L3 时序推理与复杂推理无优势，作者认为需要显式 thinking 模式；（5）OmniParsingBench 用自研工具包重打分，数字与基准作者报告值不可直接比较，且剔除了相机视频子集与 136 个媒体缺失样本；（6）推理只用 64 帧而 Stage 3 训练至 512 帧，长视频在推理配置下的一致性未验证；（7）音频非vocal段与声学事件依赖闭集标签，描述性字段靠模型生成，存在标注偏置传导风险。
独立分析的弱点
独立分析的弱点及改进方向：（1）感知-推理失衡——文本初始化带来强 OCR 但空间/关系感知偏弱（几何关系、BLINK 消融），可在融合层引入显式几何/关系监督或混合初始化（部分层用视觉预训练权重）；（2）ASR 转写精度低于基线（音频 77.94、自然视频 67.80），可能受 13 token/秒的音频分辨率或共享权重容量分配限制，可提高音频 token 率或在后训练中对 ASR 数据加权；（3）端到端自回归解码长 JSON 输出吞吐低、无并行解码，可移植前代的区域并行解码或引入投机解码；（4）OSAD 六轮增益递减（+0.58→+0.08）且轮数、$(\alpha_c,\alpha_s)$ 调度均为手工设定，可改为按验证集增益自适应停止或学习调度；（5）token 角色二分（结构/内容）可能过粗——OTSL 表格单元格、公式符号内部还有子结构，更细粒度角色或字段条件化温度或能进一步提升；（6）静态图像知识型实体识别弱，5B 参数的世界知识有限，可外接检索或扩大解码器；（7）融合仅限短音视窗口，跨窗口依赖交给解码器，长视频跨场景的音视事件对齐可能受限；（8）富文本视频 structured_report 依赖 VLM/LLM 标注流水线，幻觉风险会通过训练数据传导。
未来方向
作者明确提出的：把前代的并行解码与相关加速技术移植到 Youtu-Parsing-Omni。基于成果可延伸的方向：（1）统一编码器+统一 schema 范式天然可扩展新模态——架构上'加模态只需新 stem+projector'，可加入 3D 点云、网页 DOM、手语视频等；（2）OSAD 的参考条件化自蒸馏框架可推广到其他结构化输出任务（代码生成、UI 动作序列、生物医学序列），凡输出可分'语法/内容'角色者皆适用；（3）结合 thinking 模式补齐 L2/L3 时序推理短板——Video-MME-v2 实验已指出本模型与 thinking 模型的差距与其 thinking 增益同量级；（4）把解析输出作为 agent 的记忆与检索索引（论文将其定位为 agent 感知层），探索解析结果的增量更新与跨文档/跨视频引用；（5）几何关系与知识实体短板可通过更丰富的图形关系描述监督与知识增强训练改善；（6）教师刷新轮次与角色权重的自动化调度；（7）实物翻拍条件下所有系统大幅下滑（本文 68.13 vs clean 82.61），针对采集退化的增强与域适应值得投入；（8）640 帧级长视频在统一时间轴下的推理扩展与滑动窗口解析。
复现评估
复现条件总体较好。代码与权重公开：GitHub（TencentCloudADP/youtu-parsing）与 HuggingFace（tencent/Youtu-Parsing-Omni），5B 单 checkpoint、单推理配置即可测全部十个任务；架构超参完整公开（附录 Table 17：编码器 28 层/宽度 1024、解码器 40 层/宽度 2560、融合层 13/14/27/28、音频 13 token/秒等）。但需注意：（1）训练成本高——预训练 2.24T tokens（Stage 1 独占 1.28T），后训练再加 16B+0.6B+0.6B，全量复现需要大规模算力，一般实验室难以承受；（2）训练数据未完全开源——附录 A 详细描述了各任务标注流水线（文档重标注+投票、PubChem/ChEMBL 渲染 100 万分子对、内部分册音频三 ASR 投票转写等），可部分仿制但工作量大；（3）评测可复现性分层：OmniDocBench/PureDocBench/Video-MME-v2 引官方榜单数，ChemOCR/PDMX-Synth 用官方评测器自跑，OmniParsingBench 用自研工具包（附录 D 给出式 (8)–(17) 的完整指标定义与样本剔除清单），照此可实现可比打分；（4）推理门槛低：5B 稠密、128k 上下文、64 帧，单张 A100 级别即可部署。综合：使用与评测易复现，从零训练难复现。
论文图表
用八类输入示例展示十项任务的输入→输出形态：文档→Markdown/LaTeX/OTSL（含元素框、类别、阅读顺序）；自然图像→带边界框的实体与区域描述；图表→OTSL 表+叙事描述；几何→图元与关系；化学结构→SMILES；乐谱→ABC 记谱；音频→带时间戳的 vocal/nonvocal 分段+ASR+声学描述；音视视频→分段事件时间线+屏幕文本+语音。
直观定义了全模态解析任务与 OmniSchema 的具体输出形态，是理解论文问题设定与统一 schema 的入口。