LLaVA-OneVision-2:迈向下一代感知智能 LLaVA-OneVision-2: Towards Next-Generation Perceptual Intelligence

完整的 codec-stream 流程可拆成六步。第一步:对原始视频用 H.264/HEVC 编码,提取 I 帧(空间完整)、P/B 帧的运动矢量 $d_t$ 与亮度残差 $r_t^Y$,每个 P/B 帧数据包附带字节数 bytes(q) 与时间戳 $\tau(q)$。第二步:按时间分箱(bin 宽度 $\Delta$),累加每个 bin 内的 P/B 帧包字节数得到 $e_b$,并据此计算目标每组码率配额 $\theta = \max(1, K_{tar})$。第三步:按公式 $\min\{i \geq s_k : (i - s_k + 1 \geq L_{max}) \lor (i - s_k + 1 \geq L_{min} \land \sum e_b \geq \theta)\}$ 触发新的时间组边界,再用字典序规则(先选码率谷,再选最近点)在邻域内精炼,得到可变长度 GOP $[s_k, c_k]$。第四步:对每个 GOP 内每个 P 帧计算显著性图 $S_t(x) = M_t(x) + R_t(x)$,其中 $M_t$ 是运动矢量幅度的百分位归一化,$R_t$ 是亮度残差相对零值 128 的绝对偏差再归一化。第五步:对显著性图做 2×2 patch 块聚合得分 $A_{t,i,j} = \sum_{\alpha,\beta \in \{0,1\}} \sum_{x \in P_{2i+\alpha, 2j+\beta}} S_t(x)$,再融合块级码率先验,得到每个候选块的最终得分。第六步:对每帧候选按得分降序排序,按公式 $\hat{A}_z = A_{t,i,j} / \sqrt{1 + \lambda \rho_t(z)}$ 衰减同帧重复候选(防止单帧霸占),计算帧级分配权重 $w_t$,再按累积权重曲线 $F_k(\ell) = \sum_{n=0}^{\ell} w_{t_n} / \sum_n w_{t_n}$ 把 GOP 划分成 $m_k$ 个 P-canvas,每个 P-canvas 从对应时间窗内的高分非重复块中抽取 patch 装入。GOP 的首个 I 帧作为 anchor I-canvas,其余 P-canvas 携带运动残差证据。所有 canvas 的 patch 通过 patch embedding + 共享 3D RoPE 进入 OneVision-Encoder,编码器对 codec-stream 输入使用 $\kappa_u$ 作为 group id 实现 group-visible attention,确保同一 GOP 内的 token 互相可见但跨 GOP 隔离。整个流程在训练与推理时配置相同,无额外学习参数。

技术新颖性体现在三个层面。第一,把 codec 信号从「特征」提升为「分配器」:已有 codec-aware 工作(EMA、Video-LaVIT)把 codec 字段直接当作 token 序列或额外输入分支,而 codec-stream 让 codec 字段决定哪些 pixel-level 位置生成 token,这是观察单位的根本转换。第二,在 patch 块粒度上把空间显著性、块级码率先验、per-frame 衰减三者耦合,并把 2×2 块与 OneVision-Encoder 的 2×2 merge 操作对齐,使得选中块直接对应 4 个空间相干 patch token,避免了 ToMe 类相似合并把不相关 patch 错误合并的问题。第三,把「组(group)」作为一阶注意力可见性单元:通过 $\kappa_u$ 让同一可变长度 GOP 内的 token 共享注意力可见性,不同 GOP 之间隔离,这比固定 4-slot 分组更适配 codec 自身的预测结构。综合起来,这是第一个把「码率流-运动残差-原生分辨率 2×2 块-统一 3D RoPE-group-visible attention」全链路打通并端到端训练的开源 8B MLLM。

独立分析三个具体弱点。弱点一:对静态细节高度敏感的任务存在回归风险。如图 8 所示,codec-stream 在「未来事件预测」上落后帧采样 11.7 分,在「二元交互」上落后 5.6 分。原因在于 codec 用显著性挑选 patch,会把「看似静止但承载隐含语义」的区域(如眼神方向、手部细微姿态)误判为低显著性而丢弃。改进方向:在显著性打分中加入一个轻量级「语义先验」,例如对头部、手部、人脸检测框周围的 patch 强制保留最小覆盖率;或者训练一个二分类器预测「该 patch 是否对下游任务有用」作为残差项。弱点二:对 codec 编码质量的依赖未量化。论文假设输入视频已用 H.264/HEVC 编码,但未对比不同编码参数(CRF、preset、profile)对 codec-stream 性能的影响。如果用户传入的是高 CRF 低码率视频,运动矢量与残差本身就有量化误差,可能误导显著性。改进方向:在数据训练中加入不同 CRF 等级的样本增强,并在推理前提供 codec 质量自检模块,对低质量码流自动回退到帧采样。弱点三:训练数据规模与训练算力透明度不足。论文没有给出总训练 token 数、GPU 小时数、单阶段 epoch 数等关键复现信息,只说明训练混合是 50% codec-patchified video + 37.5% 均匀采样视频 + 12.5% 图像。改进方向:补充训练配置卡片(类似 LLaVA-OneVision-1.5 的 release),尤其是 Stage 4 中 codec 流式 tokenization 引入后是否需要更长 warmup 或更小学习率。

作者在结论中明确指出三个延伸方向:一是把 codec-aligned 范式推向流式感知(streaming perception)与小时级甚至更长的 codec-context 建模,使视觉证据能持续更新、压缩、检索;二是把 codec-stream 与时序定位强化学习(GRPO 类)结合,因为 §9.3 显示 RL 后训练方法(VideoChat-R1、Time-R1、Video-R1)与 codec-stream 是正交的、可叠加的;三是进一步统一多种 codec 信号(本文只用 P 帧码率与 MV+残差),可探索 B 帧的双向预测信号与场景切换检测。基于成果的可延伸方向:第一,把 codec-stream 与 agent 框架结合,使模型在长视频交互中能「按需放大」感兴趣的时间段(类似人类快进-倒带行为);第二,把 2D/3D 空间语料与 codec-stream 联合训练,使空间推理也能受益于事件级视觉预算分配(目前 2D/3D 训练仍用帧采样);第三,设计 codec-aware 评测协议,要求模型同时输出「在哪些时间戳看了哪些 patch」,以提升模型可解释性。

复现评估整体偏正面。开源情况:代码已开源在 https://github.com/EvolvingLMMs-Lab/LLaVA-OneVision-2,模型权重在 https://huggingface.co/lmms-lab-encoder/LLaVA-OneVision-2-8B-Instruct,训练数据在 https://huggingface.co/datasets/mvp-lab/LLaVA-OneVision-2-Data,JumpScore 数据集在 https://huggingface.co/datasets/lmms-lab-encoder/JumpScore,四件套齐全。数据规模:视频字幕 ~8M(从 30s 到 15min 四档分层),2D/3D 空间语料 4M,再加上 LLaVA-OV-1.5 的 85M 中训练数据 + 22M 指令数据 + FineVision 24M,总数据规模在 1 亿级,中小团队获取可行但训练成本高。算力需求:8B 模型 + 多阶段训练(从 30 帧到 768 帧),且 Stage 4 启用 codec-stream 需额外 codec 解码开销,推测需要至少 64 张 H100/A100 训练两周以上,个人研究者难以完整复现。复现难度:中等偏低——架构与训练流程都有清晰公式和分阶段说明,mixed-batch 组成与 frame-budget schedule 在 §5 中明文给出;但 codec 解码端需实现 H.264/HEVC 码率与运动矢量解析(可基于 FFmpeg + 自定义解析器),细节工程量较大。评测:基于 LMMs-Eval 与 lmms-eval-ov2 评测器,默认 prompt 与解码策略,benchmark 选用公开榜单,结果可被独立验证。