OmniJigsaw：通过模态编排式重排序增强全模态推理 OmniJigsaw: Enhancing Omni-Modal Reasoning via Modality-Orchestrated Reordering

实施流程分为 6 步。第一步是数据准备：从 YouCook2、FineVideo 及 LLaVA-Video-178K 的 NextQA 子集共 49,619 条原始视频出发，经过两阶段筛选后得到 8,220 条样本。第二步是启发式信号过滤：使用 MAD 检测视觉静态帧，RMS 与 Spectral Flux 过滤静音与单调噪声，Silero VAD 把语音比例约束在 $[30\%,80\%]$，剔除静态比例超过 70% 的视频。第三步是语义筛选：使用 Qwen2.5-VL-7B-Instruct 以 CoT 形式判断是否具备不可逆的状态转移，剔除外观相似但顺序无关的拼接视频。第四步是样本裁剪：均匀切成 6 段，每段两端各剪掉 5% 时长防止边界帧被简单匹配。第五步是模态编排，按所选策略实例化 $\Phi_{jmi}, \Phi_{sms}, \Phi_{cmm}$。第六步是 GRPO 优化：8 路采样、$1\times10^{-6}$ 学习率、$1\times10^{-2}$ KL 系数，组合奖励 $R_{tot}=R_{rep}+R_{fmt}+\lambda(acc)(w_{pos}R_{pos}+w_{cont}R_{cont})$ 中 $w_{pos}=w_{cont}=0.5$，$\lambda=1.0$ 当完美匹配，否则为 $0.2$。

技术新颖性体现在四个层面。第一，首次把拼图式代理任务从纯视觉扩展到音视频全模态，并把它形式化为置换预测任务。第二，发现并理论化了'双模态捷径现象'：双模态并存的 JMI 反而比单模态 Jigsaw 更差，作者通过 Figure 4 的 CoT 对比直接证实模型在 JMI 下'完全依赖语言线索'，跳过视觉分析。第三，提出两个细粒度编排函数 $\Phi_{sms}$（样本级最大优势选取）与 $\Phi_{cmm}$（片段级 zero masking），后者通过构造信息瓶颈反向逼迫模型进行跨模态互惠。第四，把原本依赖重标注教师模型的全模态数据管线，简化为'轻量信号过滤 + 7B MLLM 语义筛选'的两阶段流水线，使框架可扩展到百万级无标注视频。

独立分析可见五个可改进点。第一，CMM 的零替换 $\mathcal{M}_{cmm}$ 是粗暴的 hard masking，可能破坏端到端的潜在对齐，建议改为按概率 $\sigma$ 注入可学习的 mask token 或低秩噪声向量，让梯度更平滑。第二，依赖 Qwen3-Omni-30B-A3B-Instruct 做 dominance analyzer 与 modality selector，相当于把决策外包给同一个尚未充分强化的基模型，容易出现错误传播——可改为训练一个轻量级、可独立监督的 selector head。第三，组合奖励 $R_{tot}$ 中格式奖励 $R_{fmt}=+0.2$ 与位置奖励 $w_{pos}R_{pos}$ 量级相近，在 CoT 较长时格式奖励的占比过高，会诱导模型学会'快速结束思考'，建议把 $R_{fmt}$ 改为连续值，或与 CoT 长度负相关。第四，离线过滤 +8K 样本量相对 GRPO 的 1,000 step 训练仍偏小，CR 可能欠拟合，建议引入能力感知课程化采样，在训练中段提升拼图难度（如 $N=8$ 或非均匀切片）。第五，Figure 6 显示 JMI 的任务奖励显著高于 CMM，但下游反而更差，这暴露了 reward hacking 风险，可在奖励中加入对'理由文本与最终索引一致性'的语义一致性正则。

作者在 A.4 中给出五个未来方向：扩展到不同模型规模/不同全模态架构、设计能力感知/课程化过滤、引入变长或重叠切分、加入结构感知奖励、探索更广义的自监督全模态代理任务。基于结果的延伸方向还包括：(1) 把 OmniJigsaw 与 Video-R1 的 jigsaw-only 方法做正交融合，验证其可叠加性；(2) 推广到多智能体协作场景，让 LLM agent 通过互相出题与互评提升；(3) 利用 OmniJigsaw 的自动奖励性质，把 OmniJigsaw 当作'奖励模型'辅助训练其他无标注全模态任务；(4) 把片段级 mask 决策对外开放为可控变量，做 persona 化的可控推理；(5) 与 Speech-aware Tokenizer、向量量化的离散模态编码结合，进一步把 jigsaw 推理演化为显式的符号推理。

作者提供了相对透明的实现细节与超参（Table 7），但完整开源情况需查阅项目主页 https://aim-uofa.github.io/OmniJigsaw。复现所需的成本概览：(1) 硬件：8 块 NVIDIA H200 GPU，训练 1,000 step 约需若干天，按云端 H200 单价估算在数千到上万美元量级；(2) 数据：49,619 原始视频来自公开 YouCook2、FineVideo 与 LLaVA-Video-178K 的 NextQA 子集，过滤逻辑与阈值（$\tau_v=5.0$、$-40$dB、SF 方差 $\tau_{sf}=0.5$、VAD 区间 $[0.3,0.8]$）均给出，理论上可复现 8,220 条样本；(3) 基座与算法：依赖 Qwen3-Omni-30B-A3B-Instruct、Qwen2.5-VL-7B-Instruct 与 VeRL 框架，皆为公开组件；(4) 评测：15 个基准的官方划分与 Prompt 模板在附录 A.5 全部列出，greedy 解码 + CoT 设置明确。整体复现难度中等偏高，主要瓶颈集中在大规模 GPU 算力与全模态推理栈的部署经验，而非算法细节。