MiniCPM-o 4.5：迈向实时全双工全模态交互 MiniCPM-o 4.5: Towards Real-Time Full-Duplex Omni-Modal Interaction

流程分四步：1) Omni-Flow 序列化——每 1.0s 取 chunk；env-visual 经视觉编码器编码为 64 token/切片，env-audio 经 Whisper+MLP 压缩至 10 token/s；输出端先预测 LS 控制位再决定听或说，组间插显式边界 token。2) TAIL——第 k 个 chunk 按累积播放进度自适应决定生成 text token 数，使该 chunk 文本对应语音播放结束时接近 $kt$ 边界；末尾少量文本的语音延后到下一 chunk 作 look-ahead。3) 四阶段训练——Speech Pretraining 训 audio projector 与 speech decoder；Joint Pretraining 混三类数据并用数据并行维持固定模态比；SFT 分辨率 0.2-0.4MP、帧率 1-5FPS；最后 GRPO+平滑长度奖励+RLAIF-V 做 RL，前 480 步关闭长度奖励。4) llama.cpp-omni 部署——INT4 量化下 RTX 4090 上 RTF 0.21、内存 11GB。

技术新颖性体现在三个层面。范式层：首次把全双工当成可学习的『时间对齐流式问题』而非工程拼接，并给出 LS 控制、显式边界、1.0s chunk 的消融最优组合。架构层：提出『LLM 主干吐 hidden state + 轻量 Llama 解码器吐 speech token』分工，让 9B 模型同时拥有 Qwen3-8B 的语言能力和 25 token/s 语音速率，避免了 GLM-4-Voice 等『LLM 吐 speech token』方案的效率-能力双输。数据/训练层：构建含时间戳对齐的全双工音视频数据，并通过数据并行 rank 分配维持固定模态比以稳定联合训练；RL 中提出比 Kimi-K1.5 更平滑的长度奖励公式 $r_{len} = \min(0, s_i) \cdot (0.5 - \frac{\ell_i - \ell_{min}}{\ell_{max} - \ell_{min}} \cdot \min(1, \frac{\ell_{max} - \ell_{min}}{\tau}))$，兼顾压缩率与准确率。

独立分析可识别的弱点有三处。第一，数据效率问题：模型训练依赖数百万小时无标签语音 + 海量音视频，对中等规模实验室门槛高，且文中未披露具体小时数和计算量，复现成本难以估算。第二，TAIL 的语种权衡：动态文本交织虽让语音与上下文对齐，但 Table 10 显示 English WER 从固定文本的 2.38 退化到 3.93，说明实时性与发音质量存在结构冲突，对中英混读场景尤其不利。第三，主动行为评估缺位：论文只展示了定性 demo 而没有『主动发起恰当评论/提醒』的定量基准，难以判断 Proactive 是真实能力还是 cherry-picked 案例。改进方向分别是：1）公开小规模训练子集 + 蒸馏版本；2）引入 per-token duration predictor 替代固定 look-ahead；3）建立含触发时机和内容合适度的标注基准。

作者方向与可延伸方向。官方方向：1）补齐长程流式鲁棒性，包括错误累积抑制与回滚机制；2）解决全模态模式的语音不稳定，尤其是跨语言切换；3）增强主动行为的上下文规划能力。可延伸方向：1）把 Omni-Flow 的『时间对齐序列化』推广到多 agent 协同场景，让多个模型在同一时间轴上交错发言；2）把 chunk 粒度做成可学习而非固定 1.0s，使模型在静态场景自动放大窗口、动态场景自动缩小以省算力；3）探索 Omni-Flow 与 MoE 主干的耦合，把『听/说/看』对应不同专家；4）把 RL 中的平滑长度奖励思想迁移到其他长度敏感任务（代码摘要、检索增强生成），做系统化的 reward shaping 复现。

复现友好度中等偏上。优点：模型、代码与 demo 均已开源（论文首页给出 MiniCPM-o 4.5 Model/Code/Demo 链接），架构细节（附录 A）、数据 pipeline、消融实验均较完整，vLLM 与 llama.cpp-omni 两套推理框架明确给出硬件配置（RTX 4090、DGX Spark），INT4 量化下 11GB 内存即可运行。难点：1）训练数据规模和来源未完全披露（millions of hours），小团队难以复现预训练；2）四阶段训练（Speech Pretraining → Joint Pretraining → SFT → GRPO+RLAIF-V）需大量 GPU 小时，文中未给单阶段 FLOPs；3）GRPO 的长度奖励公式虽给出但 $\ell_{min}$、$\ell_{max}$、$\tau$ 的具体数值未说明，调参成本较高。整体而言，推理与微调易复现，从零预训练复现难。