← 返回 2026-02-05

ERNIE 5.0：原生统一多模态自回归基础模型技术报告 ERNIE 5.0 Technical Report

Haifeng Wang, Hua Wu, Tian Wu, Yu Sun, Jing Liu, Dianhai Yu, Yanjun Ma, Jingzhou He, Zhongjun He, Dou Hong, Qiwen Liu, Shuohuan Wang, Junyuan Shang, Zhenyu Zhang, Yuchen Ding, Jinle Zeng, Jiabin Yang, Liang Shen, Ruibiao Chen, Weichong Yin, Siyu Ding, Dai Dai, Shikun Feng, Siqi Bao, Bolei He, Yan Chen, Zhenyu Jiao, Ruiqing Zhang, Zeyu Chen, Qingqing Dang, Kaipeng Deng, Jiajun Jiang, Enlei Gong, Guoxia Wang, Yanlin Sha, Yi Liu, Yehan Zheng, Weijian Xu, Jiaxiang Liu, Zengfeng Zeng, Yingqi Qu, Zhongli Li, Zhengkun Zhang, Xiyang Wang, Zixiang Xu, Xinchao Xu, Zhengjie Huang, Dong Wang, Bingjin Chen, Yue Chang, Xing Yuan, Shiwei Huang, Qiao Zhao, Xinzhe Ding, Shuangshuang Qiao, Baoshan Yang, Bihong Tang, Bin Li, Bingquan Wang, Binhan Tang, Binxiong Zheng, Bo Cui, Bo Ke, Bo Zhang, Bowen Zhang, Boyan Zhang, Boyang Liu, Caiji Zhang, Can Li, Chang Xu, Chao Pang, Chao Zhang, Chaoyi Yuan, Chen Chen, Cheng Cui, Chenlin Yin, Chun Gan, Chunguang Chai, Chuyu Fang, Cuiyun Han, Dan Zhang, Danlei Feng, Danxiang Zhu, Dong Sun, Dongbo Li, Dongdong Li, Dongdong Liu, Dongxue Liu, Fan Ding, Fan Hu, Fan Li, Fan Mo, Feisheng Wu, Fengwei Liu, Gangqiang Hu, Gaofeng Lu, Gaopeng Yong, Gexiao Tian, Guan Wang, Guangchen Ni, Guangshuo Wu, Guanzhong Wang, Guihua Liu, Guishun Li, Haibin Li, Haijian Liang, Haipeng Ming, Haisu Wang, Haiyang Lu, Haiye Lin, Han Zhou, Hangting Lou, Hanwen Du, Hanzhi Zhang, Hao Chen, Hao Du, Hao Liu, Hao Zhou, Haochen Jiang, Haodong Tian, Haoshuang Wang, Haozhe Geng, Heju Yin, Hong Chen, Hongchen Xue, Hongen Liu, Honggeng Zhang, Hongji Xu, Hongwei Chen, Hongyang Zhang, Hongyuan Zhang, Hua Lu, Huan Chen, Huan Wang, Huang He, Hui Liu, Hui Zhong, Huibin Ruan, Jiafeng Lu, Jiage Liang, Jiahao Hu, Jiajie Yang, Jialin Li, Jian Chen, Jian Wu, Jianfeng Yang, Jianguang Jiang, Jianhua Wang, Jianye Chen, Jiaodi Liu, Jiarui Zhou, Jiawei Lv, Jiaxin Zhou, Jiaxuan Liu, Jie Han, Jie Sun, Jiefan Fang, Jihan Liu, Jihua Liu, Jing Hu, Jing Qian, Jing Yan, Jingdong Du, Jingdong Wang, Jingjing Wu, Jingyong Li, Jinheng Wang, Jinjin Li, Jinliang Lu, Jinlin Yu, Jinnan Liu, Jixiang Feng, Jiyi Huang, Jiyuan Zhang, Jun Liang, Jun Xia, Jun Yu, Junda Chen, Junhao Feng, Junhong Xiang, Junliang Li, Kai Liu, Kailun Chen, Kairan Su, Kang Hu, Kangkang Zhou, Ke Chen, Ke Wei, Kui Huang, Kun Wu, Kunbin Chen, Lei Han, Lei Sun, Lei Wen, Linghui Meng, Linhao Yu, Liping Ouyang, Liwen Zhang, Longbin Ji, Longzhi Wang, Meng Sun, Meng Tian, Mengfei Li, Mengqi Zeng, Mengyu Zhang, Ming Hong, Mingcheng Zhou, Mingming Huang, Mingxin Chen, Mingzhu Cai, Naibin Gu, Nemin Qiu, Nian Wang, Peng Qiu, Peng Zhao, Pengyu Zou, Qi Wang, Qi Xin, Qian Wang, Qiang Zhu, Qianhui Luo, Qianwei Yang, Qianyue He, Qifei Wu, Qinrui Li, Qiwen Bao, Quan Zhang, Quanxiang Liu, Qunyi Xie, Rongrui Zhan, Rufeng Dai, Rui Peng, Ruian Liu, Ruihao Xu, Ruijie Wang, Ruixi Zhang, Ruixuan Liu, Runsheng Shi, Ruting Wang, Senbo Kang, Shan Lu, Shaofei Yu, Shaotian Gong, Shenwei Hu, Shifeng Zheng, Shihao Guo, Shilong Fan, Shiqin Liu, Shiwei Gu, Shixi Zhang, Shuai Yao, Shuang Zhang, Shuangqiao Liu, Shuhao Liang, Shuwei He, Shuwen Yang, Sijun He, Siming Dai, Siming Wu, Siyi Long, Songhe Deng, Suhui Dong, Suyin Liang, Teng Hu, Tianchan Xu, Tianliang Lv, Tianmeng Yang, Tianyi Wei, Tiezhu Gao, Ting Sun, Ting Zhang, Tingdan Luo, Wei He, Wei Luan, Wei Yin, Wei Zhang, Wei Zhou, Weibao Gong, Weibin Li, Weicheng Huang, Weichong Dang, Weiguo Zhu, Weilong Zhang, Weiqi Tan, Wen Huang, Wenbin Chang, Wenjing Du, Wenlong Miao, Wenpei Luo, Wenquan Wu, Xi Shi, Xi Zhao, Xiang Gao, Xiangguo Zhang, Xiangrui Yu, Xiangsen Wang, Xiangzhe Wang, Xianlong Luo, Xianying Ma, Xiao Tan, Xiaocong Lin, Xiaofei Wang, Xiaofeng Peng, Xiaofeng Wu, Xiaojian Xu, Xiaolan Yuan, Xiaopeng Cui, Xiaotian Han, Xiaoxiong Liu, Xiaoxu Fei, Xiaoxuan Wu, Xiaoyu Wang, Xiaoyu Zhang, Xin Sun, Xin Wang, Xinhui Huang, Xinming Zhu, Xintong Yu, Xinyi Xu, Xinyu Wang, Xiuxian Li, XuanShi Zhu, Xue Xu, Xueying Lv, Xuhong Li, Xulong Wei, Xuyi Chen, Yabing Shi, Yafeng Wang, Yamei Li, Yan Liu, Yanfu Cheng, Yang Gao, Yang Liang, Yang Wang, Yang Yang, Yanlong Liu, Yannian Fu, Yanpeng Wang, Yanzheng Lin, Yao Chen, Yaozong Shen, Yaqian Han, Yehua Yang, Yekun Chai, Yesong Wang, Yi Song, Yichen Zhang, Yifei Wang, Yifeng Guo, Yifeng Kou, Yilong Chen, Yilong Guo, Yiming Wang, Ying Chen, Ying Wang, Yingsheng Wu, Yingzhan Lin, Yinqi Yang, Yiran Xing, Yishu Lei, Yixiang Tu, Yiyan Chen, Yong Zhang, Yonghua Li, Yongqiang Ma, Yongxing Dai, Yongyue Zhang, Yu Ran, Yu-Wen Michael Zhang, Yuang Liu, Yuanle Liu, Yuanyuan Zhou, Yubo Zhang, Yuchen Han, Yucheng Wang, Yude Gao, Yuedong Luo, Yuehu Dong, Yufeng Hu, Yuhui Cao, Yuhui Yun, Yukun Chen, Yukun Gao, Yukun Li, Yumeng Zhang, Yun Fan, Yun Ma, Yunfei Zhang, Yunshen Xie, Yuping Xu, Yuqin Zhang, Yuqing Liu, Yurui Li, Yuwen Wang, Yuxiang Lu, Zefeng Cai, Zelin Zhao, Zelun Zhang, Zenan Lin, Zezhao Dong, Zhaowu Pan, Zhaoyu Liu, Zhe Dong, Zhe Zhang, Zhen Zhang, Zhengfan Wu, Zhengrui Wei, Zhengsheng Ning, Zhenxing Li, Zhenyu Li, Zhenyu Qian, Zhenyun Li, Zhi Li, Zhichao Chen, Zhicheng Dong, Zhida Feng, Zhifan Feng, Zhihao Deng, Zhijin Yu, Zhiyang Chen, Zhonghui Zheng, Zhuangzhuang Guo, Zhujun Zhang, Zhuo Sun, Zichang Liu, Zihan Lin, Zihao Huang, Zihe Zhu, Ziheng Zhao, Ziping Chen, Zixuan Zhu, Ziyang Xu, Ziyi Liang, Ziyuan Gao 📅 2026-02-04 👍 269 2026-07-13 08:35
多模态模型 弹性训练 强化学习 混合专家模型 自回归生成
arXiv HuggingFace PDF

首个万亿参数级统一多模态自回归模型，支持文本、图像、视频、音频的理解与生成

前置知识

混合专家模型 (Mixture-of-Experts, MoE)

MoE是一种稀疏激活的神经网络架构，由多个独立的'专家'子网络和一个路由器组成。对于每个输入token，路由器根据token的表示选择性地激活Top-K个专家进行处理，而非激活所有参数。这种设计允许模型在保持较低计算成本的同时大幅扩展参数容量。在ERNIE 5.0中，采用超稀疏MoE架构，激活率低于3%，实现了万亿参数规模下高效的训练和推理。

ERNIE 5.0的核心架构就是超稀疏MoE，理解MoE的工作原理对于理解模型如何在万亿参数规模下保持计算效率至关重要

自回归序列建模 (Autoregressive Sequence Modeling)

自回归模型通过逐步预测序列中的下一个token来生成输出。给定前文tokens $x_1, x_2, ..., x_{t-1}$，模型预测下一个token $x_t$ 的概率分布 $p(x_t | x_1, ..., x_{t-1})$。ERNIE 5.0将这种范式扩展到多模态场景，使用统一的Next-Group-of-Tokens Prediction目标，使文本、图像、视频、音频都在同一自回归框架下进行训练。

这是ERNIE 5.0实现多模态统一的核心技术路线，不同于传统的多模态模型需要为不同模态设计不同的生成目标

模态无关的专家路由 (Modality-Agnostic Expert Routing)

传统MoE模型通常需要为不同模态手动分配专家或设计模态特定的路由策略。ERNIE 5.0采用模态无关的路由机制，路由器基于统一的token表示而非模态标识符来做出路由决策，将不同模态的token分派到共享的专家池中。这种设计消除了启发式模态特定专家分配的需求，让专家能够根据任务需求自发地形成专业化分工。

这是ERNIE 5.0区别于前代模型的关键创新，使得多模态知识能够自然地在专家间共享和泛化

弹性训练 (Elastic Training)

弹性训练是一种在单次预训练过程中同时优化多个子网络的训练策略。通过在训练时随机采样不同深度、宽度和稀疏度的子模型，使得一个大模型能够灵活地产生多个不同规模的部署版本。ERNIE 5.0在三个维度上实现弹性：弹性深度（随机调整活跃层数）、弹性宽度（随机调整专家总数）、弹性稀疏度（随机调整每token激活的专家数）。

弹性训练是ERNIE 5.0解决大规模模型部署灵活性的核心方案，避免了传统'训练后压缩'范式的高昂成本

Next-Group-of-Tokens Prediction

ERNIE 5.0提出的统一生成目标，将不同模态的生成都形式化为'预测下一组token'的任务。文本使用标准的Next-Token Prediction (NTP)配合Multi-Token Prediction (MTP)；视觉生成使用Next-Frame-and-Scale Prediction (NFSP)，在空间和时间维度上进行自回归；音频生成使用Next-Codec Prediction (NCP)，以粗到细的方式预测层级音频编码。

这是ERNIE 5.0实现真正统一多模态训练的理论基础，避免了为不同模态设计不一致的优化目标

研究动机

当前大多数多模态大模型采用'后期融合'架构，即在预训练的语言模型基础上添加模态特定的解码器或生成器。这种设计存在几个严重问题：第一，多模态生成与理解被解耦，限制了跨模态交互的深度；第二，模态特定的非自回归目标阻碍了深层跨模态整合，常常迫使模型在多模态整合和核心语言性能之间做出权衡；第三，后期融合方法存在'能力跷跷板'问题，即增强一个模态的能力往往会削弱其他模态的性能。例如，ERNIE 4.5等模型需要为视觉和语言分别设计路由策略，当涉及超过两种模态时，启发式的模态特定专家分配变得非常困难。

本文的目标是ERNIE 5.0的目标是设计一个原生统一的自回归框架，能够原生支持多模态理解和生成，同时保持强大的单模态能力，并随着模型和数据规模的增长而有效扩展。具体而言，模型需要：(1) 从头开始统一训练所有模态，而非在预训练语言模型上添加组件；(2) 使用单一的优化目标处理文本、图像、视频和音频；(3) 支持万亿参数规模下的高效训练和灵活部署。

与已有工作不同的是，ERNIE 5.0的独特切入角度在于三个方面：首先，采用'从头训练'而非'后期增强'策略，所有模态从训练一开始就同时参与，避免了能力跷跷板问题；其次，提出模态无关的专家路由机制，让路由器基于统一token表示而非模态标识符做决策，让专家根据任务需求自发形成专业化；第三，引入弹性训练范式，单次预训练即可产出一系列不同规模的子模型，解决了万亿参数模型的部署灵活性问题。这种设计哲学的核心是：与其为不同模态设计不同的解决方案，不如构建一个统一的框架让所有模态自然地协同进化。

核心方法

ERNIE 5.0的整体架构可以类比为一个'多语言翻译工厂'：原材料（文本、图像、视频、音频）首先被各自的'翻译器'（tokenizer）转换成统一格式的token序列，然后进入一个巨大的'加工车间'（统一Transformer骨干网络），由智能调度系统（模态无关路由器）将任务分配给最合适的'专家工人'，最终产出各种形式的'产品'（理解结果或生成内容）。技术路线分为四个层次：(1) 统一的自回归骨干网络，基于超稀疏MoE架构，所有模态共享同一参数空间；(2) 视觉和音频的专用tokenization管线，将原始信号转换为统一token序列；(3) 多阶段预训练策略，包括8K、32K、128K上下文长度的渐进扩展；(4) 后训练管线，结合监督微调和统一多模态强化学习。

ERNIE 5.0的核心创新在于三个'统一'：统一的训练目标、统一的参数空间、统一的路由机制。与GPT-4V等模型需要为不同模态设计不同组件不同，ERNIE 5.0将所有模态的生成都形式化为Next-Group-of-Tokens Prediction，使得文本、图像、视频、音频在同一个序列预测框架下进行训练。最关键的区别是模态无关的专家路由：传统方法如ERNIE 4.5需要为不同模态手动分配专家（modality-isolated routing），而ERNIE 5.0让路由器基于统一token表示自动决策，这不仅简化了设计，更重要的是让专家能够自发地根据任务需求而非模态标签形成专业化分工。实验表明，尽管路由机制是模态无关的，专家仍然展现出清晰的模态特化模式，证明这种'自底向上'的专业化比'自顶向下'的人工分配更有效。

方法步骤详情

ERNIE 5.0的训练流程分为以下几个关键步骤： (1) 视觉Tokenization：采用Next-Frame-and-Scale Prediction (NFSP)范式，首先训练一个因果2D多尺度图像tokenizer，然后将其扩展为因果3D卷积tokenizer以统一图像和视频。使用逐位量化策略将视觉潜在表示量化为一组bit-codes，训练过程中采用渐进式tokenizer切换策略，从低比特（小词汇表）逐步过渡到高比特（大词汇表）。 (2) 音频Tokenization：使用基于残差向量量化(RVQ)的codec-style tokenizer，采样率为12.5Hz。第一个token显式编码高级音频语义，通过从预训练Whisper模型蒸馏知识来确保其捕获丰富的语义信息，其余token编码渐进精细的残差声学信息。 (3) 视觉理解：提出双路径混合表示，集成CNN提取的感知特征和ViT编码的语义特征。关键创新是Attention-based Patch Merger，使用多头自注意力机制融合CNN和ViT特征，而非简单的MLP适配器，这在文档和图表理解任务上带来了显著提升。 (4) 音频理解与生成：引入深度自回归架构（Next-Codec Prediction），将残差音频token的预测分布在Transformer层之间，每层建模特定粒度级别的音频信息，实现从粗到细的层级预测。 (5) 统一骨干网络：采用超稀疏MoE架构，激活率低于3%，使用无辅助损失的负载均衡策略。所有模态token在共享的Transformer层中处理，由模态无关路由器分配到共享专家池。 (6) 弹性训练：在预训练过程中沿三个正交维度引入结构灵活性——弹性深度（75%概率使用全深度，25%概率使用缩减深度）、弹性宽度（80%概率使用全专家，20%概率使用随机子集）、弹性稀疏度（80%概率使用默认top-k，20%概率使用更小的k值）。 (7) 后训练：包括监督微调(SFT)和统一多模态强化学习(UM-RL)两个阶段。针对RL训练中的挑战，开发了无偏重放缓冲区(U-RB)、多粒度重要性采样裁剪(MISC)、已学正样本掩码(WPSM)、自适应提示强化学习(AHRL)等技术。

技术新颖性

ERNIE 5.0的技术新颖性体现在以下几个方面： 首先，它是首个在生产规模上实现万亿参数统一自回归多模态模型的系统，支持理解和生成的原生统一，而非通过后期融合或模块拼接。这种从头训练的方式从根本上解决了'能力跷跷板'问题。 其次，模态无关的专家路由机制具有重要的理论意义。实验数据显示，尽管路由器不知道token来自哪个模态，专家激活模式仍然呈现出清晰的模态特化：图像和视频理解任务的专家激活高度重叠（IoU高达0.98），而理解任务和生成任务之间的重叠相对较低。这证明了'任务需求驱动的专家专业化'比'人工分配的模态特化'更有效。 第三，弹性训练范式将Once-For-All思想扩展到预训练阶段，是首次在万亿参数模型上验证这种方案的可行性。关键发现是，使用仅53.7%的激活参数和35.8%的总参数，弹性变体仍能达到与完整模型相当的性能（75.17 vs 75.55平均分）。 第四，NFSP范式将图像生成视为'下一尺度预测'问题，视频生成进一步扩展为'下一帧+下一尺度预测'，这种解耦空间和时间建模的方式在概念上是新颖的。 最后，针对大规模多模态RL训练的系列技术（U-RB、MISC、WPSM、AHRL）解决了超稀疏MoE架构下RL训练的独特挑战，这些技术的组合应用在业界尚属首次。

ERNIE 5.0 architecture
Figure 1: ERNIE 5.0 architecture
Overview of the unified vision understanding and generation architecture
Figure 2: Overview of the unified vision understanding and generation architecture
Overview of the depth-wise architecture for audio understanding and generation
Figure 3: Overview of the depth-wise architecture for audio understanding and generation
Overview of the elastic training framework in ERNIE 5.0
Figure 4: Overview of the elastic training framework in ERNIE 5.0
Visualization of the Unbiased Replay Buffer (U-RB) in ERNIE 5.0
Figure 5: Visualization of the Unbiased Replay Buffer (U-RB) in ERNIE 5.0
Visualization of expert utilization patterns across modalities and tasks
Figure 8: Visualization of expert utilization patterns across modalities and tasks
Visualization of the load balancing across layers and modalities
Figure 10: Visualization of the load balancing across layers and modalities

实验结果

ERNIE 5.0在文本、视觉、音频三大模态的广泛基准测试中展现出强大且均衡的性能： 在语言基准测试中，预训练ERNIE 5.0-Base相比DeepSeek V3.2-Exp-Base和Kimi K2-Base展现出明显优势。在知识密集型任务上，PreciseWikiQA达到74.48（对比DS的52.60和Kimi的61.66），ChineseSimpleQA达到90.09（对比DS的74.19和Kimi的78.29）。在通用推理任务上，MMLU-Pro达到75.58，MMLU达到90.58，BBH达到75.69。在STEM任务上，MATH (CoT)达到73.89，GPQA-Diamond达到57.30。在编程任务上，LiveCodeBench v6达到31.94，HumanEval+达到80.86。后训练模型在SimpleQA达到74.01，ChineseSimpleQA达到86.03，在MultiChallenge上达到65.98（最佳），Multi-IF达到85.56（最佳）。 在视觉基准测试中，ERNIE 5.0在图像生成GenEval上达到90.1，与最先进的商业系统（Nano-Banana Pro 89.0、Qwen-Image 91.0）相当。在视频生成VBench上，语义得分83.40达到最佳，超过Veo3的82.49。视觉理解方面，DocVQA达到95.45，OCRBench达到878，ChartQA达到87.80，CountBench达到96.54。 在音频基准测试中，ERNIE 5.0在AISHELL-1上WER仅0.31%（最佳），在多个ASR基准上展现出稳健的跨语言性能。在VoiceBench的MMSU上达到84.68，在OpenBookQA上达到92.97。语音生成方面，SEED-TTS测试集上中文WER为1.35，英文WER为1.54，与Qwen3-Omni相当。 弹性训练的关键发现：将路由top-k减少到25%时，解码速度提升超过15%，而准确率下降很小。完全弹性配置下，使用仅53.7%激活参数和35.8%总参数的模型在ZebraLogic上甚至略优于完整模型（95.20 vs 95.00），在MMMU上也达到75.11 vs 74.11。

Comparison of pre-trained models on various language benchmarks
Table 1: Comparison of pre-trained models on various language benchmarks
Evaluation of post-trained models across a wide range of language benchmarks
Table 2: Evaluation of post-trained models across a wide range of language benchmarks
Evaluation of post-trained models across a wide range of vision benchmarks
Table 3: Evaluation of post-trained models across a wide range of vision benchmarks
Evaluation of our pre-trained model across a wide range of vision benchmarks
Table 4: Evaluation of our pre-trained model across a wide range of vision benchmarks
Comparison of the image generation ability on GenEval against specialized models
Table 5: Comparison of the image generation ability on GenEval against specialized models
Comparison of the video generation ability on VBench against specialized models
Table 6: Comparison of the video generation ability on VBench against specialized models
Comparison of the automatic speech recognition, speech-to-text dialogue, and audio understanding abilities
Table 7: Comparison of the automatic speech recognition, speech-to-text dialogue, and audio understanding abilities
Comparison of the text-to-speech ability on SEED-TTS against specialized models
Table 8: Comparison of the text-to-speech ability on SEED-TTS against specialized models
Validation loss under elastic depth training and inference configurations
Table 9: Validation loss under elastic depth training and inference configurations
Validation loss under elastic width configurations
Table 10: Validation loss under elastic width configurations
Validation loss under different routing sparsity levels
Table 11: Validation loss under different routing sparsity levels
Performance comparison between the full ERNIE 5.0-Exp and its elastic variants
Table 12: Performance comparison between the full ERNIE 5.0-Exp and its elastic variants
Training dynamics of applying JMixedIcePop and JGSPOIcePop to conduct RL training on ERNIE 5.0
Figure 6: Training dynamics of applying JMixedIcePop and JGSPOIcePop to conduct RL training on ERNIE 5.0
查看结构化数据
任务指标本文基线提升
知识问答 (SimpleQA) Accuracy 74.01 Gemini 3-Pro: 69.33, GPT-5: 51.30 相对Gemini 3-Pro提升6.8%
知识问答 (ChineseSimpleQA) Accuracy 86.03 Gemini 3-Pro: 84.08, GPT-5: 75.10 相对Gemini 3-Pro提升2.3%
指令遵循 (MultiChallenge) Score 65.98 Gemini 3-Pro: 62.50, GPT-5: 58.30 达到最佳，相对Gemini 3-Pro提升5.6%
多指令遵循 (Multi-IF) Score 85.56 Gemini 3-Pro: 81.15, GPT-5: 70.00 达到最佳，相对Gemini 3-Pro提升5.4%
图像生成 (GenEval) Score 90.1 Nano-Banana Pro: 89.0, GPT-Image: 84.0 超越Nano-Banana Pro 1.2%
视频语义生成 (VBench-Semantic) Score 83.40 Veo3: 82.49, Wan2.1: 76.11 达到最佳，相对Veo3提升1.1%
语音识别 (AISHELL-1) WER (↓) 0.31 Kimi Audio: 0.60, Qwen3-Omni: 0.84 达到最佳，WER降低48%相对Kimi Audio
Agent任务 (ACEBench-en) Score 87.70 Gemini 3-Pro: 80.90, GPT-5: 79.30 达到最佳，相对Gemini 3-Pro提升8.4%

局限与改进

ERNIE 5.0存在以下几个方面的局限性： 首先，在最具挑战性的推理基准上，模型与Gemini 3-Pro等最先进模型仍存在一定差距。例如在AIME 2025上ERNIE 5.0得分89.06，而Gemini 3-Pro达到95.00；在HMMT 2025上差距更大（79.58 vs 93.33）。这表明在极端推理或竞赛风格任务上，ERNIE 5.0更注重稳健和均衡的能力发展，而非激进地优化极端推理能力。 其次，论文承认'能力跷跷板'问题虽然通过从头训练得到缓解，但并未完全消除。多模态理解和生成之间的内在张力仍然存在，特别是在需要同时保持高语义一致性和精细视觉细节的场景中。 第三，弹性训练虽然在实验中展现出良好效果，但论文主要在小规模MoE模型（454M激活参数，3.2B总参数）上进行了详细的消融实验，在万亿参数规模上的系统性分析相对有限。使用53.7%激活参数的弹性变体在LiveCodeBench v6上下降了2.42个百分点（70.93 vs 73.35），说明在某些任务上性能损失仍然显著。 第四，音频生成能力相比专门的TTS系统仍有差距。在SEED-TTS基准上，ERNIE 5.0的中文WER为1.35，而CosyVoice 3达到0.71，说明统一模型在专业音频生成任务上还未完全追上专门优化的系统。 最后，论文未详细讨论模型的幻觉问题、安全性评估以及在长尾场景下的鲁棒性，这些都是大规模多模态模型在实际部署中需要重点关注的问题。

独立分析的弱点

基于对论文的深入分析，我识别出以下几个主要弱点及对应的改进方向： (1) 极端推理能力不足：ERNIE 5.0在AIME、HMMT等竞赛级数学推理任务上与Gemini 3-Pro存在明显差距。这可能源于训练策略更侧重均衡性而非极端优化。改进方向可以包括：引入更多高质量数学推理数据、采用课程学习策略逐步增加推理难度、或针对数学推理设计专门的强化学习阶段。 (2) 视觉理解与生成的专家重叠较低：论文Figure 9显示视觉理解和生成任务之间的专家IoU相对较低（约0.22-0.25），这意味着模型在同时处理理解和生成时可能存在知识隔离。改进方向可以探索：设计鼓励理解和生成任务间知识共享的辅助损失、或在训练数据中增加更多理解和生成的配对样本。 (3) 弹性训练的性能下降在不同任务上不均匀：Table 12显示弹性变体在LiveCodeBench上下降2.42个百分点，而在ZebraLogic上反而提升0.20个百分点。这种不一致性表明弹性训练对不同任务类型的泛化能力存在差异。改进方向可以是：根据任务特性设计任务感知的弹性策略、或在弹性训练过程中引入任务特定的采样权重。 (4) 后训练RL效率问题：论文提到rollout生成占总训练时间的90%以上，虽然U-RB缓解了长尾问题，但在万亿参数规模上RL训练仍然极其昂贵。改进方向可以探索：更高效的离线RL方法、基于世界模型的模拟rollout、或分层强化学习策略。 (5) 缺乏对模型可解释性的深入分析：虽然论文提供了专家路由的可视化，但对于模型如何在不同模态间进行推理、决策过程如何等缺乏深入分析。改进方向可以包括：引入注意力可视化分析、设计探针任务研究跨模态表示学习。

未来方向

论文作者和基于现有成果可延伸的未来研究方向包括： (1) 弹性训练的进一步扩展：论文提到在表示维度（hidden size）上的弹性是正交的设计，可以自然地作为未来扩展纳入。这将使模型能够同时在深度、宽度、稀疏度和表示维度四个维度上进行弹性调整，提供更细粒度的部署灵活性。 (2) 层感知的专家分配：基于论文对专家路由行为的分析，层感知的专家分配、自适应平衡策略和模态共享专家配置可能成为构建下一代原生多模态架构的有效原则。不同层的专家专业化模式不同，可以根据层的特性设计更优的路由策略。 (3) 复杂长时推理的增强：论文承认在最具挑战性的推理基准上存在差距，未来工作将'进一步利用架构设计和先进训练策略来更好地支持复杂的长时推理'。这可能包括引入树搜索推理、设计专门的推理记忆模块等。 (4) 更多模态的统一：当前模型支持文本、图像、视频、音频四种模态，未来可以探索将3D点云、触觉信号、传感器数据等更多模态纳入统一框架，构建真正的'全能'基础模型。 (5) 高效推理优化：虽然弹性训练提供了部署灵活性，但在实际部署中还需要结合量化、投机解码、KV缓存优化等技术进一步提升推理效率。 (6) 安全性和对齐：随着模型能力的增强，多模态场景下的安全性和对齐问题变得更加复杂，需要研究跨模态的有害内容检测、幻觉缓解等技术。

复现评估

ERNIE 5.0的复现评估如下： 开源情况：论文是一份技术报告，详细描述了模型架构、训练策略和实验结果，但**未提供模型权重、训练代码或预训练数据**。这意味着外部研究者无法直接复现或使用该模型，只能参考其技术思路进行类似工作。 数据方面：论文描述了预训练数据的组成（多语言网页、书籍、科学出版物、代码仓库、图文对、视频文本对、音频文本对等），但未公开具体的数据集、数据配比或数据处理流程。数据规模描述为'数万亿文本token和多模态实例'，缺乏精确数字。 算力需求：论文提到使用了混合并行策略（4路张量并行、12路流水线并行、64路专家并行、ZeRO-1数据并行），但未披露具体的GPU数量、训练时长或总计算量。基于万亿参数规模和混合并行配置，可以推断需要数千张高端GPU训练数月。 技术细节：论文提供了相当详细的技术描述，包括超参数设置（学习率、批量大小调度、RoPE基数等）、弹性训练的概率配置、RL训练的各种技巧等。这些细节有助于研究者理解核心思想并进行小规模验证。 复现难度：由于缺乏开源代码和数据，完整复现ERNIE 5.0极其困难。但论文的核心技术创新（模态无关路由、弹性训练、NFSP、NCP等）可以在小规模MoE模型上进行验证，论文的Table 9-11也提供了小规模消融实验作为参考。研究者可以基于开源的MoE框架（如Megatron-LM、DeepSpeed-MoE）实现简化版本来验证核心思想。

论文图表

Figure 7: Overview of the Adaptive Hint-based Reinforcement Learning (AHRL) in ERNIE 5.0

该图展示了自适应提示强化学习的工作原理。上部分是原始prompt，下部分是增强后的prompt，包含思考骨架(think skeleton)。AHRL将复杂问题分解为中间步骤，通过逐步揭示思考过程来引导模型学习。随着训练进行和模型性能提升，揭示的提示比例逐渐减少，最终过渡到完全自主探索。

这张图展示了ERNIE 5.0解决稀疏奖励问题的创新方法，AHRL通过渐进式'脚手架'机制帮助模型掌握困难任务，是后训练阶段的重要技术贡献。

Figure 9: Visualization of expert collaboration across modalities and tasks

该图通过IoU（交并比）指标展示不同模态和任务间的专家协作模式。结果显示：(1) 图像理解和视频理解的专家重叠很高（IoU达0.98），与架构设计一致（图像视为单帧视频）；(2) 图像生成和视频生成的专家重叠也很高；(3) 理解任务和生成任务之间的重叠相对较低；(4) 文本与音频的重叠高于与其他模态的重叠；(5) 深层中跨模态重叠增加，表明表示从低级模态特化特征转向高级统一语义特征。

这张图提供了跨模态知识共享的定量证据，揭示了模型内部的模态交互模式，对于理解统一多模态架构的工作机制至关重要。