Intern-S1-Pro：万亿参数科学多模态基础模型 Intern-S1-Pro: Scientific Multimodal Foundation Model at Trillion Scale

Intern-S1-Pro的构建分为以下关键步骤：第一步是架构扩展，从Intern-S1通过专家上循环（expert upcycling）初始化Intern-S1-Pro的MoE层，将专家数量扩大4倍，同时确保每个分组中包含训练良好的Top-1/Top-2专家。第二步是视觉编码器训练，采用原生分辨率ViT，使用对比学习在约3亿图文对（包括CC12M、LAION-COCO、SBU Caption等英文数据集和LAION-2B-Multi、Wukong等中文数据集）上训练，通过MLP投影器将视觉特征映射到语言模型嵌入空间。第三步是时间序列编码器构建，包含自适应子采样模块和时间序列编码器，能够将异构时间序列（从100到10的6次方个时间步）归一化到统一表示空间。第四步是继续预训练，使用6万亿token数据，其中关键的是科学图像字幕流水线：使用MinerU2.5提取PDF中的图表，pHash去重，InternVL3.5-241B为科学图像生成专业字幕，CapRL-32B为非科学图像生成字幕，0.5B判别器过滤低质量内容。第五步是数据冲突解决，通过模板构建和任务形式转换处理结构化科学数据，通过Prompt多样化和Rollout机制增强数据多样性，通过系统提示隔离减少科学与通用数据的训练冲突。第六步是FP8混合精度RL后训练，通过operator级精度对齐、rollout router replay、差异化精度策略（专家层FP8、非专家层BF16、LM头FP32）和dual importance sampling确保训练稳定性。

Intern-S1-Pro的技术新颖性体现在多个方面。首先，Grouped Routing机制是对传统Top-K路由的根本性改进，它通过分组约束实现了从尽力平衡到绝对均衡的跨越。在1T参数、EP8训练策略下，8组各选Top-1即可实现完美负载均衡，这在以往的MoE工作中从未实现。其次，STE路由梯度估计通过温度缩放的softmax概率构建路由权重，前向精确稀疏、反向平滑梯度，这比传统的straight-through方法更优雅地处理了离散-连续的梯度传播问题。第三，科学图像字幕流水线是首个大规模针对科学PDF的图文对生产系统，通过主题分类路由、多模型协作和质量判别器的组合，解决了科学领域高质量图文数据稀缺的根本问题。第四，FP8混合精度RL的稳定性框架，通过系统性的operator级精度对比和rollout router replay，首次实现了万亿参数MoE模型的稳定RL训练，这在IcePop、MiniMax-M1等先前工作的基础上有了实质性突破。最后，可特化通才的理念本身也是一种方法论创新，它证明了规模和通用性可以成为专业能力的催化剂而非竞争者。

基于对论文的深入分析，可以识别出以下几个关键弱点及其改进方向。第一，Grouped Routing虽然解决了负载均衡问题，但通过强制每个组选择固定数量的专家，可能限制了模型的灵活性——某些token可能确实需要更多来自同一组的专家，而另一些token可能不需要某些组的专家。改进方向可以探索动态分组策略或允许跨组的稀疏激活。第二，科学图像字幕流水线依赖于InternVL3.5-241B和CapRL-32B两个模型，这引入了级联误差——上游模型的错误会传播到下游训练数据中。可以考虑引入人类专家验证环节或更强的质量评估机制。第三，FP8混合精度RL虽然实现了与BF16相近的行为，但论文未充分分析在更长训练steps下的稳定性，以及在更复杂奖励信号下的表现。改进方向可以探索自适应精度调整策略。第四，时间序列编码器的自适应子采样可能在极端情况下（如超高频或超低频信号）丢失重要信息，需要更精细的采样策略。第五，论文缺乏对模型在实际科学发现中应用的案例研究，仅停留在基准评测层面。

作者在结论中提出将模型能力扩展到更多专业科学领域以加速科学发现。基于Intern-S1-Pro的成果，可以延伸出以下研究方向：第一，探索更大规模的模型扩展，将参数量进一步提升到10万亿级别，研究规模与能力的scaling law在科学领域的表现。第二，将模型与科学实验工具链深度集成，构建端到端的AI驱动科学发现系统，例如让模型自主设计实验、分析结果、提出新假设。第三，开发针对特定科学领域的微调方法，使模型能够快速适应新材料发现、新药物设计等前沿任务。第四，探索科学数据的主动学习策略，让模型能够识别自身知识盲区并主动请求特定类型的科学数据。第五，研究模型的科学推理可解释性，开发能够展示其推理链路的可视化工具，帮助科学家理解和信任模型的预测。第六，将Grouped Routing和STE技术推广到其他超大规模模型的训练中，验证其通用性。第七，探索多语言科学知识的融合，特别是中文科学文献与国际科学知识的深度整合。

从复现角度来看，Intern-S1-Pro的复现面临显著挑战。好消息是，模型权重已在HuggingFace开源（internlm/Intern-S1-Pro），XTuner训练框架和LMDeploy推理引擎也已开源，这为社区提供了重要的基础设施。然而，复现面临以下困难：第一，算力门槛极高——万亿参数模型的训练需要数千张高端GPU（具体数量未披露），这远超一般研究机构的能力。第二，训练数据方面，虽然论文描述了数据来源（CC12M、LAION-COCO、LAION-2B-Multi、Wukong等），但科学图像字幕流水线生成的约2700亿token数据的完整处理流程和质量过滤细节不够充分。第三，评测配置方面，论文提供了详细的超参数设置（thinking模式max tokens 65536、temperature 0.8、top_p 0.95等），使用OpenCompass、VLMEvalKit和AgentCompass三个评测工具，这些工具均可获取。第四，关键的工程细节（如具体GPU数量、训练时间、通信策略的实现细节）未充分披露。总体而言，完整复现训练过程几乎不可能，但基于开源权重进行评测和下游微调是可行的。