Intern-S2-Preview：科学智能体基础模型 Intern-S2-Preview: Scientific Agentic Foundation Model

训练流程按时间顺序展开。（1）持续预训练：文本路径用解析后的 PDF 文本做语言建模；视觉路径把页面图像经冻结编码器得到特征，前景掩码后按光栅序投影进 LLM 做对比式下一潜变量预测，联合损失 $\mathcal{L} = \lambda_{text}\mathcal{L}_{CE} + \lambda_{vis}\mathcal{L}_{VP}$；交错图文管线输出不超过 256K token、共享 512 token 重叠的文档级序列。（2）SFT：覆盖通用对话、代码、图文、工具使用与长程智能体轨迹的混合数据。（3）推理 RL：每组采样 $G$ 个回答，先算留一法优势 $A^{LOO}_i = R_i - \frac{1}{G-1}\sum_{j \neq i} R_j$，经 GEPO 按组级熵缩放（低熵组衰减正优势、高熵组衰减负优势），再经自适应长度正则——仅当正响应比例超过阈值 $\tau$ 时按 $w_i = \alpha + (1-\alpha)(1 - \frac{L_i - L^+_{min}}{L^+_{max} - L^+_{min} + \epsilon})^\gamma$ 对正响应降权——最终以裁剪重要性权重加 BKL 掩码的 REINFORCE 目标（式 29）更新；共置部分回滚系统在批次凑齐后暂停未完成 rollout，权重同步后续跑；Muon 优化器、学习率 $1 \times 10^{-6}$、每批 8192 条响应、最大生成 65,536 token；在线草稿模型（$K=4$、混合 LK 损失）带来 rollout 约 2 倍、端到端约 1.7 倍加速。（4）智能体 RL：把 SWE-smith（59,136 任务）、Nemotron-Terminal（80,000）等公开集合与自进化技能图合成任务统一成环境+目标+验证器契约；整段会话共享结果奖励，过程标注器对格式错误、无效工具调用打 adv_penalty；金补丁与隐藏测试在评分前才注入以防奖励作弊。（5）OPD：先用两专家轨迹做轻量 SFT 预热，再按领域选教师，最小化学生前缀上的反向 KL（式 31-36）。

从技术新颖性看，本文的贡献不是单一算法突破，而是一整套可复用的系统与训练方法论，其中多项设计具有明确的首创性或差异化。自适应长度正则不同于显式长度奖励或独立长度控制微调阶段：它只重加权正响应的组内相对优势（式 15），并只在模型已基本掌握该问题（正例率超阈值）时激活，既不与任务奖励冲突，也不扰动先前 RL 阶段习得的能力——图 8 显示 35B 模型在奖励曲线持平的同时平均输出长度从约 12,000 token 显著缩短。在线投机解码以接受率自适应混合 forward KL 与 TV 距离（式 22-23），让草稿模型随策略共同演化，解决了固定草稿模型在 RL 中接受率持续衰减的老问题。GEPO 利用现成分组样本估计组级熵，对低熵组衰减压低正优势、对高熵组衰减负优势（式 26），在不强制任务间统一熵目标的前提下校正了组相对方法中优势跨组不可比的隐含偏差。智能体侧的 TITO + PrefixTree + 过程感知优势控制（式 30，只对正优势施加过程惩罚、保留失败轨迹的负信号）同样是针对会话级稀疏奖励与多段可训练区间这一智能体特有结构的精细设计。Memory Decoder 则把领域持续学习转化为检索蒸馏压缩加轻量路由器融合，是对冻结骨干加外挂记忆路线在科学领域的大规模验证。

独立分析几处弱点。第一，397B（即便 MoE 稀疏）部署门槛高，而 Memory Decoder 推理时要求骨干与 4B 记忆并行前向并逐 token 融合，服务成本和延迟显著高于单模型，论文未报告 MemDec 的具体开销——改进方向是把记忆压缩进路由稀疏层或做异步融合。第二，Memory Decoder 只在生物学上验证，跨域行为未知：同时挂载多个领域记忆时路由器如何归一化、记忆间是否互相污染缺乏实验支撑，多记忆联合训练是自然的下一步。第三，自进化任务合成受社区技能分布约束，步骤级 skip 掩码依赖行为分类器准确性，误标会把正确的探索当错误惩罚——可引入验证器交叉审计与人工抽检的双通道机制。第四，防奖励作弊的验证器工程（金补丁隔离、Git 历史清洗、全对语义）极其复杂，任何遗漏都是新的攻击面，论文未量化拦截比例与残余风险。第五，horizon 预测器 99% 准确率依赖指令解析，对模糊指令（如预测未来一段时间）的鲁棒性存疑；预测分支与文本生成分离，无法用语言先验交叉验证数值预测的合理性。第六，SFE 上 61.67 仍略低于 Qwen3.5 的 62.97，说明视觉预训练对细粒度科学图表感知的增益有限。

作者提出的方向包括：提升更长科学工作流上的可靠性、扩展领域专属记忆与任务环境、强化验证器、深化与专业科学工具的集成。在此基础上可有若干自然延伸。其一，把 Memory Decoder 从单域扩展为可组合的多记忆库，支持跨域检索式记忆共享，甚至让智能体在推理中自主决定挂载哪块记忆，形成记忆即工具的范式。其二，将自进化任务合成的闭环从技能图推广到自动假设生成-实验设计-验证的完整科研循环，以 ResearchClawBench 类端到端任务作为优化信号，逼近自动科研。其三，过程感知优势控制目前依赖规则标注的过程错误，可引入基于验证模型的过程奖励模型（PRM）做更细粒度的信用分配，覆盖非确定性的低质量行为。其四，时序模块可与智能体框架深度结合：模型在分析信号后自主调用预测分支、解释预测不确定性，并根据预测结果规划下一步实验，形成感知-预测-决策闭环。其五，OPD 的两专家设计可随任务族扩展为多教师层级蒸馏，且只传采样 token 教师对数概率的做法（$O(H)$ 通信）可推广到异步多教师并发蒸馏。其六，公开 MP20、ProteinBinder-9 等内部评测集与验证器实现，将大幅提升社区的可复现性与跟进速度。

复现难度评估：模型权重在 HuggingFace 开放（internlm/Intern-S2-Preview），智能体 RL 框架基于开源 XTuner（github.com/InternLM/xtuner），论文给出大量超参——Muon 优化器、学习率 $1 \times 10^{-6}$、权重衰减 0.01、rollout 批 8192 条、8 个 mini-batch、最大生成 65,536 token、投机解码 $K=4$、轨迹陈旧度上限 3 次更新等——透明度高于多数技术报告。但端到端从零复现不现实：预训练语料（科学 PDF、交错图文、图像检索库）未公开，397B MoE 的多任务 RL 与双专家 OPD 估计需要千卡级集群，LMDeploy+XTuner 共置部分回滚系统的工程细节需自行调通；评测所用部分 harness 与内部评测集也非标准配置。对普通团队，可行路径有三：下载权重做多卡或量化部署后复现推理与公开基准评测（约需 8 卡 H100 级）；复现 Intern-MemDec-4B 式小规模记忆训练（4B 记忆+冻结骨干+路由器，式 1-4 给出完整目标函数，成本可控）；或在自己的智能体任务上复用 harness × task 抽象与 TITO 设计。总体评价：思想可学习、评测可部分复现、训练不可复现。