SciDER：数据中心化的端到端科研多智能体系统 SciDER: Scientific Data-centric End-to-end Researcher

完整流水线分四个阶段执行。① Ideation 阶段 $I \leftarrow \text{Idea}(D, Q)$：先调用文献检索（arXiv、Semantic Scholar、PubMed）生成 $n=8$ 个种子想法，再用 EIS 算法演化 $T=3$ 代，每代在四个维度上并行 K-way 排序、做 $n_{\text{imp}}=3$ 次维度定向变异和 $n_{\text{com}}=1$ 次交叉，返回评分最高的 $\arg\max_{x\in P} \sigma(x)$。② Data Analysis 阶段 $R \leftarrow \text{Data}(D, Q, I)$：把输入建模为带标签的文件树 $T_D = (V, E, \tau)$，按深度优先访问每个 leaf，用格式特定的探测函数 $\phi_\tau(v): \text{bytes}(v) \to \text{Schema}(v) \times \text{Stats}(v)$ 产出带类型的 schema 和统计指纹，再分别汇总为四个子报告：Structure（格式/dtype）、Quality（缺失率 $\mu_f$、稳健 z-score 离群、约束违反）、Semantics（把字段映射到 query-conditioned 角色 $\psi(f|Q,I)\in\{\text{target}, \text{time-index}, \text{covariate}, \text{identifier}, \ldots\}$，让下游代码按角色寻址而非按列名）、Dependency（基于主键匹配、时间戳共享、值集重叠抽取的字段依赖图 $G_{\text{dep}} = (F, E_{\text{dep}})$）。③ Experimentation 阶段 $(C, T) \leftarrow \text{Exp}(D, Q, I, R)$：分两步，$C \leftarrow \text{Coding}(D, Q, I, R)$ 用迭代 patch 循环 $C_{k+1} = C_k \oplus \Delta_{k+1}$，由静态守卫 $g(C_k)\in\{0,1\}$ 控制（语法、类型、lint），$K_{\max}$ 用完即提交；$T \leftarrow \text{Exec}(D', C)$ 在隔离工作区 $W = (C, D, L)$ 中执行，周期采样运行时信号 $\eta_t = (\ell_t, \text{loss}_t, \text{prog}_t)$，其中 $\text{prog}_t\in[0,1]$ 是粗粒度进度估计，触发停止谓词时输出结构化失败 $\perp$ 回流给 Coding 阶段。④ Critic 阶段 $F \leftarrow \text{Critic}(\cdot)$：在分析、实验每个阶段后调用，从准确性（消除错误与幻觉）、完整性（弥补信息缺口）、中立性（过滤偏见）三轴评审，门控判决 $v_n$ 由一个 Approval 子智能体对照工作区状态 $D_{\text{ws}}$ 复核以缓解 LLM-as-a-judge 的不稳定性；通过后由四智能体并行生成下一轮 $(I_{n+1}, R_{n+1}, C_{n+1}, T_{n+1})$，当 $v_n=\text{PASS}$ 或单智能体重试预算（默认 $N_{\max}=2$）耗尽则终止。

技术新颖性体现在三方面。第一，把"数据中心化"从口号落地为四元组报告 $(R_{\text{str}}, R_{\text{qual}}, R_{\text{sem}}, R_{\text{dep}})$，其中 Role-aware 字段映射 $\psi(f|Q,I)$ 让代码生成不再依赖脆弱的列名匹配，这是 AI Scientist、InternAgent 等都没有的设计。第二，把"想法搜索"建模为有明确算子的演化问题：用 K-way permutation 替代绝对打分、用钉住最优种子 + 维度定向变异 + 排序加权交叉替代简单的 prompt refinement，把候选质量稳定提升了 Novelty +23.8%、Feasibility +8.8%（图 4a）。第三，Critic 输出从二元判决扩展为 $(v_n, \sigma_n^d, \delta_n^d)$ 的三元组，使局部修订成为可能，并通过 Approval Layer 缓解 LLM-judge 不稳定——这与单纯 self-refine 或 self-consistency 路线有本质区别。

独立分析主要有三处可改进的弱点。① K-way batch ranking 的 $\sigma(x) = \sum_d w_d \cdot \text{scored}_d(x)$ 权重 $w = (0.30, 0.25, 0.25, 0.20)$ 是手工指定的固定先验，跨学科迁移时（如物理 vs 生物）同一组权重未必最优，可以引入领域自适应权重或贝叶斯优化对 $w$ 做元学习。② Experiment Agent 的 Coding 与 Execution 两阶段用 $K_{\max}$ 和 runtime signal $\eta_t$ 解耦，但 $\text{prog}_t\in[0,1]$ 只是一个粗粒度估计，对长任务（>1h）的可观测性差；改进方向是引入基于 AST 的执行追踪或子任务分解，让 $\eta_t$ 携带更细粒度的子目标完成度。③ Multimodal Skill System 虽然通过 $\text{Tok}_t(a) = \sum_{s\in S_a}|\text{desc}(s)| + \sum_{s\in K_t}|B_s|$ 实现了"目录线性 + 按需物化"，但关键词触发逻辑对表述变体很敏感，当用户用同义词指代某个能力时容易失效；可考虑在技能注册时同时索引 LLM 嵌入的语义签名，由 LLM-router 而非关键词匹配来选择 $K_t$。此外，作者用 13 位专家问卷（4.846/5.000）证明有用，但样本量小且选择偏差（愿意填写问卷的更可能倾向积极评价），建议在更大规模、跨机构的盲评中复测。

作者提出的方向包括继续扩展 Multimodal Skill System 到更多领域（数学、化学、材料的专用 skill）以及把 SciDER 接入更多闭源模型接口做对比。基于论文成果可延伸的方向有三个：① 把 EIS 的 K-way 排序思路扩展到多目标 Pareto 优化，自动权衡 novelty / feasibility / impact / specificity 而非手工设权；② 用 Critic Agent 输出的修订补丁 $\delta_n^d$ 作为"自动 prompt curriculum"，迭代生成更具多样性的训练数据，反哺 OpenSciDER-27B 这种开源模型；③ 把 SciDER 的 data-centric 范式与正式验证或程序合成结合，让 $\phi_\tau(v)$ 探测函数不再是手工编写的 Parquet/CSV 探针，而是能从 schema 描述自动合成，从而支持任意新数据格式的零样本接入。

复现评估总体良好。① 开源：项目代码、OpenSciDER-SFT-8K 数据集（8,532 条轨迹 / 730.5M tokens）、OpenSciDER-27B 模型均以 Apache-2.0 发布在 https://github.com/leonardodalinky/SciDER。② 数据：训练数据来自 DataSciBench、DS-1000、DS-Bench、ScienceAgentBench 等公开基准，论文明确说明已把 Section IV 的评估轨迹隔离到独立子集以避免污染。③ 算力：用 2× H200 GPU 训练 2 个 epoch，LoRA 配置 $r=32, \alpha=64$，优化器 AdamW（峰值学习率 $1\times10^{-4}$，cosine 调度），DeepSpeed ZeRO-2 + BF16，部署用 vLLM + YaRN 扩展到 512K 上下文窗口，门槛对一般实验室可控。④ 复现难度：闭源后端的 SOTA 复现需要 Gemini-3-Pro / Claude-Sonnet-4 等商业 API 调用权限；论文同时给出了 OpenSciDER-27B 这一开源替代，使完全本地化复现成为可能。⑤ 主要风险是 EIS 的 LLM-judge 步骤具有较高随机性，多个种子间的方差未充分披露，建议复现时报告至少 3 次独立运行的均值与方差。