Notes2Skills：从实验室笔记本到具备确定性感知的科学代理技能 Notes2Skills: From Lab Notebooks to Certainty-Aware Scientific Agent Skills

Stage 1（EDE）输入notebook segments序列，输出每段的三元组：是否是指令、指令类型（五种之一）、certainty标签。基于语言线索guideline分配标签。Stage 2（MetaSkill Compilation）接收Stage 1指令集合$D = \{(s_i, t_i, c_i)\}_{i=1}^{|D|}$，执行确定性映射$M = \text{Compile}(D, \Pi)$，其中$\Pi$是领域动作词汇，$M$存储每个指令的capsule并暴露承诺级别给运行时gate。Capsule字段包括指令key、certainty标签、候选动作、源片段（SHA-256锚定）。下游Layer 1信号处理器将instrument traces转换为固定SignalFindings摘要，Layer 2 Claude Sonnet 4.5 agent loop提议处理决策，Layer 3 executor对齐提案与capsule和信号证据，输出Authorize/Veto/Substitute/Abstain四种结果之一。

技术新颖性体现在四个方面：首次考虑将单作者实验笔记本转换为agent-loadable技能，并将笔记本视为新的程序文本类型；提出MetaSkill格式，每个动作保持显式源链接和certainty标签；设计双证据门控executor，仅当capsule授权和信号证据一致时才允许强操作；在三个正式度谱系corpus上验证，包括双语code-switched FreeNotes、半正式ONS和规定性WLP。certainty preservation作为操作信号而非分类误差的创新点，与传统将不确定性视为待消除缺陷的工作形成本质区别。

独立分析的弱点：Stage 1的directive detection和certainty labeling仍是瓶颈，特别是FACT-JUDGMENT边界上的错误集中。在指令密集的session如Saturation-B，precision仅34.8%，大量false positive导致stress test中性能明显下降（$\kappa$从+0.71降至+0.51）。改进方向：针对性校准FACT-JUDGMENT边界，可能需要domain-specific的few-shot exemplars或专门的certainty classifier；探索multi-task learning同时优化directive detection和certainty prediction。当前executor的tolerance和信号magnitude阈值基于per-file统计量计算，在信号质量极差或噪声极高时可能不稳定。改进方向：引入robust统计量（如median absolute deviation）或贝叶斯tolerance估计；允许专家override tolerance作为failsafe。MetaSkill format当前固定为Markdown，虽然便于human inspection但可能限制了与现有workflow engine的集成。改进方向：提供JSON/YAML等机器优先格式作为可选项；建立与ARIES或CWL等workflow标准的映射。

作者提出的未来方向：扩展科学领域和操作者背景，更多实验室开放notebooks、原始记录和专家判断以适合数据共享协议。基于成果可延伸的方向：将certainty-aware编译扩展到多作者协作notebook，处理certainty冲突和consensus机制；引入temporal uncertainty，捕捉同一作者在不同时间点对同一观察的certainty变化；探索uncertainty propagation，当多个capsule影响同一文件时如何合并certainty信号；建立active learning pipeline，让agent在低certainty时自动请求人类review，形成human-in-the-loop的科学工作流；扩展到其他科学文本类型如grant proposals、peer review comments，其中certainty同样是关键信号。

复现评估：论文提到会发布匿名FreeNotes segments、EDE labels、gold file-level decisions、derived SignalFindings、prompts、model outputs、human-review deltas和审计reported decisions所需的artifact hashes。然而原始ABF traces可能无法根据数据共享协议重新分发。Stage 2编译器是确定性的，因此理论上可以从fixed EDE inputs完美复现。Stage 1和downstream evaluation依赖LLM API（GPT-4o, Claude Sonnet 4.5, Qwen-Max），API费用和响应时间可能影响复现成本。测试集规模相对较小（87段Stage 1, 48文件downstream），单GPU或CPU即可运行，但需要API key access。开源状态：论文提到Prompts、model outputs、artifact hashes会发布，但未明确是否release Stage 2编译器源码或executor pseudocode的实际实现。复现难度：中等。主要障碍是LLM API access和可能未release的编译器代码，但deterministic pipeline和详细的pseudocode降低了实现门槛。