Dr. Claw：面向“氛围式科研”的 AI 科学家工作台 Dr. Claw: An AI Scientist Workspace for Vibe Research
在命令行编码智能体外包裹可控可审计的人机协同编排层，统一科研规划、执行与写作。
前置知识
命令行编码智能体（CLI Coding Agent）
运行在终端里的自主编码助手，如 Claude Code、Gemini CLI 和本文实验用的 codex。它们能读写项目文件、执行 shell 命令、跨长会话维持上下文，通常提供权限配置（如 allowed/denied tools、approval mode、sandbox）。本文称其为 executor（执行器）。
Dr. Claw 的核心设计就是不造新智能体，而是包一层编排层去封装现有 CLI 执行器，所有实验也都固定执行器不变来对照，因此必须先理解这类工具的能力与配置方式。
Human-in-the-Loop（人机协同控制）
一种系统设计范式：AI 负责高吞吐、可并行、可模板化的执行（检索、写码、跑实验、写草稿），人保留方向决策、验收标准和最终拍板权，并在关键节点设置检查点供人介入、修订或叫停，而非让系统完全自主跑到底。
论文提出的 Vibe Research 就是一种人机协同范式，Dr. Claw 与 AI Scientist 等端到端自主系统的本质区别就在于谁拥有控制权，这是全文的立论基础。
任务图（Task Graph）与状态持久化
把一个长流程分解为带依赖关系的任务节点组成的有向图，每个节点存有 ID、状态（pending→running→done）、优先级、依赖、所属阶段和建议技能；状态被持久化到磁盘后，进程崩溃或人为接管后都能从断点恢复，而不是从头重来。
任务图是 Dr. Claw 四个状态对象之首，编排层的任务分派、依赖调度、断点恢复都建立在其上，实验中每个运行平均跟踪 17 个任务节点。
技能库（Skill Library）与 SKILL.md 清单
以目录为单位的可复用能力包，每个技能含一个 SKILL.md 清单，用 YAML frontmatter 声明名称、描述、版本、license、allowed-tools 及 stage/domain 标签；激活前做 schema 校验和版本戳记，通过阶段映射、关键词自动加载或手动调用三条路由注入任务提示词。
Dr. Claw 的增益主要来自 58 个阶段映射技能带来的科研卫生习惯（如自动加引用审计），技能的选择与注入机制直接决定了评测结果。
受控对照（固定执行器比较）
评估编排层价值的方法：让同一个后端模型（本文为 codex + gpt-5.4，danger-full-access/approval-never 配置）分别在裸智能体和 Dr. Claw 内运行同一任务，两者唯一的差别是编排层带来的任务图、状态对象、技能库与工作流指令，从而把差异归因于整个编排层。
论文所有定量结论（0.952 vs 0.873 等）都基于这一设计；理解它才能明白作者为何强调“这不是消融实验”、以及局限一节承认的归因混淆问题。
研究动机
以 Claude Code、Gemini CLI 为代表的命令行编码智能体已经能读写项目文件、执行命令并在长会话中维持上下文，五大核心科研操作——文献综述、想法生成、代码实现、结果分析和论文撰写——单点能力都已具备。但端到端的科研流程仍然碎片化：研究者要在聊天工具、IDE、终端和写作环境之间来回切换，任务分解、进度追踪、结果验证、成稿交付各用一套工具，可复现性和交付可靠性都受损。更关键的是，那些让科研过程可审计的中间决策——为什么这样分解任务、为什么放弃某条路线、某个结论的证据是什么——要么散落各处要么干脆丢失，人也几乎没有显式的接管点。HCI 研究一致表明协作成本的主要来源恰恰是验证与上下文维护（Gu et al. 2024；Kazemitabaar et al. 2024；Xie et al. 2024），现有 demo 改善了易用性，却在跨阶段状态连续性和产出物的闭环管理上做得有限。
本文的目标是本文要回答一个中心问题：如何让研究者在一条连续工作流里完成问题定义、实验推进和论文产出，而不是在孤立工具间切换。具体目标是构建 Dr. Claw——一个开源工作台，把规划、执行、写作统一进一个可控、可追踪、可恢复、可审计的科研闭环。它明确不引入新的自主智能体，而是封装现有命令行编码智能体，在其上补齐状态、控制与审计层。作者同时想正式化一种称为 Vibe Research 的工作范式：研究者用自然语言陈述高层目标与约束，AI 把它们编译成可执行的研究循环，验收基于可观察的产出，人全程掌控方向与最终决定，并把这套范式与端到端自主系统、智能体构建工具划清边界。
与已有工作不同的是，既有工作各自优化一头，却没人同时做这三件事。端到端自主系统（AI Scientist v1/v2、Agent Laboratory）追求最少人工干预，很少考虑真实本地工程环境中持续协作的可控性；智能体构建与编排运行时（AutoGen Studio、Flowise、LangGraph）给开发者提供检查点、中断与重放，但状态模式要开发者自己声明，服务对象是工程师而非研究者；可介入的研究智能体（TinyScientist、ResearStudio、IRIS）在单一阶段提供干预能力，其中 ResearStudio 甚至允许任意时刻暂停（这点比 Dr. Claw 只在检查点介入更强），但都不优化既有智能体在长时程工作流上的可控性与可审计性。Dr. Claw 的独特切入是把三根轴合起来：(i) 封装既有 CLI 智能体而非新造执行器；(ii) 用四个内建持久状态对象把科研过程本身变为一等公民；(iii) 在 ideation→experiment→publication 全弧线上维持人工接管。
核心方法
Dr. Claw 把科研建模为显式可追踪的工作流。直觉上，它给裸编码智能体补上三样东西：记事本（状态）、流程图（编排）和监控摄像头（审计）。技术上，每次任务交互被形式化为一次状态转移 $\mathrm{State}_{t+1} = f(\mathrm{State}_t, \mathrm{Action}_t, \mathrm{Obs}_t)$，其中 $\mathrm{State}_t$ 由任务图、产出物库、决策日志和执行轨迹共同构成，$\mathrm{Action}_t$ 是系统或用户触发的动作，$\mathrm{Obs}_t$ 是观察到的反馈——系统优化的是迭代式状态更新而非单次回答。架构分三层：交互层提供聊天、任务视图、文件与版本操作的统一工作台；编排层负责从高层意图到阶段任务的状态与生命周期管理；执行层负责跨异构执行器的后端调用、结果返回与异常处理，换后端不改变工作流语义。产出物写回满足 $\mathrm{Artifact}_{t+1} = \mathrm{Artifact}_t \cup \Delta\mathrm{Artifact}_t$，即只增量添加或修订，不覆盖历史。
核心创新是“包装而非重造”加“过程即对象”。与 AI Scientist 等端到端自主系统不同，Dr. Claw 不引入新执行器，而是给现有 CLI 编码智能体加装它最缺的状态、控制与审计层，复用其执行能力。人机分工被明确制度化：AI 承担高吞吐、可并行、可模板化的执行（检索、编码、运行、汇总、起草），人拥有研究方向、评估标准、关键取舍和最终验收。安全与可控性被当作一等机制：只有属于当前策略定义的动作空间才被允许执行，$\mathrm{Action}_t \in \mathcal{A}(\mathrm{Policy}_t)$，策略区分安全默认档与受信任扩展档，可细粒度配置 allowed/disallowed 工具、权限模式、沙箱与审批。技能库按五阶段映射（survey 11、ideation 14、experiment 18、publication 22、promotion 3 共 58 个，部署目录 171 个），把科研卫生习惯显式注入执行提示词——这是裸智能体自发行为与受控行为之间的分水岭。
方法步骤详情
流程分五步。①初始化：创建 Ideation/Experiment/Publication 阶段目录与持久化 pipeline-state 存储，任务节点存状态、依赖、阶段、建议技能等字段。②规划：把研究想法编译为结构化简报和依赖感知的任务计划。③执行循环：按 Plan→Execute→Verify→Write-back 推进，产出经 $\mathrm{Artifact}_{t+1}=\mathrm{Artifact}_t\cup\Delta\mathrm{Artifact}_t$ 增量写回，状态沿依赖更新，干预全记入决策日志/执行轨迹。④技能注入：经阶段映射、关键词自动加载、手动调用三条路由；每个技能是含 SKILL.md 清单的目录，激活前做 schema 预检与版本戳记；目录 171 个（87 顶层，自研三族 74），58 个按五阶段映射（11/14/18/22/3）。⑤执行与容错：经 Claude/Codex 适配器调后端，失败按管线、权限、会话三层处理，靠非破坏性 API（改状态、追加、续跑）实现 revise/retry/handoff，变更先落盘再广播同步界面。
技术新颖性
技术新颖性在于组合而非单点：每个维度单独看都有先例——TinyScientist 也委托外部编码智能体，AI Scientist-v2 也持久化结构化实验树，ResearStudio 也支持暂停，LangGraph 也有检查点与重放——但它们优化的是端到端自主、智能体构建或单阶段内的转向。Dr. Claw 优化的是既有智能体在长时程工作流上的可控性与可审计性，且把科研过程做成系统自带（而非开发者声明 schema）的一等对象：任务图、产出物库、决策日志、执行_trace 四件套随系统发行。与 LangGraph 的关键差别是抽象层级：后者要求开发者先声明状态模式再获得检查点，前者直接内建科研语义的状态对象，研究者开箱即得。安全方面把权限管理形式化为 $\mathrm{Action}_t \in \mathcal{A}(\mathrm{Policy}_t)$ 的动作空间约束，并在文档中明确承认设计空间表的标记基于公开资料的评估而非运行对比——这种克制在系统 demo 论文里少见。
实验结果
实验一：固定执行器 codex/gpt-5.4，三个开放式任务（Derm7pt 皮肤病灶与临床笔记）各一次，完备性为自发覆盖 21 要素的比例。Dr. Claw 两胜一平，合并 0.952 对裸执行器 0.873（$+0.079$，95% CI 含零）。增益全在科研卫生：limitations 0.33→1.00、亚组分析 0.33→1.00、真实引用 0.00→0.67；建模要素双方均 1.00。打平的临床笔记恰是引用审计未触发的一次（调用是尽力而为）。实验二：Dr. Claw 持久化任务图/轨迹/决策日志（14 节点、14 转移、10 条），裸执行器设计上为零；文件引用解析 100% 对 62%，但被引用量混淆（48 对 8）。实验三：Derm7pt 项目诱导错误路径，捕获后原地修复，恢复精度 0.892，5 个既有文件全保留。实验四：7 名 AI 博士生三条件回溯研究，Dr. Claw 时间带最短（S2 $\chi^2=13.56$、S3 $\chi^2=14.00$）、盲评分最高；体验最强（$\chi^2=12.29/13.56/12.07$）且两两全显著（0.0469）。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 开放式医学研究任务（Derm7pt 黑色素瘤/痣分类 + 临床笔记风险基线，3 任务各 1 次） | 21 要素完备率（合并） | 0.952 | 裸 codex（gpt-5.4，相同权限配置）0.873 | +0.079（95% bootstrap CI [-0.00, +0.14]，含零，方向性证据） |
| 同上（科研卫生要素） | limitations 小节通过率 | 1.00 | 0.33 | +0.67 |
| 同上（科研卫生要素） | 亚组分析通过率 | 1.00 | 0.33 | +0.67 |
| 同上（科研卫生要素） | 真实文献引用通过率 | 0.67 | 0.00（裸智能体三任务引用全为零） | +0.67 |
| 过程模型持久化（可查询任务图/执行轨迹/决策日志/阶段组织） | 是否持久化（设计属性，非评分） | 全部存在（任务图平均 14 节点，轨迹平均 14 转移，日志平均 10 条） | 裸智能体均不存在 | 架构性差异，无法量化比较 |
| 失败恢复演示（Derm7pt 小项目诱导错误路径） | 恢复后模型精度 / 文件保留 | 精度 0.892，5 个既有文件全保留，23 次工具事件 | 无匹配的裸智能体恢复运行（单条件设计演示） | 未做对照 |
| 三阶段人类研究（7 名 AI 博士生，回溯式） | 体验分 Friedman omnibus（S1/S2/S3） | χ²=12.29/13.56/12.07，p=0.0021/0.0011/0.0024，两两比较全显著 | 无 AI 工具组与通用网页/桌面 AI 组（ChatGPT、Gemini、Claude） | 唯一全阶段两两显著的指标 |
局限与改进
作者坦承这是小规模探索性演示而非有统计功效的对照研究：每任务仅一次重复，合并增益的 95% CI 含零；固定执行器不是消融——任务图、状态对象、技能库、工作流指令作为整体捆绑加入，观察到的差异无法归因于任何单一组件，技能组 vs 编排组的消融是显然的下一步；完备性是 21 要素的覆盖计数而非正确性检查，确立科学严谨性需专家逐件审阅；对照对象只是它自己包装的裸执行器而非最先进编排框架；任务全部来自医学领域，技能库与任务图抽象向其他领域的迁移未验证。我认为还有几点值得补：技能调用是尽力而为的建议机制，那一次引用审计未触发直接导致打平，说明可靠性短板恰恰在编排层声称的核心价值上；人类研究是混合设计（Dr. Claw 用实时日志、对照组靠回溯报告），回忆偏差和系统熟悉度差异（作者给了三周免费试用期）都未排除；速度上 Dr. Claw 因记录状态而更慢，虽称有界开销但没有给出量化数字。
独立分析的弱点
第一个弱点是技能调用的可靠性缺口：解析器只能把建议技能写进任务提示词，是否真正执行取决于执行器——评测中引用审计一次未触发就直接导致打平，而这是编排层存在的理由。改进方向是作者自己提出的“验证技能执行而非仅仅推荐”，在执行器侧挂钩子确认目标技能确实运行。第二个弱点是无组件归因：整套捆绑对比回答不了“增益多少来自技能库、多少来自任务图”，应做因子化消融（仅技能/仅状态对象/仅工作流指令）。第三个弱点是统计功效：每任务单次重复、CI 含零，应做 3-5 次重复并报告方差，任务池也应超出医学单一领域。第四个弱点是完备性指标可被钻空子：确定性计数 21 个要素，智能体可以靠堆砌仪式性小节刷分而不保证内容正确，应叠加专家盲评的正确性维度。第五，人类研究是混合设计——Dr. Claw 用实时日志、对照组靠回溯报告——回忆偏差和熟悉度差异（作者给了三周免费试用期）都未排除，应升级为预注册的被试内实时实验。第六，写回机制只增不删，长项目会积累过期产出物，需要引入带审计记录的显式淘汰机制。
未来方向
作者明确提出的方向有三：技能组 vs 编排组的消融实验、把技能建议升级为可验证的技能执行保证、把技能库与任务图抽象迁移到医学之外的研究领域（top-level 技能尚未全部映射阶段，迁移只需改一个 JSON 映射）。顺着论文成果还可以延伸：把引用审计与学术数据库 API（Semantic Scholar、Crossref）打通，实现引用真实性的自动核验而非仅检查存在性；在多执行器协调上引入自动仲裁策略，按任务类型和历史成功率动态选择后端；把决策日志结构化为 claim→evidence 图谱，支持跨项目复用已验证结论；增加多人协作接管，让课题组多成员共享同一任务图的审批与交接；以及在策略约束 $\mathrm{Action}_t \in \mathcal{A}(\mathrm{Policy}_t)$ 上做形式化验证或运行时监控，把安全边界从配置约束推进到可证明的保证。状态对象的文件格式若能标准化，还会催生第三方技能与审计工具生态。
复现评估
复现基础较好：代码在 github.com/OpenLAIR/dr-claw 以 AGPL-3.0 开源（含 GPL-3.0 上游组件），部署目录含 171 个技能（87 个带 SKILL.md 的顶层条目，自研三族 aris-* 44 个、inno-* 16 个、ds-* 14 个，其余来自公开合集）。环境要求明确：Node.js LTS（推荐 v22）、标准安装运行命令序列和环境配置；论文附了最小复现清单——固定仓库版本、锁文件与运行时版本，保持相同权限配置和三阶段任务定义，保留盲评量规与评分细则，导出原始 pipeline-state 与运行日志。难点在后端：评测依赖 codex/gpt-5.4 这一专有模型，模型迭代后数字未必可复现；Derm7pt 数据集公开但作者声明医学数据留在自己服务器、不分发；人类研究部分受知情同意约束，7 名参与者的原始日志能否释放未说明。系统装起来容易，但要复现定量结论需要同样的专有后端与权限档，中等难度。
论文图表
示意图把系统控制权一分为二：人控一侧负责设定目标、约束和验收决定；AI 执行一侧负责 Plan→Execute 五大核心操作；两侧通过四个状态对象和检查点反馈回路（Verify/Revise/Retry/Handoff）连接。
这是全文的范式宣言，一张图说清 Vibe Research 的人机分工边界和状态对象在其中的枢纽位置，是理解论文立论的第一入口。
对比矩阵：Dr. Claw 在任务图、执行轨迹、决策日志、阶段组织四项上全部为存在（✓），裸 codex 全部为缺失（–），并注明缺失是设计使然而非评分项。
把“可审计性是架构供给而非性能分数”这一立场可视化，防止读者把审计能力误解为可比较的评测指标。