立场：科学团队中的AI智能体应作为人-智能体系统来研究 Position: AI Agents in Scientific Teams Should Be Studied as Human-Agent Systems
AI科学家不该只当自主工具研究，而应以人-智能体系统为单位促进人机协同
前置知识
人-智能体系统（HAS, Human-Agent System）
由智能体、人类参与者、支持人机交互的界面以及系统所处环境四个组件构成的整体系统。其核心主张是把「人-智能体对」作为最小分析单元，而不是把AI当作孤立的自动化工具。类比软件工程中「人在环路」（human-in-the-loop），但HAS更强调持续、双向、队友式的协作关系，而非人类对机器的单向监督与验收。
这是全文的核心立场：作者主张用HAS视角取代主流的「AI科学家自主性等级」叙事。理解HAS的定义，才能理解论文为何反对把科学发现看成孤立的优化问题，以及效用模型为何以人机对为单位。
AI Scientist（AI科学家系统）
指基于大语言模型、被部署到科学发现流程中的智能体系统，典型工作流覆盖文献综述、想法生成与假设提出、实验执行、论文写作与评审。代表系统包括AI Scientist v2、Kosmos、AgentLaboratory、Google Co-Scientist等。按人类反馈介入的位置可分为产物级、发现阶段级、研究计划级和异步干预四类。
论文的研究对象就是这类系统。理解它们的典型架构和人类参与方式，才能看懂作者的文献分类表，以及「人类参与形式过于狭窄」这一核心批评的依据。
ReAct 智能体
一种经典的LLM智能体范式：模型交替生成推理步骤（Reason）和行动（Act，如调用工具、检索文献），并根据环境返回的观察（Observation）继续推理，形成「思考-行动-观察」循环。AstaBench等科学智能体基准普遍以ReAct作为标准智能体框架。
论文的初步实验就是在AstaBench的ReAct智能体（配GPT-5-mini）上做的：给它增加ask user工具并观察求助行为的变化。不懂ReAct的运作方式就无法理解实验设置。
LLM-as-a-judge（LLM裁判）
用一个或多个大语言模型代替人类评估者，对开放性输出进行打分或分类的评估方法。为增强稳健性，常采用多个独立裁判取平均。优点是成本低、可规模化；缺点是存在裁判偏差，对主观任务的可信度存疑。
论文实验中智能体提出的每个问题由LLM裁判按人类反馈分类学（类型/阶段/粒度三个维度）自动归类，并使用3个裁判取平均。这是理解表2中各百分比数据来源的关键。
互补性与协同差距（Complementarity / Synergy Gap）
互补团队绩效指把人类与AI的预测组合后，误差低于任何单独一方；Vaccaro等（2024）的元分析发现这种互补性在实证中很少自然出现。协同差距类似多智能体团队中的概念：团队表现超出最强单一成员的幅度，是衡量人机组队是否值得的核心量。
论文效用模型中的协作优势项 $C_A$ 正是该思想在科学发现场景的版本。理解互补性为何稀有、为何测量昂贵，才能理解作者为何强调需要新的数学框架和廉价代理指标。
研究动机
现有AI科学家研究几乎全部押注「自主性」：把文献综述、想法生成、实验、写作、评审整条流水线自动化，人类只在起点给研究问题、在终点验收产出。作者对近20个代表性系统（AI Scientist v2、Kosmos、AgentLaboratory、Co-Scientist等）的梳理显示，绝大多数只支持「目标设定+最终评估」两种人类参与，产物级反馈系统数量最多，支持异步、细粒度人机交互的屈指可数。与此同时风险快速累积：NeurIPS 2025已有51篇录用论文被确认包含100条幻觉引用，ACL 2026标记超过100篇引用不存在文献的录用论文；AI增强的科研使论文产出变为3倍但探索主题多样性下降5%（Hao等2026）；NeurIPS与ICLR投稿量2014至2024年增长10.4倍而审稿人规模未相应增长；36%的LLM生成论文存在明显抄袭（Gupta & Pruthi 2025）；依赖AI编码助手还会削弱概念理解、造成去技能化。共同根源是把科学发现当成孤立的优化问题，忽视科学本质上是团队性、社会性活动——团队产出的高引论文概率是单人作者的6.3倍（Wuchty等2007）。
本文的目标是本文的目标是系统论证：应把科学团队中的AI智能体作为人-智能体系统（HAS）来研究，即把分析单元从「单个自主智能体」转移到「人-智能体对」。具体目标分三层：其一，通过文献综述与初步实验证明当前AI科学家系统中的人类参与形式过于狭窄，HAS视角既未被充分探索也被系统性低估；其二，通过近期事件与实证研究说明，不考虑人-智能体动态就大规模部署智能体会引入迫近的风险，包括幻觉与偏见扩散、审稿制度过载、去技能化、责任归属不清；其三，通过真实世界的案例研究展示科学家与智能体如何互相增强对方的能力，并据此提出新的研究议程——发展理解与促进科学发现中人-AI协同的数学框架，例如把团队效用分解为协作优势与协作成本之差 $U(\mathcal{H},\mathcal{A}) = C_A(\mathcal{H},\mathcal{A}) - C_D(\mathcal{H},\mathcal{A})$，把信任、过度依赖等软性议题转化为可测量的研究问题。
与已有工作不同的是，本文的独特切入在于它不提出新系统、不刷基准榜，而是以立场论文的形式完成三件此前没人系统做过的事。第一，首次以「人类反馈进入发现循环的通道」为主线梳理AI科学家系统，划分为产物级、发现阶段级、研究计划级、异步干预四类，并套用Zou等（2025）的三维人类反馈分类学（类型E/G/C、粒度粗/细、阶段前/中/后）绘制全景图，暴露出评估型-粗粒度-事后反馈占绝对多数的结构性盲区。第二，在AstaBench端到端发现任务上做了一个小而巧的受控实验，量化「智能体是否知道何时该向人求助」这一被忽视的能力缺口。第三，把多智能体团队研究中的协同差距概念迁移到人机团队，给出可操作的效用分解 $U=C_A-C_D$，并据此回答「什么环境下人机组队才划算」，把HAS从口号推进为有成本收益分析的研究纲领。
核心方法
这是一篇立场论文而非方法论文，论证路线分四步。第一步（第2节）文献综述加分类：把近20个代表性AI科学家系统按人类反馈进入发现循环的主通道分成四类——产物级（人只在最终产物上评审）、发现阶段级（人在阶段边界设审查门）、研究计划级（人在执行前批评或逐步批准计划）、异步干预类（人可在任意时点打断纠偏），并把每类系统填入类型（评估E/指导G/纠正C）×粒度（粗/细）×阶段（前/中/后）的三维分类表。第二步：在AstaBench E2E Discovery基准上用GPT-5-mini的ReAct智能体做10个任务的对照实验，比较三种人类反馈引导条件下的求助行为，用LLM-as-a-judge（3个裁判取平均）把每个问题归类到分类学维度。第三步（第3、4节）：用近期事件数据论证部署风险，用两个第一手案例研究（复杂度理论写作配Gemini 3 Pro、热核燃烧建模配GPT-5）展示人机互相增强的真实模式。第四步（第5、6节）：提出决策论效用模型 $U=C_A-C_D$ 与三个廉价代理指标，把立场转化为可执行的研究纲领。
核心创新是「分析单元的转移」：HAS视角主张研究对象不是更自主的智能体，而是由智能体、人类、交互界面、环境构成的整体，其中人-智能体对是最小研究单位。与主流「AI科学家自动化等级」叙事的本质区别有三点。第一，主流工作把人放在监督位（定目标、审计、批准），HAS把人当作队友，强调持续、迭代、双向修正的协作——人也能被智能体增强，而不仅是验收者。第二，主流只优化任务完成指标，HAS引入效用分解 $U(\mathcal{H},\mathcal{A})=C_A-C_D$：协作优势 $C_A$ 度量团队超过最强成员的幅度，协作成本 $C_D\geq 0$ 捕捉通信协调开销（token消耗、人类认知负荷），指出最大化 $C_A$ 的同时必须压低 $C_D$。第三，借助「能力与信息不对称是协作价值之源」的理论，把「何时该用人机组合、何时纯AI更好」变成可回答的环境层面问题，而非信仰问题。
方法步骤详情
第一步分类综述：产物级系统（AI Scientist v2、Kosmos、CycleResearcher、AgentRxiv等）全部表现为评估型/粗粒度/事后反馈，人只做发起者与终审；发现阶段级系统（InternAgent、Co-Scientist等为评估/粗/任务中，Denario为纠正/细）在阶段边界设审查门，其中Co-Scientist用generate-debate-evolve锦标赛产生经实验验证的药物重定位发现；研究计划级系统（MAPPS、SciSciGPT等）走计划-批评-执行范式，反馈以指导型、细粒度、任务前为主；异步干预类（FreePhDLabor、EvoScientist、ScienceClaw等）支持任意时点打断与跨会话记忆。第二步实验：条件1为默认ReAct智能体（0次求助，E2E 0.39）；条件2加ask user工具并注入分类学提示（1次，0.36）；条件3要求每步先问（92次，0.24），问题由3个LLM裁判归类取平均。第三步案例：Gemini 3 Pro案例经8轮提示完成定理写作，GPT-5案例中专家手工调试热点/冷燃料条件与α粒子慢化假设。
技术新颖性
新颖性体现在四处。第一，表1是首个按「人类反馈通道」而非「自主性等级」组织的AI科学家系统全景图，直接揭示出评估型-粗粒度-事后反馈占绝对多数、支持异步细粒度干预的系统屈指可数这一结构性盲区，为后续系统设计给出坐标系。第二，表2的实验设计巧妙：用「每步强制求助」作为智能体脱离度（disengagement）的上界对照，暴露出前沿LLM不会判断「何时该问人」——没有强制时智能体在关键资源缺失时宁愿自行做假设；且纠正型反馈几乎从不被主动索取（仅4%），求助以评估型（71%）为主。第三，效用模型 $U=C_A-C_D$ 虽然简单，但它把Bansal等人的互补团队绩效理论与科学发现的开放性、长时程特征连接起来，并坦率承认协作本身有成本，这比「人机协同必然好」的口号诚实得多。第四，针对「人因研究太贵导致HAS难以评估」的老大难问题，提出Review Time、Intervention Density、Simulated Oracle Synergy三个可自动计算的代理指标，给出了一条低成本启动的评估路径。
实验结果
核心发现有四。其一，综述显示产物级反馈系统数量最多（AI Scientist v2、Kosmos等7个），发现阶段级次之，计划级更少，支持异步干预者最少——绝大多数系统把人放在「定目标+审产出」的监督位，纠错式协作几乎空白。其二，AstaBench实验（GPT-5-mini，10个E2E任务）：默认ReAct智能体全程0次ask user调用，E2E分0.39；仅加工具与分类学提示时只求助1次，属评估型/任务中/粗粒度，E2E降至0.36；每步强制求助产生92次调用，类型分布为评估71%/指导25%/纠正4%，阶段为前35%/中45%/后20%，粒度为粗68%/细32%，但E2E掉到0.24——「知道何时问、如何问」是未解难题，机械过度求助同样损害性能（较基线降38%）。其三，两个案例显示真实人机组合作出了单方难以达成的产出：Gemini 3 Pro案例经8轮提示把复杂度理论小结果写成可发表论文，GPT-5案例产出了把已知物理关系整合为闭式预测器的理论解释，专家认为最强收益不是省时而是理论解释力。其四，两案例都依赖专家纠错：修正错误引理假设、识别输出仍是噪声、拒绝粗近似替换完整数值解。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 端到端科学发现（AstaBench E2E Discovery）中的反馈求助行为 | ask user 工具调用次数 | 默认ReAct为0次；加工具+分类学提示为1次；每步强制求助为92次 | AstaBench 默认 ReAct 智能体（无 ask user 工具）：0 次 | 诊断性对照而非刷榜：强制求助使求助行为从0升至92次，作为智能体脱离度上界，暴露默认条件下智能体完全不主动求助 |
| 端到端科学发现（AstaBench E2E Discovery，10个开发集任务） | E2E Score | 工具+分类学提示条件为0.36；每步强制求助条件为0.24 | 默认 ReAct 智能体：0.39 | 无提升：仅鼓励求助即降0.03，强制求助相对基线下降约38.5%，说明求助时机的自动选择是核心开放问题 |
| 强制求助条件下的反馈构成分析（92次提问） | 反馈类型/阶段/粒度分布（3个LLM裁判平均） | 类型：评估0.71/指导0.25/纠正0.04；阶段：前0.35/中0.45/后0.20；粒度：粗0.68/细0.32 | 仅1次提问的条件2（该问题为评估/任务中/粗粒度，各维度均为1.0） | 揭示了LLM智能体的求助结构：以评估型粗粒度为主，纠正型反馈几乎不被索取 |
局限与改进
作者承认的局限：E2E实验只有10个任务（作者辩称每个任务都是完整的从想法到报告的重型工作流，属于深度而非广度测量）；反馈分类依赖LLM-as-a-judge，虽用3个裁判取平均以增强稳健性，仍存在主观性；案例研究是定性的、来自公开第一手记录，无法控制变量。我自己的观察：第一，全文没有任何涉及真人科学家的对照实验，「协同优势」的证据仍是轶事级，这与作者自己引用的「互补性在实证中很少出现」（Vaccaro等2024）形成张力，说服力打折。第二，效用模型 $U=C_A-C_D$ 中两项都没有给出操作化定义与验证过的测量方案，提出的代理指标（Review Time、Intervention Density等）与真实认知负荷、协作优势之间的效度是未经验证的假设。第三，表2中E2E分数随求助次数增加单调下降，作者没有充分分析这是任务评判标准还是信息过载造成的混淆。第四，所引风险数据多来自社区报告与新闻统计（如GPTZero统计的NeurIPS幻觉引用），严谨程度参差，作为立场论据够用但作为科学证据偏弱。
独立分析的弱点
独立弱点分析：第一，分类学的边界模糊——异步干预与阶段级门控在真实系统中常混合存在，单一「主通道」归类会掩盖系统演进，例如coding harness支持中途打断但要求持续监控；改进方向是把四分类改为多维连续打分（每个通道0-1支持度）。第二，求助行为评测范式不完整：92次强制求助使E2E降0.15，但实验没有刻画「在正确时机求助」的策略曲线，也没测部分强制（如每N步一问）的帕累托前沿；改进方向是定义求助时机质量指标并做消融。第三，案例研究存在幸存者偏差：两个案例都来自顶级专家（顶尖理论计算机科学家、国家实验室物理学家）的成功协作，普通研究者的失败协作无记录，推广性存疑；改进方向是大规模收集协作日志并按专家水平分层分析。第四，「何时HAS优于纯AI」只给出了定性环境特征（产物主观、长时程开放、部分可观测），没有可计算的环境分类器；改进方向是按这些特征给基准任务打元数据标签，实证检验 $C_A-C_D$ 的符号预测能力。第五，对去技能化、责任归属等制度性风险只有呼吁，没有设计出可验证的缓解机制实验。
未来方向
作者明确提出的研究方向：其一，建立科学发现人-AI协同的数学框架，围绕 $U(\mathcal{H},\mathcal{A})=C_A-C_D$ 研究哪些环境因素提升协作优势 $C_A$、哪些团队维度降低协作成本 $C_D$，并反哺基准设计。其二，研究信任的建立与维护及其对效用的影响，以及过度依赖与 $U$ 的关系、如何设计交互最小化过度依赖风险（尤其保护初级研究者的刻意练习）。其三，检验异步通信与混合主动交互（Horvitz 1999）能否以可接受的 $C_D$ 增益 $C_A$。其四，三阶段评估路径：先做问卷、协作能力单元测试、日志观测与案例研究，信号强时再投入昂贵的半人马对照研究。其五，三个代理指标：Review Time（LLM裁判评估提问的简洁性与可执行性，作认知负荷代理）、Intervention Density（智能体产物与人类终稿的编辑距离）、Simulated Oracle Synergy（用更强LLM扮演人类科学家，测智能体吸收批评性反馈的能力）。可延伸：把HAS分类学做成基准评测维度；用强化学习训练求助时机策略；纵向部署研究去技能化。
复现评估
作为立场论文，主体是综述与论证，可复现性总体中等。实验部分完全基于公开资源：AstaBench基准套件（E2E Discovery开发集10个任务）与其官方ReAct智能体harness、GPT-5-mini API、ask user工具设计（引自Gulati等2026），算力需求仅为API调用（条件3的92次求助开销最大），个人研究组完全可负担。评估协议描述得比较具体：3个LLM-as-a-judge按Type/Phase/Granularity三维归类、按总提问数归一化、取裁判平均，但论文未公布judge提示词与判分脚本，这是复现时最大的不确定性来源（裁判口径可能造成分布偏差）。案例部分引用公开的第一手记录（Woodruff等2026文集、Bubeck等2025的GPT-5实验记录），可追溯核对。论文未提及代码开源；复现该实验预计需要一到两周工程量，主要工作在搭建judging流程与对齐任务子集。综述部分（表1的分类）主观性较强，不同研究者可能对个别系统归类有异议，但分类标准本身写得很清楚，可以逐条核对与争鸣。
论文图表