Aris：通过对抗式多智能体协作实现自主研究

异源模型对审的ML研究harness，把长程研究拆成65+可审计技能。

前置知识

LLM研究harness（harness engineering）

指围绕LLM构建的系统级外壳，负责决定哪些信息被存储、检索、何时呈现给模型。Lee等2026年的工作指出，harness而非模型权重本身，往往决定长程任务表现。

Aris的整个三瓶颈分解都基于harness工程视角。

对抗式多智能体协作（cross-model adversarial collaboration）

让来自不同模型家族的executor与reviewer互相博弈：executor产出工件，reviewer给结构化评分并提出修改意见，与Madaan等2023的Self-Refine形成对比。

本文核心机制，用以打破单agent长程研究中'生成器与验证器共享归纳偏置'的盲点。

可信未支持的成功（plausible unsupported success）

长程agent研究中最危险的失败模式：结果真实但表述失真，声明超出证据许可范围，下游读者默默继承executor的叙事框架，是一种'看不见的崩溃'。

该风险直接推动Aris加入三级证据-claim审计级联。

MCP（Model Context Protocol）桥接

一种模型上下文协议，使agent可调用外部工具与服务。Aris通过6个MCP桥（Codex/Oracle/Claude/Gemini/MiniMax/llm-chat）实现executor与reviewer的跨家族路由。

不依赖MCP桥就无法实现'推荐配置即异源模型对审'。

Skills-as-Markdown（SKILL.md范式）

用纯文本Markdown定义研究能力：YAML frontmatter描述元数据，正文是自然语言工作流规范。同一份SKILL.md可在Claude Code、Codex CLI、Cursor执行，无需平台runtime。

这是模块执行瓶颈的具体实现，使长轨迹可拆为可独立检视的单元。

研究动机

现有自主研究系统暴露出三类典型局限：以The AI Scientist（Lu et al., 2024）和AI Scientist v2为代表的系统，执行与评审共用同一或近源模型家族，陷入Madaan等2023年提出的Self-Refine模式，generator与validator共享归纳偏置导致相关错误难以被捕获；整个流水线端到端紧耦合，缺少可替换的阶段与基于checkpoint的恢复能力；几乎所有系统在实验完整性、声明可信度、稿件质量层面都缺乏显式的系统级审计机制。更危险的是，单agent长程研究中的失败并非总以'崩溃'形式出现——论文称之为'plausible unsupported success'：模型跑出的数字是真实的，但reader无意识地继承了executor的frame——reference label由模型自身合成、self-normalized score扭曲指标、幻影结果与代码中从未执行的metric分支并存，导致声称scope远超被测设置。

本文的目标是本文提出一个名为Aris的开源研究harness，目标是把'长程单agent研究不可靠'这一保守假设操作化为三层架构：(i) Execution层提供65+可复用Markdown技能与持久wiki；(ii) Orchestration层串联5个端到端workflow且支持可调effort与可配置reviewer路由；(iii) Assurance层在文章级、证据级与claim级分别设置闸门。整体设计目标是为研究者提供一个可跨多平台（Claude Code、Codex CLI、Cursor）部署、可在数小时级'夜间跑'完成'假说→实验→审稿→改稿→rebuttal'的闭环，同时把'未支持声明'的发生概率通过三级证据-claim审计级联压到最低。

与已有工作不同的是，既有工作（AI Scientist、Agent Laboratory、AutoGen等）要么停留在end-to-end demo层面，要么缺乏异源模型分离的硬约束，要么把review视作一次性步骤而非持续级联。Aris的切入角度是把'假设-架构-部署证据'三件事统一在stringent single-agent assumption下显式建模：把跨家族评审作为推荐默认而非可选配置（user可覆盖但需明确指令）；把'实验完整性→声明映射→稿件交叉核对'做成三级独立闸门并支持fresh zero-context reviewer；并提出由bandit/game theory类比驱动的two-role最小单元——比单模型self-review信息量更高、比n-agent委员会更轻、与现有4 GPU后端、9种会议模板兼容。

核心方法

直觉上Aris把'一晚上自动写一篇顶会论文'拆成四个研究阶段（Discovery / Experimentation / Manuscript / Post-Submission）和五个workflow（W1 Idea Discovery → W1.5 Experiment Bridge → W2 Auto Review Loop → W3 Paper Writing → W4 Rebuttal），每个workflow通过纯文本契约显式交接状态。技术路线分三层：执行层用SKILL.md定义研究能力、用MCP桥调用6个跨家族模型、用研究wiki持久化论文/想法/实验/声明四类节点；编排层串联workflow并暴露四个effort档位 $\{0.4\times, 1\times, 2.5\times, 5{-}8\times\}$；保障层用'三级证据-claim审计 + 五遍科学写作 + 反例red-team + 视觉PDF复核'形成多道闸门。

Aris与已有方法的本质区别在三点：第一，把'executor与reviewer必须来自不同模型家族'提升为推荐默认配置，覆盖现有系统的同源self-refinement；第二，把保障做成三级独立闸门——Stage 1 experiment-audit检5类完整性失败模式，Stage 2给出verdict $\in \{\text{supported},\ \text{partial},\ \text{invalidated}\}$ 三档并把完整性失败向下传播，Stage 3 paper-claim-audit用zero-context fresh reviewer（全新Codex thread、零历史）跨对manuscript与原始result/config文件；第三，把长程研究失败模式抽象为'假设-架构-部署证据'的最小约束：persistent wiki + modular SKILL.md + 异源评审，缺一不可。

方法步骤详情

研究会话分五步：(a) W1 Idea Discovery——research-lit灌论文入wiki，idea-creator读8000字符query_pack.md（含banlist）生成候选并novelty-check评分；(b) W1.5 Experiment Bridge——run-experiment在4 GPU后端跑，auto-debug做class-specific remediation默认3次重试，失败时/codex:rescue让第三模型独立诊断；(c) W2 Auto Review Loop——每轮draft提交异源reviewer打分（5.0 → 7.5/10）并按需触发GPU补充证据；(d) W3 Paper Writing——paper-figure用FigureSpec JSON渲染SVG，paper-write跑5遍科学编辑；(e) W4 Rebuttal——safety gate→stress test→finalize。收敛为 $\text{score} \geq 6/10$ 或达4轮上限。

技术新颖性

新颖性体现在三层组合创新：(1) 架构层把Lee等2026的outer-loop优化思路具象化为异源executor/reviewer对审 + 65+跨平台可复用Markdown技能，不依赖单一platform runtime，同一份SKILL.md可在Claude Code、Codex CLI、Cursor间port；(2) 审计层提出'code-level → evidence-to-claim → manuscript-level'三级独立闸门，Stage 3采用零历史fresh reviewer切断executor frame传播，这是Du et al. (2024)与Liang et al. (2024a)的异源辩论工作未给出的具体落地形态；(3) 元优化层实现prototype outer loop——仅当GPT-5.4 xhigh评分 $\geq 7/10$ 的patch才推荐给用户，与Shumailov et al. (2024) model collapse担忧与Bai et al. (2022) RLHF自改进形成对照。

**Figure 2**: Workflow 2: Auto Review Loop

**Figure 3**: Workflow 3: Paper Writing Pipeline

**Figure 5**: Cross-model adversarial collaboration

**Figure 6**: Evidence-to-Claim Audit Cascade

实验结果

由于Aris是工程harness而非纯算法benchmark，无control意义上的sota分数。最具量化支撑的案例是'通宵跑'：约8小时跑完W1→W4，review score从5.0/10提升到7.5/10，4轮review-revise，启动20+次GPU实验并自动移除证据不支持的声称。表3量化部署规模：6 executor平台、6+ reviewer模型（GPT/Gemini/GLM/MiniMax/Kimi/DeepSeek）、4 GPU后端、9 venue模板、ModelScope免付费API、30+社区技能。表4与7系统做6维feature comparison——cross-family=default、adversarial review=✓、composable skills=✓、E2E=✓、assurance stack=✓、cross-platform=✓——Aris全✓，对照组最多4维满足（多为partial）。其他关键数字：阈值6/10、4轮review上限、5遍编辑、20类proof taxonomy、citation-audit三轴验证。

**Table 1**: Current Aris implementation footprint (v0.4, April 2026)

**Table 3**: Deployment footprint as of April 2026

查看结构化数据

任务	指标	本文	基线	提升
长程自动化研究闭环（Idea → Experiment → Paper → Rebuttal）	review score / 轮数 / 端到端时间	一次通宵run：4轮review将score从5.0提升到7.5/10，20+ GPU实验，~8小时	AI Scientist / Agent Laboratory等单模型或紧耦合系统未报告end-to-end夜间轨迹	首次给出量化'夜间跑'：score Δ=+2.5、GPU实验密度20+/夜
6维功能覆盖（cross-family / adversarial review / composable skills / E2E / assurance / cross-platform）	6维布尔覆盖	6/6 全✓	AI Scientist: none/partial/×/✓/partial/×；AI Scientist-v2: none/partial/×/✓/partial/×；Agent Lab: none/×/×/✓/×/×；AutoGen/MetaGPT/OpenHands多为none与partial	6维全部满足，对照组最多4维满足（且多为partial）
Workflow执行可观测性	reviewer模型数 / effort档数	6+ reviewer + 4档effort {0.4, 1, 2.5, 5-8}×，Codex评审固定xhigh推理effort	其他系统多为单一reviewer或硬编码参数	实现'广度/深度/迭代数'独立缩放，reviewer推理预算不变
Citation审计三维独立验证	existence / metadata / context-appropriateness	✓ / ✓ / ✓ 三轴均通过fresh跨家族评审执行，输出per-entry ledger + KEEP/FIX/REPLACE/REMOVE建议	传统自动审稿工具（ReviewerGPT等）多停在text-level feedback	把'真论文支持错声明'这类metadata-passing的隐蔽错误显式建模

局限与改进

作者承认四类局限：(1) 无正确性保证——LLM幻觉与系统方法缺陷无法被跨模型review完全消除；(2) 审计局限——三级级联是advisory safety net非形式化验证；(3) Reviewer偏倚放大——loop可能overfit到reviewer style；(4) 人为责任与安全——repo-level review有confidentiality风险，local-only reviewer路由仍在路线图。我额外观察到：(a) 数字全来自observational run，作者明说需Appendix E compute-matched comparison才能分离异源review因果效应；(b) sciwrite + proof-checker对Zheng et al. (2023) LLM-judge bias与Shumailov et al. (2024)递归退化依然敏感；(c) bandit/game-theory类比被作者明示为'设计类比非形式化regret/equilibrium结果'。

独立分析的弱点

独立审视后四点待改进：第一，'夜间跑'为单轨迹，score 5.0→7.5的提升缺乏多paper、多domain复现，作者强调不能广义化为'cross-family优于same-family'，需control protocol分离异源model与reviewer style两种confound，应加固定prompt/budget/paper pool的随机化对照；第二，Stage 2的integrity_status向下传播，但'partially supported'与'invalidated'灰度缺统一policy，建议引入claim severity分级（cosmetic/local/global，对应proof-checker的two-axis scheme）；第三，meta-optimize outer loop仅prototype依赖人工采纳，无防confirmation bias机制，可借鉴RLHF的disagreement ratio；第四，auto_write:true跳过人类checkpoint，敏感方向应保留为可选。

未来方向

作者三条官方方向：(1) compute-matched comparison分离异源异质性、reviewer数量的因果贡献（Appendix E）；(2) local-only reviewer路由解决confidentiality合规；(3) 用户研究评估生产力真实影响。四条可延伸：(a) 把cross-model accountability primitives拓展到model输出与下游training retention/reward signal之间的中间层，缓解model collapse与LLM-judge bias——作者作为'待检验假说'；(b) research wiki做成可独立FAA发布——8种typed relationships + 4类nodes已构成轻量知识图谱，可与Cypher/SPARQL兼容；(c) FigureSpec→SVG渲染pipeline推广为'LLM生成figure的审计基础设施'；(d) 5-pass sciwrite、20-class proof taxonomy、citation-audit拆成独立benchmark。

复现评估

可复现性总体良好但有约束。代码已开源（github.com/wanshuiyin/Auto-claude-code-research-in-sleep）：65+ SKILL.md、6个MCP桥、ARIS-Code Rust CLI单binary、figure_renderer.py与FigureSpec JSON schema。安装零依赖、ModelScope免付费API。算力单次夜间run需8小时+20+ GPU实验，reviewer侧依赖GPT-5.4 Pro或Gemini等付费模型。复现难度三方面：一是闭源API可能deprecated导致reviewer routing难对齐；二是bandit/game-theory类比未被formalize，独立验证需附录E所述protocol；三是v0.4含65+技能，复现者面对skill数量差异，但SKILL.md是纯文本可git历史定位snapshot。论文self-referential disclosure明示：所有final content由作者人工reviewed accepted。

Aris：通过对抗式多智能体协作实现自主研究 ARIS: Autonomous Research via Adversarial Multi-Agent Collaboration