Apodex Discovery：评估与构建发现型AI的现实基准与可执行环境 Apodex Discovery: Reality Benchmarks and Environments for Evaluating and Building Discoverative Artificial Intelligence

第一步，问题侦察（Figure 2）：10 名 STEM 博士组成团队，自下而上构建 561 个互斥行业的主分类（并与美国政府 Genesis Mission 的挑战领域清单交叉核对），按三维度独立评估后由人工评审选出横跨 8 个板块、每板块不超过 2 个的 10 个领域（生物信息与基因组医学、科学推理基础模型、科学 HPC 代码生成、医疗 IT 与数字健康、天气驱动商品与能源预测、结构土木工程、AI 辅助芯片设计 EDA、市场数据与金融指数、材料发现、工业自动化）；扩展成 423 个候选问题后按七条要求筛选，发布 20 个问题、17 个环境、218 个 episode，覆盖回顾式设定（创建者持有被扣留的已知结果）与前瞻式设定（发现挑战，评估开始时无权威答案，如帕金森病模型中基于全基因组存活筛选的保护/有害基因签名做因果性化合物重定位）。第二步，环境构建：manifest 声明任务、目标结果、隐藏验证器、数据、工具与预算；episode 实例化具体数据/种子/预算并保持隔离——隐藏真值结构性不可达、执行被封闭以防外部检索答案或结果外泄。第三步，验证：结果验证对最终提交 $V^{\text{out}}_{\text{final}}(y, y^\star) \to r_{\text{final}}$ 与各子任务 $V^{\text{out}(i)}(y_i, y_i^\star) \to r_i$ 分别打分，真值不可得时用代理（如 AAV 用高通量筛选测得的包装适应度），每个高风险验证器内置泄漏检查硬门，所有结果在 floor（随机/默认）与 ceiling（oracle/最强已知解）之间线性归一到 0–1；过程验证双路评分——子量规法（六能力 25 子能力、0/1/2 档、三模型对抗仲裁）与承重步骤法（重建轨迹依赖图、从提交反推权重找出承重步、由看不到求解器推理的模型面板独立重解每个承重步、按连续偏差加权聚合）。第四步，修复：把低于顶档子量规的"建议档位跃迁"与出错承重步的定位反馈综合成修复备注（不含结果、真值、分数），插入提示词后在相同条件下重跑并重评分。第五步，归因消融：两层设计——solver-configuration 层固定 episode 接口换脚手架与模型（6 脚手架 × 6 模型），episode-mechanism 层固定系统后开关初始技能引导与提交前验证器引导，量化框架本身与过程引导各自贡献。

技术新颖性体现在四个层面。其一，评测对象与归因方法：把脚手架视为被测系统的一部分而非固定基础设施，配合统一接口实现组件级归因——同一 claude-opus-4-8 在领域环境 0.741 vs Claude Code 脚手架 0.716、ApodexHarness 在 GPT 与 Opus 两个模型上都领先 OpenHands（0.592 vs 0.560、0.611 vs 0.578），这类"脚手架效应独立于模型存在"的结论在模型与脚手架耦合的现有基准（Claude Code 只配 Claude、Codex 只配 GPT）里根本无法得出。其二，过程验证的系统化：现有过程监督（过程奖励模型、ProcessBench）集中在短数学推理链上的步级标注，HDS6 把过程评测扩展到长程、工具密集、领域异构的真实轨迹，且三重盲评（无结果、无身份、无私有思维链）+ 引文落地 + 对抗仲裁，专门防"为评分而表演"；承重步骤法把单一标量诊断升级为"哪一步、错在哪、该怎么改、下一步查什么"的定位，且明确区分于环境设计时锁定的任务分解——承重步由过程验证器从单条轨迹中有机发现。其三，防作弊制度化：交付物常是训练好的模型、策展语料或数据流水线，最便宜的作弊是把隐藏评测数据走私进提交物，因此每个高风险环境内置泄漏检查硬门（如数据采购环境度量隐藏评测文本在提交语料中的复现率、去重环境要求流水线删除评测数据的每个副本），违规直接判负。其四，前瞻式发现挑战：在答案尚不存在时先冻结提交与评分规则、封存对照基准与部分排序，随真实实验（单细胞存活实验）与封存证据揭晓再结算，把"基准"延拓为可随时间结算的科学预言登记处。

弱点一：HDS6 与结果的相关性在生物医学域偏低（AAV 仅 $\rho=+0.24$，而训练系统域 +0.65），且修复增益分布极不均匀——solution_verifier 与 aav_viability 最高（+0.365/+0.360）而 pretrain_data_filter 反而 −0.077（51 条中 20 条下降），说明过程诊断在部分域可能系统性误导修复方向。改进方向：按域校准子量规锚点、引入湿实验模拟器提供中间真值、对修复建议先做离线回测（预测哪些缺陷值得修）再下发。弱点二：修复闭环无对照组，+0.155 的均值可能混入重跑方差，86 条下降的轨迹尤其可疑——是修复建议误导还是正常波动无法区分。改进：同批缺陷轨迹做"无备注重跑"配对实验，报告配对差值的置信区间。弱点三：单任务 episode 太少（SWE-agent 训练 1 个、质量过滤 2 个、临床试验 3 个），且 episode-mechanism 消融每实例只跑一次，论文自己承认小差异不可作因果解释。改进：优先扩充 episode 数量并报告跨实例、跨种子的方差。弱点四：过程验证器本身是 LLM 智能体，存在被"表演给裁判看"的轨迹博弈风险——求解器可以学会写漂亮的证据链与假设管理戏剧而结果仍错，尤其是当 HDS6 被用作训练目标时这种 Goodhart 效应会放大。改进：用已知结果的回顾集做校准曲线、加入对抗性红队轨迹测试裁判稳健性、保持结果验证为最终裁决。弱点五：头部结果依赖闭源前沿模型（GPT-5.5/5.6、claude-opus 等）与未开源的 apodex-1.1，供应商版本漂移会破坏可比性，SOTA 声明无法被独立复核。改进：固定开源参考求解器与版本化模型快照，发布全部 218 episode 的原始轨迹供第三方重评。

作者明确提出的方向：(1) 把 423 问题库逐步落地为更多可执行环境，扩展到更多科学、工程、金融、医疗、工业域，未来版本持续发布；(2) 改进过程验证与结果验证的对齐，并在更广应用上证明 HDS6 的有效性；(3) 首个发现挑战（帕金森病功能筛选化合物匹配）的头部候选将推进到单细胞存活实验，待封存对照与真实结局揭晓后按预冻结的评分规则结算，这本身就是一条"基准随科学进展而结算"的新路线。基于成果可自然延伸的方向：(4) 把 HDS6 过程分作为强化学习的过程奖励/监督信号训练发现型智能体——论文只把 HDS6 用于评测与修复引导，而其结构化、可定位、可对抗仲裁的特性天然适合做 reward model；(5) 区间校准型修复——案例研究明确指出剩余误差在校准轴（提交 2471 vs 真值 1505 过冲），下一轮修复应瞄准区间宽度与置信校准；(6) 技能库的自动搜索与匹配——消融显示技能引导效果强依赖求解器配置（对 OpenHands–GPT +0.196/–0.327、对 Claude Code–Opus 反而负增益），可学习"哪种技能配哪种 harness–model 组合"；(7) 利用 Table 4 的机会矩阵构造按能力配平的最小评测套餐，使六个 HDS6 能力都能被高效覆盖；(8) 把发现挑战扩展为持续运行的前瞻性预测登记处，与外部实验进展自动联动结算。

复现评估：TRACES 基准随论文发布于 discovery.apodex.com——17 个可执行环境、218 个 episode，全部带隐藏验证器，其中 2 个支持完整验证–修复回路；附录 A 给出领域与问题清单、附录 B 给出 AAV 全部任务定义/指标/切分/逐实例结果、附录 C 给出完整 harness×model 结果矩阵（11 环境）、附录 D 给出 DRR 完整任务与推理轨迹及过程评分示例，透明度在同类技术报告中属于高位。但完整复现有三重门槛：其一，头部结果依赖闭源前沿模型（GPT-5.5、GPT-5.6-sol、claude-opus-4-8/5、kimi-k3、glm-5.2、deepseek-v4-pro）与自研 apodex-1.0/1.1（论文未说明开源），超越 SOTA 的 apodex-1.1 数字无法独立复核；其二，HDS6 过程验证是三模型智能体流程（提案/对抗/仲裁、引文落地）加承重步面板重解，单条轨迹的评判算力远超普通基准，大规模重评成本高；其三，生物医学环境需要领域专家与外部数据授权（Bryant/Ogden 深度突变筛选、Fit4Function 筛选、LY6A/LY6C1 结合测量、临床试验数据），基线（CAP-PLM、Fit4Function、AlphaFold 3、AAVGen/AAVDiff/ALICE）各有专门基础设施。对工程师而言，跑 LLM 工程类环境相对可行（OpenHands、DeerFlow、A-Evolve 均开源，验证器如 held-out loss、位精确性套件可按需重算）；复刻生物医学环境与整套 HDS6 评判系统则接近重建一个小型研究团队两个月的工作量。综合评级：使用环境中等难度，完整复现框架困难。