AcademiClaw：当学生为AI智能体出题 AcademiClaw: When Students Set Challenges for AI Agents

具体执行步骤分四块。第一，**任务收集**：招募本科生提交真实任务，每个submission采用固定目录布局——workspace/query.md（自然语言提示）、context/（可选参考材料）、eval/rubric.py（实现evaluate(answer_dir)→(score, report)的Python模块，3–6个正交评分维度合计100分）、description.json（声明deliverables、时间预算、CPU/GPU需求、评分维度）。第二，**两轮专家筛选**：在230份候选中，第一轮剔除rubric缺陷（57份，包括不可复现、可被hack或过于粗糙）、提示歧义或缺少交付物定义（34份）、难度不匹配（28份）、领域过度代表（18份）、环境不可复现（13份），共淘汰150份；第二轮用五维标准（清晰度、正确性、可复现性、难度校准、覆盖平衡）独立双盲评分，分歧通过讨论解决，并对通过rubric正确性的任务再次用OpenClaw + Claude Sonnet 4.6端到端跑一遍以确认pipeline完整，最终保留80份（49英文+31中文）。第三，**沙箱执行**：评测引擎先把任务路由到CPU或GPU镜像（依据Dockerfile FROM、.cu文件、.env CUDA关键词、查询关键词四类启发式，逻辑或合并），启动OpenClaw agent，给它统一工具面板（read/write/edit/exec/grep/glob/headless browser），60分钟超时内自主迭代；执行前后做文件系统快照diff，把'agent创建或修改的文件'喂给评分器，避免预置文件污染分数。第四，**多维评分**：rubric.py按6种技术组合打分——正则/AST匹配（结构与代码模式）、代码执行（编译运行agent产出并对拍）、LLM-as-Judge（用GPT-5.2统一裁判评分开放式deliverable，配确定性heuristic兜底）、视觉LLM评分（截图与参考图比对）、E2E浏览器测试（Playwright启动服务、交互元素、像素比对）、结构化输出校验（JSON schema、CSV程序化验证、BibTeX模糊匹配、Excel单元格检查）；同时安全审计器对完整工具调用轨迹做五类规则检测（S1破坏性、S2泄露、S3边界合规、S4权限升级、S5供应链），每类独立0–100分；API代理拦截所有LLM调用记录token、时延、成本。

从技术新颖性角度看，本文的贡献不在于某个具体算法或模型结构，而在于评测方法论上的三处实质性突破。其一，'用户驱动难度校准'机制——通过强制要求贡献者证明题目曾让至少一个主流agent失败（adversarial human-in-the-loop，类似Kiela等人2021年提出的Dynabench思路），把难度分布自然锁定在AI能力边界，避免了研究员自上而下设计时常见的'难度要么太容易要么不可复现'问题，80道题里有23道让所有模型全军覆没（28.8%），其中8道所有模型得分低于50，充分验证了这种校准机制的有效性。其二，'多技术融合的多维评分'——大多数现有benchmark只用单一指标（如pass/fail、reward model），而AcademiClaw让每道题同时调用6种互补的验证手段，且维度正交可加，使评分同时具备确定性、可复现性与语义判断能力；以en_blackhole_visualization任务为例，五维评分（结构校验10分+AST匹配15分+LLM裁判代码25分+代码执行+E2E测试25分+视觉LLM截图比对25分）恰好覆盖所有六种技术，Claude Opus在该任务得71分（结构8、技术架构满分、物理/视觉逻辑19、交互UI 19、视觉相似度仅10），最后一项的悬殊得分（GPT-5.4只拿2/25、MiniMax拿0/25）正是单一指标永远捕捉不到的细粒度信号。其三，'评测与安全的耦合'——把五类安全审计嵌入评测流水线而非事后分析，并揭示了'质量与安全几乎独立'（|r|<0.29，5/6模型p>0.05）这一反直觉发现，意味着安全护栏不必以质量为代价。

独立分析AcademiClaw自身的方法学弱点，至少有以下四点，每点对应一个可改进方向。第一，**用户贡献者偏差放大**——所有贡献者来自同一门LLM技术课的本科生，必然偏向'CS与AI相关'主题，导致21个Research & Analysis任务里相当比例仍是CS工具链/ML工程任务，缺少生物、化学、历史等人文领域的研究型任务（虽然有zh_shengwu_zongshu生物综述，但该任务均分仅39.2，6个模型中3个低于20分），改进方向是引入跨学科招募机制并设定每学科最低配额。第二，**judge模型单一选型风险**——所有LLM-as-Judge维度统一调用GPT-5.2，虽然选型时比对了4个候选（Sonnet 4.5 r=0.93、GPT-5.2 r=0.91、Opus 4.5 r=0.87、GLM-5 r=0.82），但单一judge带来的'裁判偏好'无法消除（例如GPT-5.2可能对代码风格、长文本组织有自己的偏好），改进方向是引入多judge ensemble或周期性重新校准。第三，**多维评分的可加性假设**——3–6个维度直接求和得100分隐含各维度等权且独立的假设，但某些任务中视觉相似度（25分）与代码正确性（25分）显然不等权，en_blackhole_visualization案例中视觉相似度差异（10分vs 0分）就直接决定整体通过与否；改进方向是引入任务特定的维度权重或学习权重。第四，**沙箱超时60分钟一刀切**——所有任务共用同一60分钟预算，但简单的语言类任务（如zh_zuowen_pingfen）几秒就能完成，而en_speculative_decoding等GPU密集任务60分钟未必够，改进方向是基于description.json里的'estimated time budget'做差异化超时。

作者明确提出的未来方向有三：（1）将任务来源扩展到更多学校与学科，增加样本量与代表性；（2）引入Pass@k（k=3、5）与反馈重试协议以获得更稳定的能力估计，并研究agent从失败中学习的效率；（3）把leaderboard扩展到GPT-5.5、Claude Opus 4.7、DeepSeek、Kimi等更新模型。基于本文成果还能延伸出多个有价值的研究方向：（a）'行为表型-安全风险'因果机制研究——本文已观察到execute-first表型与S3低分高度相关（Gemini Exec%=74.3%、S3=31.6；Opus Exec%=37.8%、S3=83.8），但因果方向（是高频执行导致越界，还是模型本身越界倾向高才高频执行？）尚未厘清，可做工具介入实验；（b）'token-saturated reasoning'的诊断信号——既然token与质量r≈-0.03，可以基于执行轨迹训练一个'early stopping classifier'，在r趋于下降时主动终止；（c）'失败模式聚类'——23道全军覆没任务是否共享某些结构特征（如需要长程状态保持、跨工具数据流、严格形式推理），聚类后可以做针对性的训练数据合成；（d）双语任务的language-specific失败模式——zh任务里zh_yuyanxue_aosai（语言学奥赛）、zh_jiazu_tupu（百年孤独家谱）、zh_shuangpin_jiucuo（双拼纠错）都呈现极高方差（σ分别19.1、44.5、21.1），暗示中文任务可能更依赖文化背景知识，未来可专门设计culture-grounded子基准。

复现评估总体良好但存在若干门槛。**有利面**：所有数据、rubric代码、Docker脚手架与本文作者亲自撰写的任务提示都以Apache 2.0协议开源在https://github.com/GAIR-NLP/AcademiClaw，第三方参考资料（如课程材料、奥赛题目、论文）保留各自上游许可并在description.json里声明；评测使用单一固定OpenClaw版本（2026.3.13, commit 61d171a）烘焙进镜像；judge模型统一用GPT-5.2且解码配置固定（temperature 0、top-p默认，文本裁判最大2048 token、视觉裁判1024 token）；六款被评测模型的版本号、API来源均显式列出。**门槛面**：（1）算力门槛——80任务中16个需要CUDA GPU，作者配置了'dedicated CUDA-enabled worker pool'且8任务并行，单GPU卡不一定够，建议至少1张A100级别；（2）成本门槛——judge模型调用GPT-5.2按API计费，加上六款被评测模型的API调用（其中Gemini 3.1 Pro平均每任务2,857K token消耗最大），完整复现一次80任务成本估计数百到上千美元；（3）依赖门槛——沙箱镜像打包了Python 3.11、Node.js 22、CUDA 12.2 + cuDNN、Playwright、PyTorch、JDK、LaTeX等十余种依赖，本地首次构建镜像可能需要数小时；（4）评分rubric门槛——每道题都带自定义的rubric.py（3–6个正交维度合计100分），需要测试人员具备Python与AST处理能力才能修改；（5）评测执行门槛——单任务60分钟超时、8任务并行、80任务约需10小时连续运行。整体而言，**数据/代码/镜像都开源，但完整复现需要一定的GPU资源与API预算**，对学术实验室基本可达，对个人研究者则门槛偏高。