Wiki Live Challenge：用专家级维基百科文章挑战深度研究智能体 Wiki Live Challenge: Challenging Deep Research Agents with Expert-Level Wikipedia Articles

Wiki Live Challenge的执行分为以下步骤：第一步是数据收集与筛选，从2025年3月1日至12月1日期间所有新创建的维基百科文章中，筛选出304篇通过GA审核的文章，再根据参考URL数量和结构深度排序，排除简单的列表式文章，最终精选100篇GA文章。这些文章覆盖15个主要领域（艺术与建筑、工程与技术、历史、语言与文学、媒体与戏剧、音乐、自然科学、哲学与宗教、政治与政府、社会与社会、体育与娱乐、视频游戏、战争等），平均每篇3052词、48.3个参考文献、149个事实点。第二步是任务构造，为每篇文章生成研究提示，包含当前日期和维基百科GA标准，明确禁止访问目标维基百科页面（-site: wikipedia.org）。第三步是DRA执行任务，各被测系统在2025年12月15日至19日期间生成研究报告。第四步是Wiki Writing评估，使用Gemini-2.5-pro作为Judge LLM，对每对文章（维基百科原文 vs AI生成）在39个GA标准上逐一判断优胜者，公式为 $Judge(w_i, g_i) = Judge\text{-}LLM(w_i, g_i)$，其中 $w_i$ 为维基百科参考，$g_i$ 为生成文章。第五步是Wiki Fact评估，先用Gemini-2.5-flash作为提取LLM，从两篇文章中分别提取事实列表和陈述-URL对；然后计算覆盖率 $Cov.\ Wiki. = \frac{1}{|F|}\sum_{f_i \in F} Fact(f_i, G)$，其中 $F$ 为维基百科事实集，$G$ 为生成文章事实集；最后计算引用准确性 $Ref.\ Acc. = \frac{1}{|S|}\sum_{s_i \in S} Fact(s_i, R)$，其中 $S$ 为陈述-URL对列表，$R$ 为参考内容。

本文的技术新颖性体现在多个层面。首先，在评估范式上，WLC开创性地将撰写维基百科文章定义为DRA的标准化任务，这种任务定义既自然又具有挑战性，因为维基百科GA文章本身就是百科全书式研究的典范。其次，在评估框架设计上，Wiki Eval将维基百科官方的GA标准（写作良好、中立性、覆盖面广、可验证性）转化为39个可操作的评估维度，这种标准对齐的方法确保了评估的权威性。第三，在事实评估上，本文提出的双重验证机制（覆盖率+引用准确性）是首创，能够同时评估信息完整性和引用可信度，而现有工作通常只关注其中一个维度。第四，在防泄漏设计上，本文通过任务提示中的明确禁令和评估时的陈述级过滤（剔除直接引用目标维基百科页面的陈述）来应对数据污染问题，并量化了各系统的泄漏率。第五，在评估结果分析上，本文不仅报告总体得分，还分析了不同领域的难度差异（历史和数学领域平均胜率低于20%，自然科学超过40%）、任务难度与文章特征的相关性（与页面浏览量中度相关r=0.482，与文章长度无关）、以及不同Judge LLM与人类判断的一致性。

本文存在几个值得关注的弱点。首先，在评估维度设计上，39个写作标准虽然细粒度，但全部基于维基百科GA标准，这可能不完全适用于评估所有类型的研究报告。例如，学术文献综述可能更强调方法论分析和批判性思维，而维基百科标准更侧重中立性和全面性。改进方向是针对不同研究任务设计专门的评估维度。其次，在事实覆盖率评估中，仅使用Gemini-2.5-flash作为提取和事实检查LLM，单一模型可能引入系统性偏差。建议使用多个模型进行交叉验证或集成评估。第三，在Judge LLM评估中，虽然测试了6个不同模型，但只在10个文章对上进行了人工标注验证（390个标准标注），样本量相对较小，可能无法充分反映不同领域和难度水平下的评估一致性。第四，在防泄漏设计上，虽然通过任务提示禁止访问维基百科，但仅通过过滤引用了目标维基百科页面的陈述来处理泄漏，可能无法识别其他形式的泄漏（如通过搜索引擎间接获取维基百科内容）。第五，在实验设计上，所有DRA系统在同一批文章上评估，但不同系统的部署时间、模型版本可能存在差异，这可能影响结果的公平比较。

本文作者提出将持续维护和扩展基准以更好地反映不断变化的现实世界条件。基于当前成果，可以延伸以下研究方向：（1）扩展评估任务类型——将WLC框架应用于其他类型的研究任务，如学术文献综述、技术报告、政策分析报告等，设计相应的评估标准；（2）深入研究Judge LLM的优化——探索更好的评估模型训练方法，提高与人类判断的一致性，目前最好的模型也只有83.59%的一致性率；（3）开发自动化的事实检查系统——当前的事实覆盖率和引用准确性评估依赖LLM，未来可以开发更可靠的自动化验证工具；（4）研究DRA的改进策略——基于评估发现的具体弱点（如历史和数学领域表现差、专业术语覆盖不足），设计针对性的训练方法或提示工程策略；（5）构建多语言基准——当前仅使用英文维基百科，可以扩展到其他语言版本，评估多语言DRA的能力；（6）探索人机协作评估——结合人工评估和LLM评估的优势，设计更可靠的混合评估方案；（7）研究评估偏差的来源和缓解方法——系统分析Judge LLM在不同标准、不同领域上的偏差模式。

本文在复现性方面表现良好。作者在GitHub上开源了基准数据集（https://github.com/WangShao2000/Wiki_Live_Challenge），便于其他研究者使用和扩展。评估使用的LLM（Gemini-2.5-pro、Gemini-2.5-flash）均为公开可用的商业API，虽然需要付费但可获取。数据收集时间窗口（2025年3月至12月）和评估时间（2025年12月15日至19日）都有明确记录。39个写作评估标准基于维基百科官方GA标准，是公开可查的。然而，复现存在以下挑战：（1）被评估的DRA系统大多为闭源商业产品（OpenAI o3、Gemini-2.5-pro等），无法完全复现其生成过程；（2）评估成本方面，使用Gemini-2.5-pro作为Judge LLM每篇文章平均花费0.132美元，100篇文章约13.2美元，加上事实检查的成本，总评估成本可能在数十美元量级；（3）维基百科GA文章是动态更新的，不同时间收集的数据集可能不完全相同；（4）部分DRA系统（如Deep Researcher）的开源版本可能与论文中使用的版本存在差异。总体而言，数据和评估框架的复现难度较低，但完整复现所有被测系统的结果较困难。