面向事实核查全流程的大语言模型阶段性评估框架 Towards Comprehensive Stage-wise Benchmarking of Large Language Models in Fact-Checking

FactArena的方法包含以下具体步骤：第一步，声明提取（Claim Extraction）：给定复杂声明 $C$，目标LLM将其分解为 $k$ 个可验证的子声明 $\{c_1, c_2, ..., c_k\} \leftarrow LLM(C)$；第二步，证据检索（Evidence Retrieval）：使用Google Search获取与声明相关的网页信息 $w \leftarrow Search(C)$，然后目标LLM基于声明、子声明和网页信息生成证据 $e \leftarrow LLM(C, \{c_1,...,c_k\}, w)$；第三步，声明验证（Claim Verification）：目标LLM基于原始声明、子声明和证据生成解释 $r$ 和最终判决 $y$，即 $\{r, y\} \leftarrow LLM(C, \{c_1,...,c_k\}, e)$。在评估阶段，随机选择两个目标模型进行对战，由4个评判智能体（DeepSeek-V3、GPT-o4 mini、Gemini 2.5 Flash、Qwen3 235B）组成评判委员会，基于整合的评估指南进行判断。最后使用Elo和Bradley-Terry算法计算最终排名。

FactArena的技术新颖性体现在多个方面：（1）首次提出全自动的阶段性事实核查评估框架，填补了该领域的空白；（2）设计了评估指南整合机制，通过多轮迭代让评判智能体就什么是合理的声明分解达成共识，评估指南的质量在迭代过程中持续提升，经过3轮迭代后趋于稳定；（3）引入声明进化模块，通过语义反转和针对性进化生成更困难的测试用例，从实验数据看，简单声明经过反转后准确率从100%降至68%，经过多轮进化后继续下降；（4）采用集体智慧原则设计评判委员会，避免单一评判者的偏见，实验证明FactArena的评判与人类专家的一致性达到0.75，显著优于无指南设置的0.69和传统LLM-as-a-Judge的0.66。

基于对论文的深入分析，FactArena存在以下可改进的弱点：（1）声明提取阶段的评估依赖于参考分解，但复杂声明的分解方式可能有多种合理方案，当前评估可能惩罚了虽然不同但同样有效的分解策略，改进方向是引入更多元的参考分解或设计更灵活的匹配算法；（2）证据检索仅使用Google Search的标题和摘要片段，信息量有限且可能包含噪声，改进方向是整合多个搜索引擎结果或引入结构化知识库；（3）声明进化机制虽然能增加难度，但进化后的声明可能偏离原始声明的语义核心，变成纯粹的语言复杂化而非事实复杂化，改进方向是设计更严格的语义保真度约束；（4）4个评判智能体的设置虽然在成本和质量间取得平衡，但实验显示单个DeepSeek-V3即可达到0.67的准确率，而添加GPT-4o后准确率反而下降，表明评判智能体间的协调机制仍有优化空间。

论文作者提出了几个未来研究方向：（1）扩展到多模态事实核查，整合图片、视频等视觉信息的验证能力，这在社交媒体虚假信息检测中尤为重要；（2）探索更丰富的检索源，包括结构化数据库、时间序列信息等，以提供更全面的证据基础；（3）增强评判智能体的多样性，整合不确定性感知评估（uncertainty-aware evaluation），为模型可靠性提供更细粒度的诊断信号；（4）将FactArena部署到真实世界场景中，处理更嘈杂、对抗性更强、快速演变的复杂声明。基于现有成果，还可以延伸以下方向：（5）开发自适应的评判智能体选择机制，根据评估任务动态调整委员会组成；（6）引入因果推理分析，理解模型在每个阶段的决策逻辑；（7）构建跨语言事实核查评估，检验模型在不同语言和文化背景下的泛化能力。

FactArena在可复现性方面做得较好：（1）代码和数据方面，论文提供了详细的提示模板（Appendix A），包含声明提取、证据检索、声明验证、评估指南整合等所有环节的完整提示词，便于复现；（2）算力需求方面，评估16个模型的总API成本约为每模型15美元，耗时约3小时，在当前LLM评估成本中属于中等水平；（3）评估设置方面，所有模型使用temperature=0.0以确保可复现性，每次实验重复3次取平均；（4）数据方面，使用了HOVER和FEVEROUS两个公开数据集，随机选择400个声明。潜在的复现挑战包括：API模型的版本更新可能导致结果变化（论文明确列出了每个模型的具体版本号），以及Google Search结果的时效性可能影响证据检索的复现。