ResearchMath-14K：通过智能体扩展研究级数学数据 ResearchMath-14K: Scaling Research-Level Mathematics via Agents

数据集构建包含五个主要步骤。第一步是源文档收集，从三个流收集1,233个文档：arXiv开放问题论文（524文档，8,182问题）通过搜索标题和摘要中的open problems或unsolved关键词；开放问题网页（161文档，5,331问题）通过Google搜索发现，覆盖academia.edu、MathOverflow和Wikipedia等；问题会话单页和策展列表（548文档，7,322问题）包括AIM式研讨会问题会话和会议开放问题轮次。第二步是Extractor智能体处理，每个源文档运行一次，首先确认文档确实包含问题列表，然后端到端读取论文，提取每个开放问题的逐字引用和一级重写，平均每篇文档提取16.9个问题（中位数10，最大358）。第三步是Refiner智能体精炼，重读原始论文内联每个问题所需的定义和假设，搜索最多10篇引用或扩展该源文档的后续论文，将问题标记为开放、部分解决、已解决或未知，最终产生平均1,192字符的自包含陈述，比Extractor阶段增加4.1倍。第四步是去重过滤，使用Qwen3-Embedding-8B对所有问题进行嵌入，计算原始陈述和自包含重写的成对相似度，设置0.9的相似度阈值，保留arXiv或论文源的版本，丢弃Google搜索发现的版本，最终得到14,056个问题。第五步是难度验证，与AceMath、AIME、HLE-Verified和NuminaMath进行比较，从每个数据集采样90个问题，考虑所有10个数据集对的1,000个随机交叉问题对，使用GPT-5-mini沿知识性、新颖性和程序性三个轴进行两两比较，计算Elo评分。

技术新颖性体现在多个方面。首先是规模与质量的突破：RESEARCHMATH-14K是最大的研究级数学问题集合，比FrontierMath（25题）大562倍，比Soohak（439题）大32倍，同时保持高自包含率（94.2%）。其次是自动化提取的创新：首次实现从数学文献中大规模提取和转换问题的自动化流程，避免了人工编写的高昂成本。第三是训练信号的新视角：探索使用错误但合理的推理轨迹作为训练数据，打破了必须完全正确的传统观念。第四是行为分析的新方法：结合规则计数器和智能体审查两种方法系统分析LLM的引用行为和真实性，发现了新模型倾向于生成更多虚假引用的令人担忧的趋势。最后是多领域覆盖：数据集涵盖11个一级领域（分析、数学物理、离散数学、几何拓扑、数论、代数与表示理论、应用与计算数学、概率统计与机器学习、逻辑基础、计算机科学、跨学科）和28个宏观主题，覆盖8,313个开放问题（59.14%）、2,489个未知状态问题（17.71%）、2,083个部分解决问题（14.82%）和1,171个已解决问题（8.33%）。

本文存在几个可以改进的弱点。第一，问题状态检查不够及时可靠，Refiner智能体搜索后续论文来检查问题是否已被解决，但最新进展可能尚未发表或未被索引，导致状态标记滞后。改进方向是建立动态更新机制，定期重新检查问题状态。第二，去重过滤可能过于激进，0.9的相似度阈值虽然经过人工验证，但仍可能删除一些不同但表述相似的变体问题。改进方向是分层去重，保留不同难度级别或表述变体的问题。第三，教师轨迹过滤依赖昂贵的智能体审查（包含多次网络搜索API调用），限制了过滤规模。改进方向是开发更高效的自动过滤器，减少对付费API的依赖。第四，微调实验仅在Qwen3系列模型上验证，缺乏跨模型族的泛化性验证。改进方向是在更多模型族（如DeepSeek、Kimi）上验证训练信号的有效性。第五，行为分析关注引用真实性，但未深入分析推理质量的维度。改进方向是开发更细粒度的推理质量评估指标，如论证逻辑性、步骤完整性、反例测试等。

作者提出的未来工作方向包括：在更大规模上测试过滤后推理轨迹的效用，当前5,000条轨迹的规模相对较小；探索何时需要完全正确的轨迹来实现可靠的证明行为，因为目前还不清楚在哪些任务中部分正确的轨迹足够，在哪些任务中必须完全正确。基于本文成果可延伸的方向包括：将RESEARCHMATH-14K与形式证明环境（如Lean）结合，构建可验证的推理数据集；开发更智能的问题难度预测和自适应训练机制；研究如何利用错误但合理的轨迹进行强化学习，奖励合理的推理路径而非仅奖励正确答案；探索跨领域泛化，测试在数学研究级数据上训练的模型是否能在其他科学领域的研究级推理任务上受益；构建动态更新的研究级数学问题数据库，跟踪问题解决进展；开发更精细的模型行为分析工具，不仅检测虚假引用，还检测推理谬误、逻辑漏洞等。另一个有前景的方向是研究如何让模型真正学会研究级数学推理的关键技能，如问题分解、引理构建、反例搜索、不确定性下的推理等，而不是仅仅模仿研究数学的表面形式。

复现评估：RESEARCHMATH-14K和RESEARCHMATH-REASONING已在Hugging Face公开发布（MIT许可证），包含完整的问题陈述、领域元数据、来源和解决方案字段（如果适用）。Extractor和Refiner智能体的详细prompt在附录H中提供。去重过程使用的模型（Qwen3-Embedding-8B）和阈值（0.9）明确说明。行为分析的规则计数器关键词列表在附录C.1中完整列出。微调实验使用LoRA在Qwen3-4B/8B/30B-A3B-base模型上进行，训练配置在附录G中描述。评估在AIME 2024-2026（n=90）、HLE-Verified（n=315）和SOOHAK（n=501）上进行，使用math-verify进行评分。主要缺失的信息包括：Extractor使用的Codex版本未明确说明，Refiner使用的Claude Code和Opus 4.7的具体配置未提供，网络搜索API的具体服务未说明，训练超参数（如学习率、批量大小、训练轮数）在正文中未报告。总体而言，复现难度中等，主要挑战在于获取与论文相同的闭源模型（Codex、GPT-5.5、Claude Code Opus 4.7、GPT-OSS-120B）和付费API（网络搜索），但数据集和开源部分的可复现性良好。