Code2Math：你的代码智能体能通过探索有效演化数学问题吗？ Code2Math: Can Your Code Agent Effectively Evolve Math Problems Through Exploration?

框架的执行分为以下步骤：（1）数据准备阶段，收集100个来自多样来源（教科书、区域竞赛、IMO、AIME等）的数学问题作为种子，附带参考解答；（2）演化智能体的第一阶段——分析原始问题的解答，识别认知瓶颈（即让问题困难的核心洞察），运用心智理论预判竞赛选手的推理路径；（3）演化智能体的第二阶段——基于对瓶颈的分析，进行自由探索：编写Python代码进行数值模拟、符号计算和穷举搜索，探索可能的变体方向，如更紧的数学界、更精巧的组合构造、数值序列中的隐藏模式等；（4）演化智能体输出新问题陈述和提出的解法步骤；（5）可解性验证智能体的两阶段检查——Phase 1检查问题文本本身是否存在域值不合理、约束矛盾等表面错误（使用SymPy建模验证），Phase 2逐步审计提出的解法步骤，检查冲突、推导错误和逻辑谬误（如循环论证、过度推广、边界忽视等）；（6）难度验证智能体接收原始问题和演化后的问题及其解法，使用5分制评分评估是否真正提升了发现负担，重点关注是否打破了标准解题模板、是否需要顿悟时刻、是否代表了数学上的提升；（7）如果任一验证失败，系统回滚到步骤（3）重新探索，每个种子问题最多20次rollout；（8）验证通过后，将演化问题提交给6个求解器模型（DeepSeek-Chat、DeepSeek-Reasoner、Qwen3-235B、Gemini-3-Flash-Thinking、GPT-5.2-Medium、GPT-5.2-High）进行评估，每个模型最多3次尝试。

本文的技术新颖性体现在多个维度。首先，'发现负担'的定义是对传统难度度量的重要改进——以往的难度评估主要关注计算量或步骤数，而本文将焦点转移到认知洞察力的需求上，这更准确地反映了数学问题的真实难度。其次，将心智理论应用于问题生成是新颖的——演化智能体被要求预判求解者的推理路径并故意制造认知障碍，这使得难度提升是有针对性的而非随机的。第三，5分制难度评分机制将'人工复杂度'（得分1-2）与'认知深度'（得分3-5）明确区分，提供了可操作的难度评估标准。第四，代码执行作为探索引擎的系统化应用——与以往将代码仅用于验证不同，本文将代码执行提升为探索问题空间的核心手段，使智能体能够进行确定性的中间验证。第五，能力不对称性的实证发现——模型可以合成超越自身求解能力的问题，这一发现对自我进化研究具有重要意义。最后，三智能体分解架构将复杂的演化任务分解为可管理的子任务，每个智能体专注于特定的质量维度。

论文存在几个可以改进的弱点。第一，种子问题多样性不足——100个种子问题虽然覆盖了代数、组合、微积分、序列和图论等领域，但规模有限，且主要来自英语竞赛和教材，缺乏对非英语数学传统（如中国高考、日本数学奥林匹克等，尽管案例研究中有所涉及）的系统覆盖。改进方向：构建更大规模、更多语言和文化背景的种子库，并按领域和难度分层采样。第二，演化方向的单一性——当前框架每个种子仅生成一个演化实例，限制了问题空间的探索广度。改进方向：引入多样性奖励机制，鼓励从同一种子生成多个不同方向的演化问题（如从一个组合问题分别向图论、数论、代数方向演化）。第三，效率瓶颈——双验证机制虽然提高了可靠性，但引入了显著的计算开销，Kimi-K2-Thinking平均需要6.55次失败rollout。改进方向：训练专门的小型验证模型替代通用LLM验证，或引入早期剪枝策略在演化过程中提前终止明显无效的探索。第四，缺乏下游训练效果验证——论文仅评估了演化问题对求解器的难度影响，未验证这些用于训练是否能实际提升模型能力。改进方向：将演化问题用于SFT或RLHF训练，评估对模型数学推理能力的提升效果。第五，代码消融实验的非确定性——代码辅助在某些求解器-演化器对上反而提高了求解率（如DS-NT演化的问题被DS-NT求解时，有代码13% vs 无代码11%），说明代码并非总是有益。改进方向：研究哪些类型的数学问题更适合代码辅助演化，建立代码使用的条件决策机制。

论文和基于研究发现可延伸的未来方向包括：（1）提升rollout效率——当前的严格双验证虽然提高了可靠性，但引入了计算开销，未来可以探索更高效的验证策略，如训练专门的轻量级验证模型或引入渐进式验证（先快速筛选再精细检查）；（2）强化可解性保证——虽然内部验证器与外部评判者的一致性很高，但仍有少量不一致案例，未来可以探索更严格的数学证明方法来保证可解性；（3）探索超越数学推理的泛化——当前框架专注于数学问题演化，但代码驱动的探索策略可能适用于其他结构化推理领域，如编程题生成、逻辑谜题设计、科学假设生成等；（4）大规模自我进化循环——论文发现的能力不对称性（模型可以合成超越自身求解能力的问题）为迭代自我进化提供了可能，未来可以探索多轮演化-训练循环，持续提升模型能力；（5）多模态问题演化——当前框架仅处理纯文本数学问题，未来可以扩展到几何图形、数据可视化等多模态数学问题；（6）人机协作问题设计——将智能体的探索能力与人类数学家的直觉结合，辅助人类设计更高质量的竞赛题目；（7）问题难度的细粒度控制——当前的5分制评分较粗，未来可以探索连续难度度量和精确的难度调控机制。

论文在可复现性方面做出了较好的努力。代码和数据已在GitHub开源（https://github.com/TarferSoul/Code2Math），包括种子问题、演化问题、智能体提示模板和评估结果。框架基于Smolagents开源库实现，提供了完整的工具栈（SymPy、Z3、NetworkX、itertools等）。论文详细报告了实现细节：100个种子问题、每个种子1次演化运行、最多20次rollout、最大轨迹长度30步、求解器最多3次尝试、30分钟超时限制、温度设为0。然而，完全复现仍面临一些挑战：（1）计算成本高昂——每个演化问题需要多次生成和验证，使用5个演化模型和6个求解器模型，总计算量可观；（2）模型版本依赖——实验使用了多个闭源模型（GPT-5.2-High/Medium、Gemini-3-Pro-Preview-Thinking等），这些模型的API可能随时间变化；（3）评判者偏差——使用GPT-5.2-High作为统一评判者，虽然人工审计显示高一致性，但不同时间的模型版本可能导致结果差异；（4）随机性因素——虽然温度设为0，但LLM的输出仍可能因API版本更新而有差异。总体而言，对于拥有足够计算资源和API访问权的研究者，复现论文的主要结果是可行的，但精确复现所有数字可能因模型版本差异而有挑战。