InfoSynth：面向大语言模型的信息引导基准合成框架 InfoSynth: Information-Guided Benchmark Synthesis for LLMs
基于信息论原理自动生成新颖、多样、鲁棒的Python编程问题基准，无需人工验证和模型评估
前置知识
KL散度（Kullback-Leibler Divergence）
KL散度是衡量两个概率分布之间差异的信息论指标，用于量化一个分布相对于另一个分布的距离或信息损失。在本文中，新数据集的分布相对于基线数据集的分布的KL散度越高，说明新数据集包含更多基线中不存在的独特问题，即新颖性越强。由于直接计算连续分布的KL散度不可行，论文使用k近邻估计器进行估计，该估计器通过比较样本点到目标分布和参考分布的k近邻距离来近似计算KL散度值。
本文用KL散度作为核心指标来量化基准的新颖性，这是理解论文评估方法的基础，也是信息论框架的核心组成部分。掌握KL散度的计算原理有助于理解论文如何在不依赖昂贵模型评估的情况下衡量新基准的独特性。
香农熵（Shannon Entropy）
香农熵是信息论中量化随机变量不确定性的指标，用于衡量系统的混乱程度或信息含量。一个完美多样的数据集应该在嵌入空间上类似均匀分布，而均匀分布最大化熵。论文使用微分熵来衡量数据集中问题的多样性，熵越高表示问题在嵌入空间中分布越分散，涵盖的概念和类型越广泛。实际计算中使用Kozachenko-Leonenko估计器进行k近邻估计，该估计器通过计算样本点到其k近邻的平均距离来近似熵值。
本文用熵来量化基准的多样性，这是理解论文如何评估生成问题覆盖范围的关键，也是信息论框架的另一核心指标。理解熵的计算原理和物理意义有助于把握论文如何避免生成过于相似的问题，确保基准的全面性。
遗传算法（Genetic Algorithm）
遗传算法是受生物进化启发的优化算法，通过选择、交叉和变异操作在解空间中搜索最优解。在本文中，遗传算法用于从种子问题生成新问题：变异操作将单个问题修改为三个难度变体（简单、中等、困难），交叉操作将多个问题的核心概念组合成新问题。这种进化策略能够在保留原有问题逻辑的同时，创造出新颖且难度可控的组合问题。论文采用多群落并行结构，每个群落处理一部分种子数据，最终合并并去重形成最终数据集。
遗传算法是InfoSynth流水线的核心生成机制，理解变异和交叉操作对理解如何产生新颖且多样化的问题至关重要。掌握遗传算法的迭代过程和群落结构有助于理解论文如何高效地生成大量高质量问题。
k-近邻估计器（k-NN Estimator）
k-近邻估计器是一种基于局部密度估计的非参数方法，用于估计连续变量的信息论量如KL散度和熵。对于KL散度，估计器通过比较样本点到目标集合和参考集合中k近邻的距离比值来近似计算。对于熵，使用Kozachenko-Leonenko估计器，该估计器通过计算样本点到其k近邻的平均距离并结合双伽马函数和单位球体积来近似熵值。这些估计器在嵌入空间中工作，需要选择合适的k值以平衡偏差和方差。
这是论文实现信息论指标的具体技术手段，理解估计器的工作原理有助于理解论文如何在新颖性和多样性分析中处理高维嵌入空间。掌握k-NN估计器的选择策略和参数调优方法有助于理解论文的实验设计。
UMAP（Uniform Manifold Approximation and Projection）
UMAP是一种非线性降维技术，假设数据均匀分布在黎曼流形上，通过保留局部邻域结构将高维数据投影到低维空间。论文使用UMAP将768维的嵌入向量投影到8到12维空间，以缓解熵估计的维数灾难问题。由于k-NN估计器主要依赖局部几何结构，UMAP的局部保真特性使其适用于这种降维需求。论文使用80个邻居和0.1的最小距离参数，并在投影后重新归一化以对应余弦相似度，确保距离度量的一致性。
UMAP降维是论文计算信息论指标的前置步骤，理解这一技术有助于理解为什么论文能够在计算成本可控的情况下估计新颖性和多样性。掌握UMAP的参数选择和投影特性有助于理解论文的实验设计和结果解释。
研究动机
现有大语言模型评估面临三大严峻挑战。首先，传统基准创建严重依赖人工劳动，例如高质量的数学和编程基准如GSM8K、HumanEval、MBPP等需要大量专家投入，成本高昂且耗时漫长。这种人工依赖限制了基准的规模和更新速度，难以跟上模型能力的快速发展。其次，现有基准经常污染LLM训练数据，模型通过记忆训练数据中的问题而非真正推理能力获得高分。例如Zhang et al. (2024) 发现LLM在GSM1k数据集上准确率下降达8%，尽管GSM1k与广泛使用的GSM8K难度相似但更加新颖。这表明现有评估无法真实反映模型能力，被污染的基准会给出虚高的性能指标。最后，一些自动化基准生成方法使用judge LLM来生成和验证问题，但judge LLM本身可能无法可靠解决生成的问题，导致错误基准的产生。对于Python编程问题，虽然可以通过代码执行验证，但现有方法要么成本高昂（需要SOTA模型评估），要么无法保证正确性。
本文的目标是本文的目标是创建一个自动化、可扩展且可靠的流水线，能够从种子数据集生成新颖、多样且可验证正确的Python编程问题基准。关键是在不依赖昂贵模型评估的前提下，有效量化和控制生成基准的新颖性和多样性，同时通过代码执行保证问题的正确性和鲁棒性。具体而言，论文希望回答两个核心问题：如何有效衡量基准的新颖性和多样性？如何高效生成具备这些优良属性同时确保正确性和鲁棒性的基准？通过解决这两个问题，InfoSynth旨在为LLM评估提供高质量、无污染且持续更新的基准资源。
与已有工作不同的是，本文的独特切入角度在于引入信息论原理来指导基准合成。与依赖test-taker性能来评估基准质量的方法不同，论文提出基于KL散度和熵的新颖性与多样性指标，这些指标可以通过问题陈述的嵌入向量直接计算，无需运行SOTA模型，大大降低了评估成本。与简单使用judge LLM生成和验证的方法不同，论文通过代码执行环境确保生成问题的可验证性，并引入迭代反馈机制提高鲁棒性。与现有数据生成方法相比，论文还创新性地提出了k-最远邻居选择策略，在生成过程中主动过滤过于相似的问题，从而控制新颖性和多样性的权衡。这种信息论引导的方法使得InfoSynth能够在保证正确性的前提下，生成比现有方法更具挑战性和多样性的基准。
核心方法
InfoSynth框架包含两个核心组件：信息论评估指标和端到端生成流水线。信息论框架将基准问题建模为嵌入空间中的样本分布，使用KL散度衡量新数据集相对于基线数据集的新颖性，即新数据集包含多少基线中罕见的样本。使用香农熵衡量数据集内部多样性，即样本在嵌入空间中的分散程度。这两个指标都可以通过k-近邻估计器高效计算，无需昂贵的模型评估。生成流水线采用遗传算法思想，通过变异和交叉操作从种子问题创造新问题，通过迭代代码执行反馈确保解决方案和测试用例的正确性，通过k-最远邻居过滤和MinHash+LSH去重保证新颖性和多样性，最后通过后处理解决边缘情况描述不清晰的问题。整个流程可以生成约1000个问题，其中97%能够通过自验证，平均测试覆盖率达到99%到100%。
核心创新点有三方面：一是信息论驱动的质量评估，首次将KL散度和熵系统性应用于基准质量评估，提供无需模型评估的相对比较指标，使得基准质量评估变得高效且可扩展。二是多难度变异策略，不同于以往单一难度的变异操作，论文在每个变异步骤生成简单、中等、困难三个变体并保留最不相似的两个，这既增加了多样性又提供了难度控制手段，用户可以根据评估需求选择不同的难度配置。三是全历史迭代反馈，将完整的代码执行反馈历史提供给模型，而不仅仅是最后一次错误，这促使模型进行链式思维推理，显著提高问题通过率，实验显示5次迭代后通过率提升约20%。这三个创新点共同使得InfoSynth能够在效率、质量和可控性方面超越现有方法。
方法步骤详情
InfoSynth流水线包含五个主要步骤。第一步是问题生成，采用多群落并行结构，每个群落随机采样种子数据，以50%概率选择变异或交叉操作。变异操作将单个问题修改为三个难度变体（easy、medium、hard），通过添加或移除约束条件来调整难度。交叉操作将2到5个问题的核心概念组合成新问题，创造需要多步推理的组合任务。第二步是k-最远邻居过滤，计算候选问题与已生成问题集合的余弦相似度，保留最不相似的问题以提高新颖性，这一策略在生成过程中主动控制新颖性而非事后评估。第三步是解决方案和测试生成，LLM为每个新问题生成Python解决方案和pytest风格的单元测试，确保问题有明确的正确性标准。第四步是迭代代码反馈，在隔离环境中执行测试，将错误输出反馈给LLM，LLM基于完整反馈历史修改解决方案和测试，最多迭代5次直到所有测试通过，这一机制显著提高了生成问题的正确性。第五步是后处理和去重，使用MinHash+LSH（250个排列，0.75相似度阈值）移除文本相似问题，并通过LLM重新表述问题以明确边缘情况处理方式，最终输出包含问题描述、解决方案、测试用例的完整问题实例。
技术新颖性
技术新颖性体现在多个层面。在评估层面，论文首次将信息论指标系统应用于基准质量评估，提出基于嵌入空间的KL散度和熵计算框架，这一方法具有理论直觉且计算高效，避免了依赖SOTA模型评估的高昂成本。在生成层面，论文的多难度变异策略突破了传统单一变异的限制，能够在保持问题逻辑一致性的同时创造难度梯度，为不同能力水平的模型提供合适的评估难度。在验证层面，论文的全历史反馈机制将简单的错误修复转变为链式思维推理过程，显著提高了生成问题的正确性，这是对传统单次生成验证的改进。在过滤层面，论文的k-最远邻居选择策略主动控制新颖性多样性权衡，这是生成过程中而非生成后评估的创新点，使得流水线能够根据预设目标调整生成策略。此外，论文的实证分析揭示了LLM在处理组合约束、数值敏感问题和深度交叉问题上的系统性局限，这些发现对理解LLM能力边界具有独立价值，为未来模型改进提供了方向。
实验结果
实验结果表明InfoSynth在多个维度上超越现有方法。在新颖性和多样性方面，生成的数据集（MBPP-New、Leetcode-New）显著优于原始种子数据集，即使经过过滤和后处理仍然保持优势。例如Leetcode-New的多样性明显高于原始Leetcode数据集，这说明InfoSynth成功扩展了问题覆盖范围，避免了生成过于相似的问题。在正确性方面，InfoSynth能够在97%的时间生成准确的测试用例和解决方案，平均每个问题包含8.3到10.4个测试用例，测试覆盖率达到99%到100%，人工验证显示96%到98%的问题完全正确，这证明了迭代反馈机制的有效性。在难度方面，InfoSynth生成的基准比现有方法更具挑战性，SOTA模型（o4-mini、GPT-4.1-Mini、Gemini-2.0-Flash、Claude-3.7-Sonnet）在MBPP-New上的通过率比MBPP-Original降低8%到15%，在MBPP-Hard上降低更多，这说明生成的基准确实更具挑战性。迭代反馈在3次迭代后达到边际收益递减点，通过率提升约20%，这为流水线的效率优化提供了指导。后处理步骤为多数测试模型带来5%到15%的准确率提升，这表明减少模糊性对公平评估的重要性。主题覆盖分析显示InfoSynth增加了大多数主题的问题数量，特别是原始数据集中覆盖较少的主题，实现了更全面的问题覆盖。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| MBPP代码生成 | 模型通过率 | MBPP-New数据集上，Qwen2.5-7b模型通过率为45.83%，Qwen2.5-3b模型通过率为38.78%，GPT-4.1-Mini模型通过率为67.35%，Gemini-2.0-Flash模型通过率为49.08%，Claude-3.7-Sonnet模型通过率为42.33%，o4-mini模型通过率为48.47% | MBPP-Original数据集上，Qwen2.5-7b模型通过率为60.43%，Qwen2.5-3b模型通过率为52.41%，GPT-4.1-Mini模型通过率为66.04%，Gemini-2.0-Flash模型通过率为70.86%，Claude-3.7-Sonnet模型通过率为70.05%，o4-mini模型通过率为68.72% | 负提升表示难度增加：Qwen2.5-7b模型降低14.6%，Qwen2.5-3b模型降低13.7%，GPT-4.1-Mini模型降低1.3%，Gemini-2.0-Flash模型降低21.8%，Claude-3.7-Sonnet模型降低27.7%，o4-mini模型降低20.3% |
| Leetcode代码生成 | 模型通过率 | Leetcode-New数据集上，Qwen2.5-7b模型通过率为22.70%，Qwen2.5-3b模型通过率为20.25%，GPT-4.1-Mini模型通过率为48.47%，Gemini-2.0-Flash模型通过率为49.08%，Claude-3.7-Sonnet模型通过率为42.33%，o4-mini模型通过率为48.47% | Leetcode-Original数据集上，Qwen2.5-7b模型通过率为11.84%，Qwen2.5-3b模型通过率为2.63%，GPT-4.1-Mini模型通过率为32.89%，Gemini-2.0-Flash模型通过率为32.46%，Claude-3.7-Sonnet模型通过率为31.14%，o4-mini模型通过率为38.60% | 通过率提升但难度更公平：Qwen2.5-7b模型反而提高91.7%说明原始数据污染严重，Qwen2.5-3b模型提高669%，GPT-4.1-Mini模型提高47.4%，Gemini-2.0-Flash模型提高51.2%，Claude-3.7-Sonnet模型提高36%，o4-mini模型提高25.6% |
| 与现有生成方法对比 | o4-mini模型通过率（越低越难） | InfoSynth生成的基准通过率为48.47% | KodCode方法通过率为75.15%，GeneticInstruct方法通过率为61.00%，AutoCodeBench方法通过率为72.00%，OpenCodeInstruct方法通过率为63.85% | 难度提升显著：比KodCode方法低35.5%，比GeneticInstruct方法低20.5%，比AutoCodeBench方法低32.7%，比OpenCodeInstruct方法低24.1% |
局限与改进
论文承认了InfoSynth的多个局限性。首先，LLM偶尔会生成正确的解决方案但不符合要求的输出格式（如函数签名或结构化测试规范），虽然基于执行的验证缓解了大部分情况，但改进语义解析是自然扩展方向。其次，评估专注于Python问题，虽然InfoSynth在语言上是通用的，但扩展到其他可执行验证语言（如JavaScript、C++、Java）需要额外工作，需要为每种语言开发相应的执行环境和测试框架。第三，相当比例的候选问题无法通过自验证（例如MBPP-New中53.9%被过滤），包括一些新颖或非平凡的问题。论文认为这是有意的设计选择，优先考虑正确性和可评估性而非原始生成量，但未来可以结合更强的验证模型或多模型共识来减少误拒绝率。第四，新颖性和多样性指标在UMAP投影的嵌入空间中使用k近邻估计器计算，UMAP不能完全保持全局几何结构，虽然它设计为保持局部邻域结构，但指标应解释为相对比较而非绝对值。第五，由于过滤步骤，InfoSynth偏向短视界推理问题，尽管这些任务对前沿模型仍然具有挑战性，但扩展框架以促进长视界任务（如多文件项目、系统设计）是有前景的方向。
独立分析的弱点
论文在独立分析方面存在几个可改进的弱点。一是新颖性和多样性权衡的显式控制不够精细，虽然论文观察到高新颖性数据集倾向于聚集在种子嵌入分布的低密度区域（增加新颖性但降低多样性），但缺乏自动化调节这一权衡的机制，建议引入新颖性多样性帕累托前沿分析和自适应阈值控制，让用户可以根据评估需求在更高新颖性或更高多样性之间做选择。二是长视界推理任务生成能力有限，当前流水线通过过滤偏向短视界可验证问题，建议扩展为多阶段验证框架，支持需要多个推理步骤和中间检查点的任务，如多文件项目、系统设计问题、交互式编程任务等。三是数值敏感问题生成不足，分析显示LLM经常产生正确的符号解但难以构造精确数值测试用例（如计算第n个Delannoy数），建议引入符号计算验证器或近似数值匹配机制来处理这类问题。四是评估维度单一，主要关注难度、新颖性和多样性，缺乏对问题教育价值、概念深度、渐进学习曲线等维度的评估，建议开发更全面的多维度基准质量评估框架。五是计算效率仍有优化空间，每次问题需要约7倍问题长度的输入token进行迭代反馈，建议研究更高效的反馈策略如选择性历史回溯或并行假设探索来减少计算成本。
未来方向
论文提出了多个有前景的未来研究方向。首先，框架可以扩展到Python之外的其他编程语言（如JavaScript、C++、Java）和可验证任务类型（如定理证明、形式化验证、科学计算），需要为每种语言开发相应的执行环境和测试框架，这将大大扩展InfoSynth的适用范围。其次，可以探索长视界任务生成，如多文件项目、系统设计问题、交互式编程任务，这需要更复杂的验证框架和评估机制，可能涉及多个相关文件的联合验证和渐进式完成检查。第三，可以结合更强的验证模型或多模型共识来减少误拒绝率，同时保持难度信号，这样可以在保证正确性的同时减少有价值问题的损失。第四，可以研究新颖性多样性难度的三维优化，开发自动化调节策略以满足不同评估需求（如探索性评估vs压力测试），让用户可以通过参数控制生成基准的特性。第五，可以探索人类在环的流水线，让人类专家调整过滤阈值或提供生成方向指导，平衡自动化和质量控制，这在需要特定领域知识的问题生成中特别有价值。第六，可以研究跨领域基准生成，将编码问题与数学推理、逻辑推理、常识推理等其他领域结合，创建更综合的评估基准，更真实地反映模型的综合推理能力。第七，可以开发基准质量预测模型，在生成早期预测问题可能通过过滤的比例，优化计算资源分配，提高整体生成效率。
复现评估
论文在复现性方面表现良好。论文已经开源了所有代码和数据集（使用Apache 2.0许可证），提供了详细的算法描述和超参数设置，包括具体的参数值和选择依据。数据集使用公开可用资源：MBPP使用CC-BY-4.0许可证，Leetcode数据集使用Apache 2.0许可证，APPS使用CC-BY-SA-3.0许可证，Codeforces使用CC-BY-4.0许可证，HumanEval使用MIT许可证，所有使用都符合访问条件。实验细节充分披露：使用GPT-4o作为生成器，all-mpnet-base-v2作为嵌入模型（768维），UMAP使用80个邻居和0.1最小距离投影到8到12维空间，k近邻估计器使用k约等于4用于KL散度、k除以N在0.02到0.04之间用于熵。每个数据集生成约1000个问题，处理时间需要13到27人时。然而，论文未提供具体的计算资源需求（如GPU类型、推理时间），也未提供成本估算，这是完全复现的一个小障碍。总体而言，具备中等计算资源的研究者应该能够在合理时间内复现主要结果，但需要承担一定的GPT-4o API调用成本。开源代码和数据集的提供大大降低了复现门槛，有利于社区的验证和扩展。
论文图表
