← 返回 2026-04-14

QuanBench+:面向大语言模型量子代码生成的统一多框架基准 QuanBench+: A Unified Multi-Framework Benchmark for LLM-Based Quantum Code Generation

Ali Slim, Haydar Hamieh, Jawad Kotaich, Yehya Ghosn, Mahdi Chehimi, Ammar Mohanna, Hasan Abed Al Kader Hammoud, Bernard Ghanem 📅 2026-03-25 👍 126 2026-07-13 08:36
Cirq Pass@k PennyLane Qiskit 代码生成评估 大语言模型基准 量子代码生成
arXiv HuggingFace PDF

提出统一多框架基准Qiskit/PennyLane/Cirq，评估LLM量子代码生成的跨框架可靠性。

前置知识

Pass@k 指标

Pass@k 衡量代码生成模型在 $n$ 个样本中至少 1 个通过测试的概率,公式 $\text{Pass@k} = 1 - \binom{n-c}{k}/\binom{n}{k}$。Pass@1 测贪心首试命中,Pass@5 测多次采样。

QuanBench+ 主评估指标就是 Pass@1 与 Pass@5,理解二者对采样多样性的依赖差异,才能读懂多采样为何普遍高于首试。

量子比特与测量分布

量子比特状态 $|\psi\rangle=\alpha|0\rangle+\beta|1\rangle$, $|\alpha|^2$ 与 $|\beta|^2$ 是测得 $|0\rangle$ 与 $|1\rangle$ 的概率。$n$ 比特系统输出 $2^n$ 个基态之一及其分布。

QuanBench+ 大量任务是概率性任务,正确性用分布匹配而非确定值判定,这是引入 KL 散度判据的根本原因。

KL 散度

KL 散度衡量两分布差异,$D_{KL}(P\|Q) = \sum_x P(x) \log\frac{P(x)}{Q(x)}$。实际中常加平滑常数 $\epsilon$ 避免 $Q(x)=0$ 时的数值爆炸。

论文用 KL 阈值 $\tau=0.05$ 判定概率性任务是否正确,阈值由 $R=1000$ 次标准电路重复的零分布校准,是评估方法学关键。

量子编程框架 (Qiskit/PennyLane/Cirq)

Qiskit (IBM) 提供门级电路构建与执行;PennyLane 专注量子机器学习与自动微分;Cirq (Google) 面向 NISQ 算法,三者在 API 风格、电路构建方式、模拟器接口上差异显著。

三框架的 API 差异是 LLM 跨框架表现差异的主要来源,理解差异才能解释实验中的框架不对称现象。

代码级反馈回路

代码级反馈回路:模型首生成代码,若执行报错或答案错,系统将异常堆栈或错误信号连同原 prompt 回喂,要求其修正,最多 5 次迭代修复。

论文将 Pass@1 (FB) 作为重要维度,模拟 LLM 智能体在真实开发中的迭代调试,反馈修复能恢复多少首试错误直接决定 LLM 实用化边界。

研究动机

现有的量子代码生成评估体系存在严重的框架局限。Qiskit HumanEval (Vishwakarma et al., 2024) 只测 Qiskit, QHackBench (Basit et al., 2025c) 偏重 PennyLane, QCoder Benchmark (Mikuriya et al., 2025) 聚焦模拟器反馈, QCircuitBench (Yang et al., 2024) 与 QuanBench (Guo et al., 2025) 虽任务更广但仍多绑定单一框架。这种局面让研究者难以区分两类失败:一类是真正的量子推理错误 (算法结构错、测量逻辑错),另一类是框架 API 误用 (错用函数、漏掉测量、模拟器调用错)。更棘手的是,量子程序输出是概率性测量分布而非确定值,HumanEval 那种确定性 assert 的评测范式无法直接迁移,导致 LLM 在多框架下的真实可用性是黑盒。

本文的目标是本文要构建一个跨 Qiskit、 PennyLane、 Cirq 三大框架的统一基准 QuanBench+,在固定任务意图 (task intent) 的前提下,只改变目标框架,使得 LLM 的失败可以归因到'量子推理'或'框架熟悉度'两类原因。具体目标包括:设计 42 个对齐任务、采用可执行功能测试 (Pass@1、 Pass@5) 与基于 KL 散度的概率分布接受准则、提出 Pass@1 (FB) 反馈修复评估、最终回答 3 个 RQ 关于跨框架可靠性、 prefill 影响、反馈收益。

与已有工作不同的是，已有基准的共同短板是'单框架 + 隐式任务意图',QuanBench+ 的独特切入角度是'任务意图锁定 + 框架维度正交化',这让它可以拆解出两件之前无法单独观察的事:第一,反馈修复能恢复的是哪类错误 (表面代码错误 vs 深层推理错误);第二, prompt prefill (预先填好 import 与函数签名) 对框架 boilerplate 的降低究竟能挤出多少分,这是单框架基准无法回答的问题。

核心方法

QuanBench+ 的方法论由三部分构成:统一的 42 任务集 + 跨框架对齐的 prompt 模板 + 标准化的功能测试与概率接受准则。直觉上,它要回答'同一个量子问题,让 LLM 用三种不同的 SDK 各写一遍,谁写得对?',因此任务定义只看功能目标 (如制备一个 GHZ 态、分解一个 Toffoli 门),不绑定具体 API。技术上,作者从 QuanBench 原始任务集筛选 42 题,跨 31 算法题 + 6 态制备题 + 5 门分解题三个类别,每题都改写出 Qiskit、 PennyLane、 Cirq 三版 prompt,所有模型对所有框架使用同一份固定输入与同一段标准前缀。Pass@1 用温度 0 贪心解码单样本,Pass@5 在温度 0.8 下采 5 样本,Pass@1 (FB) 在执行错误或答案错误时回喂错误信号,最多 5 次修复。

核心创新是'框架正交化的固定任务意图'设计,这与已有基准的本质区别在于:已有基准只能告诉你模型在 X 框架下得分多少,而 QuanBench+ 可以告诉你同一个模型在三个框架下表现差异有多大,差异中又有多少来自 boilerplate、多少来自推理。技术上还引入 KL 散度阈值 $\tau=0.05$ 来判定概率性任务是否正确,这个阈值通过对每个标准电路执行 $R=1000$ 次测得零分布,取全局 99.7% 分位数 $\tau_{global}=0.048$ 后再略微放宽得到。

方法步骤详情

执行与评估流水线分三步:P1 解析模型输出,剥离解释文字抽取可执行代码;P2 在目标框架容器中运行 (Python 3.10, Qiskit v0.46.0, Cirq v1.6.1, PennyLane v0.43.1);P3 用确定性比对或 KL 阈值判分。反馈回路 (RQ3) 在执行异常时回喂 traceback,在答案错误时回喂错值与原 prompt,每轮最多 5 次。prompt 设计上要求模型仅返回代码,任务相同输入集在所有模型与框架间共享以保证可比性。Prefill vs No-prefill 实验 (RQ2) 通过控制 prompt 中是否预填 import 与函数签名,量化 boilerplate 成本。

技术新颖性

技术新颖性主要在三方面:第一,跨框架对齐 prompt 的设计方法论,既保证任务意图一致又允许 API 差异,这在以前的标准中是缺失的;第二,基于 $R=1000$ 次标准电路重复采样的 KL 阈值校准流程 (Appendix C),把概率性接受准则从拍脑袋变为可量化的零分布分位数;第三,Pass@1 (FB) 作为新评估维度,首次系统地拆解了'表面错误可修复,推理错误难修复'的失败结构,这是过去量子代码基准从未给过的视角。

The benchmark holds task intent and execution conditions fixed across frameworks.
Figure 1: The benchmark holds task intent and execution conditions fixed across frameworks.
The null KL distribution supports the global acceptance threshold.
Figure 4: The null KL distribution supports the global acceptance threshold.

实验结果

12 个 LLM 呈现三条核心规律。一是框架不对称,Pass@1 最高 Qiskit 59.5% (Gemini 3 Pro)、 Cirq 54.8%、 PennyLane 42.9% (GPT-5.1),框架熟悉度仍是 LLM 表现强决定因素。二是反馈修复大幅拉升,Pass@1 (FB) 最高 Qiskit 83.3% (GPT-5.1)、 Cirq 76.2% (Gemini 3 Pro)、 PennyLane 66.7%,相对 Pass@1 最大涨幅 +26.2pp、 +21.4pp、 +23.8pp。三是错误结构变化:Pass@1 时错答 46.7% + 逻辑错 25.0% 共占 71.7%,反馈后总错题 977→665,错答反升至 53.4%、逻辑错 22.0%,反馈主要清掉 API/语法错,深层推理错难挽回。Gemini 3 Pro 平均最强, GPT-5.1 PennyLane 一枝独秀, Qwen-2.5-7B-Instruct 全框架最弱。Pass@5 普遍高于 Pass@1, GPT-5.1 Qiskit 由 57.1% 升至 76.2%。

Only a small subset of tasks required benchmark-level edits.
Table 1: Only a small subset of tasks required benchmark-level edits.
Feedback repair lifts scores across all three frameworks.
Table 3: Feedback repair lifts scores across all three frameworks.
Quantum algorithms dominate the benchmark mix.
Table 4: Quantum algorithms dominate the benchmark mix.
Qiskit is the easiest target and PennyLane the hardest under one-shot generation.
Figure 2: Qiskit is the easiest target and PennyLane the hardest under one-shot generation.
Feedback repair lifts accuracy across all three frameworks.
Figure 3: Feedback repair lifts accuracy across all three frameworks.
Multiple samples recover additional Qiskit solutions.
Figure 5: Multiple samples recover additional Qiskit solutions.
Cirq also benefits meaningfully from multi-sample generation.
Figure 6: Cirq also benefits meaningfully from multi-sample generation.
One-shot success in Qiskit is concentrated in a broad but incomplete task band.
Figure 8: One-shot success in Qiskit is concentrated in a broad but incomplete task band.
Cirq sits between Qiskit and PennyLane in first-attempt density.
Figure 10: Cirq sits between Qiskit and PennyLane in first-attempt density.
Pass@5 broadens Qiskit coverage substantially.
Figure 11: Pass@5 broadens Qiskit coverage substantially.
Pass@5 helps in PennyLane, but hard tasks remain visibly persistent.
Figure 12: Pass@5 helps in PennyLane, but hard tasks remain visibly persistent.
Cirq gains a wider solvable region under Pass@5.
Figure 13: Cirq gains a wider solvable region under Pass@5.
Prefill helps most when PennyLane boilerplate is easy to miss.
Figure 14: Prefill helps most when PennyLane boilerplate is easy to miss.
Cirq also shows meaningful sensitivity to prompt scaffolding.
Figure 15: Cirq also shows meaningful sensitivity to prompt scaffolding.
Most first-attempt failures are semantic, not syntactic.
Figure 17: Most first-attempt failures are semantic, not syntactic.
Feedback densifies the Qiskit success map.
Figure 18: Feedback densifies the Qiskit success map.
Feedback improves PennyLane coverage, but the map remains visibly harder.
Figure 19: Feedback improves PennyLane coverage, but the map remains visibly harder.
Feedback broadens Cirq success across much of the ranking.
Figure 20: Feedback broadens Cirq success across much of the ranking.
Most Qiskit feedback gains arrive early.
Figure 21: Most Qiskit feedback gains arrive early.
PennyLane improves steadily, but not indefinitely, with additional repair attempts.
Figure 22: PennyLane improves steadily, but not indefinitely, with additional repair attempts.
Cirq follows the same early-gain, late-plateau pattern.
Figure 23: Cirq follows the same early-gain, late-plateau pattern.
Feedback compresses the spread between models, but does not erase it.
Figure 24: Feedback compresses the spread between models, but does not erase it.
查看结构化数据
任务指标本文基线提升
Qiskit 量子代码生成 (最强单模型) Pass@1 / Pass@1 (FB) 59.5% / 73.8% (Gemini 3 Pro) 16.7% / 19.0% (Qwen-2.5-7B-Instruct) Pass@1 +42.8pp; Pass@1(FB) +54.8pp
Cirq 量子代码生成 (最强单模型) Pass@1 / Pass@1 (FB) 54.8% / 76.2% (Gemini 3 Pro) 4.8% / 7.1% (Qwen-2.5-7B-Instruct) Pass@1 +50.0pp; Pass@1(FB) +69.1pp
PennyLane 量子代码生成 (最强单模型) Pass@1 / Pass@1 (FB) 42.9% / 66.7% (GPT-5.1) 11.9% / 19.0% (Qwen-2.5-7B-Instruct) Pass@1 +31.0pp; Pass@1(FB) +47.7pp
Qiskit 多样本采样增益 (GPT-5.1) Pass@5 76.2% 57.1% (Pass@1 同模型) +19.1pp
错误结构: Pass@1 错答 + 逻辑错占比 占比 % 71.7% (46.7% 错答 + 25.0% 逻辑错) 无 (基准提出) 建立可对比基线
反馈后错误浓缩: 错答 + 逻辑错 + shape 错 占比 % 88.2% (53.4 + 22.0 + 12.8) Pass@1 错答 46.7% + 逻辑 25.0% + shape 8.0% = 79.7% 占比上升 8.5pp,反馈主要清掉表面错

局限与改进

作者明确承认三个局限:第一,任务数 42 偏少,无法覆盖真实量子开发的长尾场景;第二,本文只测 Pass@1、 Pass@5、 Pass@1 (FB) 三类指标,缺少对 prompt 鲁棒性、长程修复、工具增强工作流的评估;第三,框架只覆盖 Qiskit、 PennyLane、 Cirq 三家,扩展到其他 SDK (如 Braket、 QDK) 仍是开放问题。我自己观察的额外问题包括:1) 任务类别极不平衡,31 算法题占比 73.8%, 态制备与门分解各仅 6 与 5 题,会显著放大多步推理类任务的权重,让平均指标对算法难任务过敏感;2) 框架版本固定 (Qiskit 0.46.0 等),若模型给出更新版本的 API 可能被判失败,这未必反映真实能力差异;3) 评估基于 12 个模型,缺少年内发布的最新模型 (如 Claude 4、 Gemini 3 Ultra 变体),榜单时效性有限;4) 作者未公开 KL 阈值 $\tau=0.05$ 对单任务的灵敏度分析,若 $\tau$ 改变 0.01,部分任务的成功率会有可观察漂移。

独立分析的弱点

独立分析,QuanBench+ 在四个层面可改进。弱点一是任务集偏态分布,31 任务集中在算法题,门分解 (5 题) 与态制备 (6 题) 信号被淹没,改进方向是按类别分层报告 macro-F1 风格指标,或对少数类做加权。弱点二是反馈机制相对粗糙,目前只是把 traceback 文本回喂,但看到 stack trace 与看到 'wrong answer' 的修复策略本应不同,可考虑分阶段反馈 (先给错误类型、后给原始 trace),并把代码风格违反也纳入可修复错误。弱点三是 prefill 条件仅预填 import 与签名,没覆盖测量基选择、shots 数等隐式参数,改进方向是进一步拆分'API 模板'与'测量约定'两个 prefill 维度。弱点四是基准依赖单一标准答案,量子任务里常存在多种功能等价实现,任何与标准电路 unitary 重合度低的正确实现可能被错判为逻辑错,改进方向是引入电路等价检查 (decision diagram、 reversible miter) 作为二级判据。

未来方向

作者明确提出三个未来方向:扩展到 Qiskit、 PennyLane、 Cirq 之外的框架如 Braket、 QDK;延长反馈修复的迭代预算并对比 agentic 工作流;增加对 prompt 鲁棒性 (paraphrase 攻击) 的评测。基于成果可延伸的方向还包括:1) 把 KL 接受准则替换为基于 worst-case EMD 距离或 Hellinger 距离,更鲁棒地处理稀疏分布;2) 与电路等价检查结合,引入 'task-equivalent unitary' 作为软指标,缓解 '正确但不一样' 的误判;3) 引入多模态输入 (电路图、文档链接) 看 LLM 是否能从非 prompt 形式补充信息;4) 把 QuanBench+ 用作 RLHF 奖励信号,训练专门的量子代码助手;5) 把 12 模型排名的稳定性用 bootstrap 区间报告,避免过度解读单点差异。

复现评估

作者在 ICLR 2026 workshop 论文与 GitHub (github.com/JawadKotaichh/quanbench-plus) 开源了任务定义、 prompt 模板与评估脚本,主要超参数 (Python 3.10、 Qiskit 0.46.0、 Cirq 1.6.1、 PennyLane 0.43.1、 温度 0/0.8、 5 次修复上限、 $\tau=0.05$、 $R=1000$ 校准轮数) 全部给出, 12 模型通过统一 API router 调用。复现难度中等偏低: 任务 42 + 类别 3 + 框架 3 规模小, 单次评估无需大规模 GPU, 但 12 模型 × 42 题 × 3 框架 × 多轮反馈总成本仍需数小时到 1 天, 对 API 稳定性有依赖。风险点: 1) 不同时间点 API 模型版本升级导致不可严格复现排名; 2) Gemini 3 Pro、 GPT-5.1、 Kimi-K2-Thinking 等闭源服务黑盒升级会改变结果; 3) 多采样与反馈链存在随机性, 榜单数字可能存在 $\pm 1$ 任务漂移。

论文图表

Figure 7: PennyLane retains large recoverable gaps for weaker models.

Pass@1 vs Pass@5 在 PennyLane 框架下的双条形图,弱模型差距巨大 (Qwen 由 11.9% 升 21.4%),强模型差距较小,但 PennyLane 整体天花板低。

展示 PennyLane 框架下首试失败的'解存在但未选'问题,体现框架难度结构。

Figure 9: PennyLane exposes a noticeably sparser one-shot success map.

Pass@1 热力图,PennyLane 框架下成功区域明显更稀疏,大多数任务仅少数强模型可解。

用 per-task 视角凸显 PennyLane 跨任务难度,补强 RQ1 中框架不对称结论。

Figure 16: Qiskit benefits from prefill, but less uniformly than weaker frameworks.

Qiskit 框架 prefill vs no-prefill 对比,大模型获益较小,小模型 (Qwen、 Llama) 仍可获益但非主导。

Qiskit 视角补强 RQ2。

Figure 25: After repair, the remaining failures are mostly semantic.

反馈后错误结构: 错答 53.4% + 逻辑错 22.0% + shape 不匹配 12.8% + 缺方法/门 3.8% + 语法错 1.5%,表面错大幅减少,语义错比例上升。

与 Figure 17 对照的关键证据,说明反馈清掉了 API/语法错却无法解决推理错。

Table 2: The benchmark spans both frontier proprietary and open-weight systems.

列出 12 个评估模型及其发布引用: Claude-3.7-Sonnet、 DeepSeek-Chat、 DeepSeek-R1、 Gemini-2.5-Flash、 Gemini-3-Pro、 GPT-4.1、 GPT-5.1、 Llama-4-Maverick、 Qwen-2.5-7B-Instruct、 MiniMax-M2.1、 Z-ai-GLM-4.7、 MoonshotAI-Kimi-K2-Thinking。

完整披露评估对象,让读者判断结果的覆盖度与时效性。

Table 5: Pass@5 narrows but does not remove framework gaps.

12 模型 × 3 框架的 Pass@5 数字表,最强 Qiskit 76.2 (GPT-5.1)、 Cirq 64.3 (GPT-5.1)、 PennyLane 59.5 (DeepSeek-R1),相对 Pass@1 提升显著但框架差距仍在。

完整披露 Pass@5 数字,辅助理解多采样的实际增益。