R³-SQL：通过排序奖励与重采样改进Text-to-SQL R^3-SQL: Ranking Reward and Resampling for Text-to-SQL

R³-SQL的完整流程分四步。第一步（initial pool generation）：用Arctic-Text2SQL-R1-32B在 $T=0.8$ 下对每个问题生成 $n=32$ 个候选SQL $S=\{s_1,\dots,s_n\}$，prompt模板要求在标签内做chain-of-thought推理。第二步（agentic resampling）：用LLM agent $f$（本文用Arctic-Text2SQL-R1-32B的SFT版本）观察问题、schema、候选SQL及其执行预览，按Figure 8/9的system prompt输出JSON决策 $\{\text{likely\_has\_correct}, \text{confidence}, \text{reason\_tags}\}$；若 $f(S)=0$，则生成 $m=1024$ 个新候选 $\tilde{S}$，用pointwise ranker $R_3$-POINT-32B对其打分并保留top-$n=32$ 个，丢弃原 $S$；若 $f(S)=1$ 则保留 $S$。第三步（groupwise ranking）：对最终候选池 $S$（或 $\tilde{S}$）全部执行，按执行结果分组得到 $G=\{g_1,\dots,g_M\}$，每个组计算点对点最高分 $u(g)=\max_{s\in g}RR(s)$ 与组大小 $|g|$，得到 $r_{\text{point}}(g)=|g|\cdot u(g)$；组间用pairwise ranker $R_3$-7B（基于OmniSQL-7B+GRPO+consistency reward训练）逐一比较来自不同组的代表样本，按Bradley–Terry概率 $P(g_i \succ g_j)=\sigma(r_i-r_j)$ 聚合，阈值 $\tau=0.05$ 过滤后累加得到 $r_{\text{list}}(g_i)$。第四步（selection）：按 $(r_{\text{list}}, r_{\text{point}})$ 字典序对 $G$ 排序，取top-2组 $\{g_1,g_2\}$，若 $P(g_1 \succ g_2)>0.5$ 则选 $g_1$，否则选 $g_2$；最终输出该组中pointwise rank最高的SQL。

技术上，R³-SQL有三个相对前作的新颖点。第一，把FMV（Functional Majority Voting）从"硬规则"升级为"软融合"：FMV只看 $|g|$，本文把 $|g|$ 吸收进 $r_{\text{point}}(g)=|g|\cdot u(g)$ 作为tie-breaker，主排序仍由pairwise $r_{\text{list}}$ 决定。这一设计在Table 4中得到验证：单独Listwise得73.34、单独Pointwise 73.14、组合R³-SQL 75.03，融合带来的提升在in-domain上+1.69 pp。第二，把信息检索中bound recall的概念显式引入Text-to-SQL，并通过LLM agent实现"判断+扩展"的闭环检索范式，对应信息检索领域的cascade ranking和resampling文献（Wang et al. 2011, Rathee et al. 2025等）。第三，把position-invariance目标显式加入GRPO奖励 $R=R_{\text{base}}+\lambda_c R_c$：每对正负样本按原序与反序各评一次，只有两次都正确才给全额奖励，把listwise ranker的输入顺序一致性从57.49%扩展为端到端EX提升。

独立审视，R³-SQL至少有三个可改进点。第一，resampling的trigger recall仅56.02%（Table 11），意味着对一半需要重采样的查询，agent错误地认为初始池已足够，召回上限被人为压低；改进方向是改用更细粒度的决策信号（如多轮refine或基于多次独立判断的投票），或用专门的reward model训练agent。第二，pointwise ranker R3-POINT-32B在OOD场景反而拖后腿（Table 12），根源是其训练仅基于BIRD-train；改进方向是用OmniSQL或SynSQL-2.5M这类跨域数据重训pointwise ranker，或在OOD推理时完全旁路 $r_{\text{point}}$、仅靠 $r_{\text{list}}$ 排序。第三，listwise pairwise ranker的input consistency仅57.49%（Table 6），虽比无一致性奖励的45.60%显著提升，但仍有近一半顺序会改变决策；改进方向是引入listwise而非pairwise的偏好学习（如全排列排序学习），或对GRPO的KL散度做更激进约束。

作者明确提出的方向是"集成domain-generalized pointwise ranker"。基于论文成果，可延伸的方向包括：(1) 把"功能不一致"概念推广到其他code generation任务（如Launer et al. 2026已把它用于代码embedding），探索通用LLM执行等价聚类框架；(2) 把agent $f$ 改为multi-turn或debate式结构，进一步提高resampling recall；(3) 把按需resampling范式与test-time scaling（如self-consistency、tree-of-thought）结合；(4) 探索在Agentar-Scale-SQL这类agentic text-to-SQL框架中，把R³-SQL作为后置ranker嵌入，进一步扩展到multi-turn schema interaction场景；(5) 在Table 17的Spider2.0-SQLite上做完整end-to-end评估，验证在多表、复杂schema下的可扩展性。

R³-SQL的复现友好度较高。作者明确披露了所有组件的backbone：候选生成用Arctic-Text2SQL-R1-32B（开源），pointwise ranker基于Contextual-RM-32B在BIRD-train上做hard-negative重训得到R3-POINT-32B，listwise ranker基于OmniSQL-7B用GRPO+consistency reward训练得到R3-7B。训练数据构造过程详尽：用BIRD-train+Spider-train生成32候选/题，再sample正负对、从Top 15高分错例中采hard negative。所有超参与阈值都给出（$\tau=0.05$、$\lambda_c=0.5$、$n=32$、$m=1024$、$T=0.8$）。prompt模板完整列于Figure 6/7/8/9，可直接复用。算力门槛：单节点8×H200 GPU训练（约几天），推理1.56秒/查询。代码未在论文中给出GitHub链接，但所有依赖模型均为HuggingFace开源。复现难度中等偏高，主要工程量在ranker的GRPO训练和agent的prompt调优。