G-Zero：基于自博弈的零数据开放式生成框架

用 Hint-δ 内禀奖励让 LLM 在无验证器的开放任务上自博弈进化

前置知识

Direct Preference Optimization (DPO)

DPO 是一种直接用偏好对 $(x, y_w, y_l)$ 微调语言模型的方法，避免了显式训练奖励模型。它通过在冻结的参考模型 $\pi_{\text{ref}}$ 锚定下，最大化 chosen 响应 $y_w$ 相对 rejected 响应 $y_l$ 的对数概率比，损失函数为 $\mathcal{L}_{\text{DPO}} = -\mathbb{E} \log \sigma\big(\beta \log \tfrac{\pi_\theta(y_w|x)}{\pi_{\text{ref}}(y_w|x)} - \beta \log \tfrac{\pi_\theta(y_l|x)}{\pi_{\text{ref}}(y_l|x)}\big)$。本文 Generator 阶段正是在此基础上做长度归一化变体。

理解 DPO 是看懂 Generator 训练目标的前提：chosen 是 hint-辅助的回应，rejected 是无辅助回应，DPO 内部化这种结构差异。

Group Relative Policy Optimization (GRPO)

GRPO 是 DeepSeek 提出的 RL 算法，去掉了 PPO 中的 critic 网络。它对同一上下文 $c$ 采样 $K$ 个输出，用组内奖励的均值 $\mu_r$ 与标准差 $\sigma_r$ 标准化出优势 $A_i = (r(o_i)-\mu_r)/\sigma_r$，再用 PPO 的 clip 目标更新策略：$J_{\text{GRPO}}(\theta) = \mathbb{E} \sum_i \min\big(\tfrac{\pi_\theta(o_i|c)}{\pi_{\text{old}}(o_i|c)} A_i,\;\mathrm{clip}(\tfrac{\pi_\theta(o_i|c)}{\pi_{\text{old}}(o_i|c)}, 1-\epsilon, 1+\epsilon) A_i\big)$。本文用 GRPO 训练 Proposer，奖励就是 Hint-δ。

GRPO 让 Proposer 能基于组内相对质量进行强化学习，从而在没有外部绝对标准时也能推动生成器朝盲点挖。

Verifier-free / 开放式任务自进化

传统 RLVR（Reinforcement Learning from Verifiable Rewards）依赖数学/代码等可验证信号；开放式任务（指令遵循、对话、写作）缺乏这种程序化裁判，因此常借用 LLM-as-a-Judge 提供代理奖励。Verifier-free 范式则完全跳过外部验证器，从模型自身分布中提取信号。

理解这一背景能解释本文为何强调'摆脱判官瓶颈'，以及为什么需要 Hint-δ 这种内部信号。

对数概率偏移 / KL 散度直觉

在 token 级别，$\log \pi(a_t|q,a_{<t})$ 衡量模型对某 token 的'自信度'。本文用同一回应 $a^{\text{hard}}$ 在有无 hint 两种条件下的对数概率均值差 $\delta = \tfrac{1}{T}\sum_t [\log \pi_G(a_t|q,a_{<t}) - \log \pi_G(a_t|q,h,a_{<t})]$ 来衡量 hint 对分布的扰动。差值越大说明 hint 真正重塑了 Generator 的预测分布。

这是 Hint-δ 的核心数学直觉：把 hint 的'信息量'量化成模型预测分布的可测变化。

Bradley-Terry 偏好模型

在 RLHF/DPO 中常假设 $P(y_w \succ y_l | x) = \sigma(R(x,y_w) - R(x,y_l))$，即 chosen 概率由两个响应隐式奖励差经 sigmoid 决定。本文理论分析正是在这个线性奖励假设 $\mathcal{R}^\star(q,a) = \phi(q,a)^\top \theta^\star$ 下推导 best-iterate 遗憾上界。

了解 BT 模型有助于理解 Theorem 1 给出 $\widetilde{O}(\varepsilon + \sqrt{\eta_\delta})$ 遗憾界的来源。

研究动机

自进化 LLM 在数学、代码等可验证任务上已取得显著成功（如 R-Zero 等借助多数投票在数学任务上做到 AIME24 +4.5），但开放式任务（指令遵循、多轮对话、创意写作）缺乏程序化裁判，现有方法通常借 LLM-as-a-Judge 提供代理奖励。这种范式有两个致命缺陷：第一，模型能力被法官模型天花板锁死；第二，极易触发 reward hacking，模型学会迎合法官的格式偏好、冗长倾向、风格偏见而非真正提升质量。R-Zero 在 Llama-3.1 上就把 7 项指标平均从 42.77% 拉到 40.89%，IFEval-pS 从 58.41 掉到 56.94，说明在缺乏裁判时强行套用可验证方法会全面退化。

本文的目标是本文目标是设计一个完全 verifier-free 的自进化框架，让 LLM 在无外部裁判、无人类标注的条件下也能在开放式任务上自我提升，并且不牺牲可验证任务的能力。具体而言，作者希望构造一个内禀信号同时编码'query 难度'与'hint 信息量'，让 Proposer 模型主动挖 Generator 的盲区，再让 Generator 通过 DPO 把 hint 引导的结构内化为自身能力。

与已有工作不同的是，既有 verifier-free 方法（如用参考回答条件概率）仅给出稀疏、低维信号，且容易诱发推理退化；LLM-as-a-Judge 又有天花板与 reward hacking 双重问题。G-Zero 的独特切入点是：让信号直接来自 Generator 自身在 hint 条件下的预测分布移动——这一信号天然随 Generator 能力提升而'抬高阈值'，从而把 Proposer 与 Generator 耦合成一个共同进化的回路，从根本上绕开外部验证器的能力天花板与偏置。

核心方法

G-Zero 的整体思路可以一句话概括：让两个模型互为老师。具体来说，Proposer $\pi_P$ 生成 (query, hint) 对，Generator $\pi_G$ 在看到 hint 前后分别给出回应，作者用同一回应 $a^{\text{hard}}$ 在两种条件下的对数概率偏移（Hint-δ）作为'这道题难不难 + 这个提示有没有用'的统一度量，再用它驱动 Proposer 用 GRPO 去精准挖 Generator 的盲区，最后把 (a^\text{assisted}, a^{\text{hard}}) 构造成偏好对喂给 Generator 做 DPO 训练。直觉上，Hint-δ 把'信息量'变成了模型自己可以测量的物理量，整个回路无需任何外部评分。

核心创新点是 Hint-δ：$\delta(q,h,a^{\text{hard}}) = \tfrac{1}{T}\sum_{t=1}^{T}[\log \pi_G(a_t|q,a_{<t}) - \log \pi_G(a_t|q,h,a_{<t})]$。这个量只在两种条件同时满足时才大——query 要真的难（无条件分布 $\pi_G(\cdot|q)$ 本身不确定）且 hint 要真的带来新信息（条件分布 $\pi_G(\cdot|q,h)$ 被显著重塑）。与 R-Zero 的多数投票（仅限可验证任务）以及 LLM-as-a-Judge 的标量打分（被法官能力封顶）相比，Hint-δ 是'自参照'的：它直接源自 Generator 的内部 log-prob，随着 Generator 变强，对什么算'有信息量的 hint'的标准自动抬高（论文在 Figure 4 中展示了 R1 到 R2 的 δ 分布右移、median 增大）。同时 DPO 端采用长度归一化变体 $\mathcal{L}_{\text{LN-DPO}}$，把序列级对数比换成 per-token 均值，消除 DPO 偏长回应的隐式偏置。

方法步骤详情

完整一轮 G-Zero 包含两个互相耦合的阶段。第一阶段 Proposer 训练（§3.2）：用系统提示让 Proposer 生成 XML 格式的 (q, h) 对，冻结的 Generator 对每个 q 采样 $a^{\text{hard}}\sim\pi_G(\cdot|q)$，然后计算 Hint-δ 作为 GRPO 的奖励。为防 reward hacking，作者叠加两个惩罚：长度惩罚 $P_{\text{length}} = \lambda\cdot \max(0, |h|/200 - 1)$（$\lambda=0.03$，压制超 200 字符的冗长 hint）和 BLEU 去重惩罚 $P_{\text{BLEU}} = |C_i|/|B|$，其中 $C_i$ 是按 sentence-BLEU 平均连接、阈值 0.5 聚类后该 rollout 所属簇的大小，鼓励 Proposer 探索多样 query。总奖励 $r(q,h)=\delta-P_{\text{length}}-P_{\text{BLEU}}$，格式错误直接打 -1 的地板。第二阶段 Generator 训练与数据筛选（§3.3）：冻结刚训好的 Proposer，让 Generator 对每个 (q,h) 同时采样 $a^{\text{hard}}\sim\pi_G(\cdot|q)$ 与 $a^{\text{assisted}}\sim\pi_G(\cdot|q,h)$，重新计算 δ 后只保留 δ 在本轮分布下半区 $[0,50\text{th}]$ 的偏好对（直觉：上半区 δ 太大意味着 hint 几乎在'泄题'，且违反 DPO 内置 KL 约束；下半区是难区分对、强迫 DPO 学细粒度结构）。再叠加启发式过滤——剔除 $l_w/l_l>2.5$ 的长度膨胀、$l_w\notin[100,10000]$、zlib 压缩比 <0.15 的退化文本、与 q 共享 ≥30 字符前缀的回显、含 'Assistant:' 等角色标记的模板泄露。最终用参考模型 $\pi_{\text{ref}}$（本轮起点快照）跑长度归一化 DPO，更新 Generator。两模型在多轮中共同进化。

技术新颖性

技术新颖性体现在三处。其一，把 Hint-δ 形式化为 query 难度与 hint 信息量的几何耦合指标，用 per-token 均值规避长度偏置，并在 1824 样本上验证了 δ 与回应长度呈 -0.41 的 Spearman 秩相关。其二，把 Proposer 的训练目标 BLEU 去重与 δ 最大化结合，自动驱动探索；并把同一 δ 既当奖励（训练 Proposer）又当筛选器（保留下半区训练 Generator），形成闭环。其三，给出 Theorem 1 的 best-iterate 遗憾上界 $\widetilde{O}(\varepsilon + \sqrt{\eta_\delta})$，把'伪标签噪声 $\eta_\delta$'与'Proposer 探索覆盖 $\varepsilon$'两个变量解耦，理论上保证只要 δ 过滤能压低噪声、Proposer 能保证覆盖，多轮 DPO 就能累积出高质量策略。

**Figure 2**: The G-Zero co-evolutionary loop.

**Figure 4**: Empirical distributions of Hint-δ for Round 1 and Round 2.

实验结果

实验在 Qwen3-8B-Base 与 Llama-3.1-8B-Instruct 两个家族、7 项指标上评估。Table 1 给出主要结果：Qwen3-8B-Base 经两轮 G-Zero 后平均分从 33.95% 提升到 35.43%（+1.48pp），其中 AIME25 从 7.19% 跳到 12.40%（+5.21pp，论文摘要重点强调的数字）、IF-iS 从 56.00% 升到 57.92%、IF-iL 从 61.75% 升到 63.43%；Llama-3.1-8B-Instruct 平均分从 42.77% 提升到 43.90%（+1.13pp），AlpacaEval LC 从 24.12 飙到 27.86（+3.74pp，对话质量大涨）、IFEval 与 AIME 也有正向。最关键的对照是与 R-Zero 的对比：在 Qwen3 上 R-Zero 把 AlpacaEval LC 从 8.94 砸到 8.04、IFEval-pS 从 43.07 砸到 37.56，说明它把'推理专精'以牺牲'通用能力'为代价；而 G-Zero R2 仅 AlpLC 退步 0.47，其他六项全部正向——验证了内禀信号不会破坏通用能力。Table 2 显示 DPO 池子中非可验证任务（Advice 30.2%、Writing 17.4%、Other 24.1%）合计超过 70%，而可验证的 Math 仅 9.6%、Code 9.0%，意味着 reasoning 的提升不靠领域记忆，而是从开放任务的逻辑结构迁移。Table 3 比较了 δ 筛选策略：保留上半区 [50,100] 时 AlpacaEval 最高 9.68 但 IFEval 掉 0.81；保留全量 [0,100] 时 IFEval 53.08 略优但 Math 掉 1.20pp；作者选的 [0,50] 在三者之间取得最均衡配置。Figure 3 揭示能力曲线形状不同：Math 在 N=100 已拿到最终增益的 40% 以上，呈快速饱和；IFEval 增量训练从 -0.96 才单调爬到 +0.25，必须 R2 from-scratch 才能解锁 +1.22；AlpacaEval 在增量训练下几乎不动。Figure 4 显示 R1→R2 的 δ 分布整体右移、中位数上升，证实'Generator 变强 → Proposer 必须挖更深的洞'的共同进化逻辑。

**Table 1**: Main results. Absolute performance (%) of G-Zero after round 1 and round 2.

**Table 2**: Composition of the DPO pool after δ-filter on Qwen3-8B-Base R1.

**Table 3**: δ-filter design space on Qwen3-8B-Base (R1). Absolute performance (%).

**Figure 3**: Capability scaling dynamics across DPO pool sizes.

查看结构化数据

任务	指标	本文	基线	提升
Qwen3-8B-Base 综合平均（7 项指标）	平均分 (%)	35.43 (G-Zero R2)	33.95 (base model)	+1.48pp
Llama-3.1-8B-Instruct 综合平均（7 项指标）	平均分 (%)	43.90 (G-Zero R2)	42.77 (base model)	+1.13pp
Llama-3.1-8B-Instruct AlpacaEval 2.0	Length-controlled Win Rate vs GPT-4-Turbo	27.86 (G-Zero R2)	24.12 (base model)	+3.74pp（对话质量的标志性提升）
Qwen3-8B-Base AIME25	mean@32 准确率 (%)	12.40 (G-Zero R2)	7.19 (base model)	+5.21pp（论文标题数字）
Qwen3-8B-Base AIME24	mean@32 准确率 (%)	11.15 (G-Zero R2)	10.42 (base model)	+0.73pp；同期 R-Zero 拿到 14.92 但以 IFEval-pS 跌 5.51pp 为代价
Llama-3.1-8B-Instruct IFEval (iS, prompt-level strict)	准确率 (%)	70.38 (G-Zero R2)	69.42 (base model)	+0.96pp
Qwen3-8B-Base IFEval (iL, instruction-level loose)	准确率 (%)	63.43 (G-Zero R2)	61.75 (base model)	+1.68pp

局限与改进

作者明确承认两点：其一，δ 筛选窗口 [0,50] 虽是最均衡但并非严格优于所有候选（Table 3 中 [20,80] 在 Math 上 12.54 高于 [0,50] 的 11.78，[50,100] 在 AlpacaEval 上 9.68 高于 [0,50] 的 9.07），说明最优阈值可能因模型家族而异，需要更多消融。其二，Hint-δ 的解释依赖'Generator 自洽'——如果 Generator 本身对自己的评估系统性偏差（例如对错误回答过于自信），δ 信号也会失真。从我自己的观察看，还存在几个隐性问题：(1) 实验只用 Qwen3-8B-Base 与 Llama-3.1-8B-Instruct 两个 8B 模型，更大或更小规模是否仍奏效未验证；(2) 训练基于 Tinker API + LoRA，是否在 full-parameter 微调下同样稳定存疑；(3) 仅仅跑了两轮，第三、四轮是否仍单调提升或开始出现 collapse（论文引用相关担忧 [25] 但未给出长期实验）；(4) Theorem 1 是'理想化标准 DPO'版本下的 best-iterate 保证，而实际使用的是长度归一化变体 LNDPO，理论与实践存在 gap；(5) AlpacaEval 评估器自身就是 LLM（Qwen3-235B-A22B-Instruct-2507），并不能完全排除判官偏置，只是把'瓶颈'从生成换到评估。

独立分析的弱点

独立分析三个可改进的弱点。第一，δ 阈值的鲁棒性不足：Table 3 显示 [0,50] 在 IFEval 上 53.03 而 [20,80] 仅 51.82，[50,100] 在 AlpacaEval 上反而最高，说明把'难区分偏好对'作为 DPO 训练素材并不一定在所有维度最优。可改进方向是引入自适应阈值——根据 Generator 在每个 domain 上的当前能力动态调整 δ 窗口，或在多个窗口上做集成训练。第二，BLEU 去重 + sentence-BLEU 的探索机制较为粗糙：用 0.5 阈值的 average-linkage 聚类其实是衡量 n-gram 重叠而非语义多样性，可能错杀语义不同但措辞相近的 query。建议改用基于嵌入向量的多样性度量（如嵌入空间互信息或 DPP）。第三，训练流水线对 Proposer 的能力依赖较强——如果 Proposer 自身无法写出有信息量的 hint（即使被判为'有用'），Generator 学到的可能是浅层模式。作者用长度惩罚与 BLEU 惩罚压制了'胡扯但长度膨胀'与'复读机'两种 hack，但未防御'语义空洞但形式复杂'的伪 hint；可以引入 Proposer 端的 KL 锚定或显式的'语义信息密度'奖励。

未来方向

作者明确指出的未来方向包括：把 Hint-δ 推广到多模态（视觉-语言）场景，让 hint 变成图像或语音信号；以及扩展到多轮对话，让 hint 在 turn 级别持续注入。基于论文成果可延伸的方向有：第一，把 δ 的对数概率偏移换成更细粒度的'困惑度比'或'注意力熵差'，观察是否能捕捉到 hint 中更结构化的成分；第二，把共同进化推广到三方博弈（如加入 Critic 或 Distiller 形成三方角色），用 Theorem 1 的遗憾分解思路给出更一般的上界；第三，针对 Theorem 1 假设的线性奖励与 BT 模型局限，可以尝试非线性偏好模型（如 neural BT）下的迭代保证；第四，把 Hint-δ 与 RLHF 中的人类偏好数据结合，看是否能减少对人类标注的依赖同时保留人类对齐信号；第五，进行长程实验（>5 轮）验证是否会出现 self-play collapse，找到共同进化能稳定运行的轮次边界。

复现评估

作者开源了代码（https://github.com/Chengsong-Huang/G-Zero），数据是自生成的（zero-data 框架本就不需要外部数据集），训练通过 Tinker API 完成、仅使用 LoRA，避免了大规模 GPU 集群依赖。Table 1 的所有 7 项指标都可在 HuggingFace 公开的 Qwen3-8B-Base 与 Llama-3.1-8B-Instruct 上复现，benchmark（AIME24/25、IFEval、AlpacaEval 2.0）也都是公开的。复现难度中等偏低——主要工作量在 GRPO 与 DPO 的超参调优、δ 阈值选择、BLEU 聚类与启发式过滤的工程实现，论文把这些细节放在了 Appendix A、C。需要注意的是：(1) Tinker API 仍处于研究计划阶段，外部研究者可能需要排队或申请访问；(2) AlpacaEval 的判官模型 Qwen3-235B-A22B-Instruct-2507 的具体版本与判官 prompt 会显著影响 LC 分数；(3) δ 分布的统计受训练 batch 大小、temperature=0.7 采样影响，不一定能完美复现论文 Figure 4 的形态。

G-Zero：基于自博弈的零数据开放式生成框架 G-Zero: Self-Play for Open-Ended Generation from Zero Data