Continual Harness：面向自我提升基础智能体的在线自适应框架 Continual Harness: Online Adaptation for Self-Improving Foundation Agents
无重置持续harness在线自优化，在Pokemon RPG上追平手工harness
前置知识
Agentic Harness（智能体外壳/脚手架）
Agentic Harness是包裹在基础模型与环境之间的中间层，提供工具调用、记忆管理、规划和子智能体编排等能力。Claude Code、OpenHands是代码领域的harness，本文将其拆解为四个组件：系统提示词 $p$、子智能体集合 $G$、技能库 $K$（含可执行代码如路径查找器）、记忆存储 $M$。harness的设计决定了智能体在长视野、部分可观测环境中的行为模式。
本文核心对象就是harness本身——它既是agent的执行环境也是被优化的变量，不理解harness的组成就无法理解为何要在prompt/sub-agent/skill/memory四个维度同时做CRUD编辑。
Prompt Optimization与Reflection方法
Prompt Optimization（如GEPA）通过在完整episode之间重置环境、采样轨迹、优化prompt来提升harness效果。Reflection方法（如Reflexion）让agent对自身轨迹做反思后修改prompt或记忆。两者共同特征是：每次更新都基于完整episode，且更新后环境回到初始状态——这是一种'批处理式'harness优化。
Continual Harness的对比基准正是这类方法。理解'重置式更新'的局限性（无法处理长尾失败模式、需要完整episode重放）才能体会Continual Harness提出的'mid-episode在线编辑'为什么是质的飞跃。
DAgger（Dataset Aggregation）算法
DAgger是Ross等人提出的模仿学习算法，通过让学习器执行当前策略、专家在线标注状态-动作对、聚合到训练集并迭代训练，解决模仿学习中的covariate shift问题。设专家策略 $\pi^*$，学习器策略 $\pi_{\theta_k}$，每次迭代收集数据集 $\mathcal{D}_k = \{(s, \pi^*(s))\}$ 在 $\pi_{\theta_k}$ 诱导的轨迹上，最小化 $\mathcal{L}(\theta) = \mathbb{E}_{(s,a)\sim\mathcal{D}_k}[\ell(\pi_\theta(s), a)]$。本文将专家替换为'过程奖励模型+前沿教师'组合，将DAgger扩展到在线LLM训练。
在线co-learning循环的核心是DAgger迭代（每256步一次），理解DAgger才能把握为何需要'前向教师重新标注低奖励窗口'以及为何采用soft SFT更新。
过程奖励模型（Process Reward Model, PRM）
PRM对每个状态-动作-轨迹三元组打分 $R(s_t, a_t, \tau) \in [0,1]$，提供比episode结束时的稀疏回报更密集的监督信号。Pairwise PRM比较两段轨迹的优劣，本文用滑动窗口对最近若干步的转换打分，识别低奖励窗口。本文用一个PRM评估agent的'局部过程质量'，再让前沿模型（如Gemini-3.1-pro）对低分窗口做relabel，转化为监督学习目标。
PRM是co-learning循环的'评分员'，没有它就无法判断agent的哪些决策需要教师重新示范。理解PRM的pairwise形式才能看懂为何要relabel'低分窗口'而非整段轨迹。
Reset-Free强化学习
Reset-Free RL针对没有自然重置的环境（如真实机器人、长时任务），智能体必须学会从任意状态恢复和继续探索。不同于Episodic RL每次回到初始状态，Reset-Free设置下的agent需要处理状态分布漂移、long-horizon信用分配等问题。本文将其思想迁移到LLM-agent的harness优化中。
Continual Harness的核心创新是'无重置（reset-free）'——harness在episode中途持续更新，不回到起点。理解reset-free设定才能体会'失败信息单调累积、后期bug也能修复'这一关键优势。
LoRA（Low-Rank Adaptation）与Soft SFT
LoRA通过在预训练权重旁添加低秩矩阵 $\Delta W = BA$（$B \in \mathbb{R}^{d \times r}$, $A \in \mathbb{R}^{r \times k}$, $r \ll \min(d,k)$）实现参数高效微调。本文在co-learning阶段对开源Gemma-4用LoRA训练，学习率 $5 \times 10^{-6}$，训练步数极少。Soft SFT是SFT的软化版本，通过对教师分布做KL散度或蒸馏，避免硬one-hot标签破坏预训练分布。
理解LoRA和soft SFT才能把握本文如何做到'在不破坏Gemma-4预训练能力的前提下，让它在harness引导下逐步学会打Pokemon'。
研究动机
当前基础模型驱动的agentic harness（如Claude Code、OpenHands）在代码领域已成为标准基础设施，但在具身长视野、部分可观测决策任务（如RPG游戏）中完全失效。PokeAgent Challenge报告：没有任何领域特定的scaffolding，前沿视觉语言模型在RPG游戏上几乎无法推进。本文作者的Gemini Plays Pokemon（GPP）项目揭示了现有方案的三个核心痛点：第一，纯人工维护的harness扩展性差——团队花数千小时在Yellow Legacy上迭代手写组件，从Pathfinder Agent、Boulder Puzzle Strategist等专门子智能体开始，逐步替换为meta-tools让模型自建scaffolding；第二，单episode末尾的prompt优化（如GEPA）必须重置环境，每轮更新都丢失早期累积的失败信息，无法处理'只有跑到游戏后期才会出现的多步谜题/对话链'这类长尾失败模式；第三，已有的self-improvement或reflection方法（如Reflexion）仅编辑prompt $p$，没有触及子智能体 $G$、技能 $K$、记忆 $M$ 三个组件，而本文观察到这三个组件在GPP的Elite Four阶段承担了绝大多数更新（如图3所示，导航和战斗相关组件贡献了大部分修改），单组件编辑的提升天花板有限。此外，作者明确指出：在最难的关卡（Yellow Elite Four、Crystal的Red决战），模型本身已开始通过长上下文记忆自行迭代策略——这是'continual harness'行为的早期涌现信号，但人工harness维护跟不上这种节奏，需要形式化和自动化。
本文的目标是本文的目标是构建一个无需人工干预、无需环境重置的持续自提升harness框架。具体包括三个层面：(i) 将GPP的人工harness迭代过程形式化为可在单次episode内执行的自动化Refiner循环，每 $F$ 步读取最近 $F$ 步轨迹，输出对四个组件 $p, G, K, M$ 的CRUD编辑 $\Delta = (\Delta p, \Delta G, \Delta K, \Delta M)$；(ii) 在Pokemon Red和Emerald上验证Continual Harness能在不依赖游戏反编译、里程碑表、手工子智能体的前提下，恢复出'minimalist baseline到手工专家harness'之间的效率差距的大半；(iii) 将harness优化与模型权重训练耦合在同一个'reset-free'循环里，让开源学生模型（Gemma-4）通过自己rollout + PRM评分 + 前沿教师relabel + soft SFT的DAgger迭代，持续推进游戏内里程碑位置而不重启环境。
与已有工作不同的是，本文的独特切入角度是'将harness视为状态空间中的可学习对象'，并在episode中途对其做in-place编辑。具体区别于已有工作在于四点：第一，与GEPA等prompt-optimization方法的区别——后者基于完整episode重置更新、只能优化prompt，本文在episode中途读取部分轨迹窗口并编辑全部四个harness组件，且失败信息单调累积不被清空；第二，与Reflexion等reflection方法的区别——后者仅反思单条轨迹并修改记忆或prompt，本文通过Refiner批量修改子智能体注册表和可执行技能库，能将成功的多步模式固化为可重用代码（如press_sequence原语）；第三，与自主游戏agent（如Voyager）'为自己构建工具库'的区别——后者完全由agent自发、无外部质量信号，本文引入过程奖励模型（PRM）和前沿教师作为外部监督，确保Refiner编辑方向有依据；第四，与PokeAgent Challenge的expert harness相比——后者依赖A*路径、类型相克表、伤害计算器等手工组件，本文从极简接口出发通过Refiner自动合成等价能力。论文还强调，这是首个'在同一trajectory数据上同时运行harness refinement和model weight update两个时间尺度'的工作，模型权重在迭代间更新，harness状态在迭代内更新，二者共同塑造轨迹分布 $\mathcal{D}_\theta$。
核心方法
Continual Harness的核心思想是把harness $H = (p, G, K, M)$ 视为可在线编辑的状态变量，并在episode中途用一个LLM Refiner对其进行CRUD编辑，从而把'重置式prompt优化'扩展为'无重置式全harness优化'。直觉上，这模拟了人类玩家在卡关时自我反思并调整策略的过程：观察最近 $F$ 步失败模式 → 修改提示词 → 增删子智能体 → 修复代码技能 → 更新记忆，整个过程不离开当前游戏进度，错误信息累积沉淀。技术路线分两条嵌套循环：内循环是标准agent step，模型 $M$ 在harness $H_t$ 下产生动作 $a_t \sim M(\cdot | s_t, H_t, \tau_t)$；外循环每 $F$ 步触发一次Refiner，读取 $\tau_{t-F:t}$ 输出 $\Delta$ 并应用 $H_{t+1} = H_t \oplus \Delta$。在此基础上，本文进一步将整个循环包成一个DAgger训练流程，让开源Gemma-4学生模型在'自己rollout → PRM评分 → Gemini-3.1-pro教师relabel → soft SFT更新'的链路上迭代推进游戏进度，且迭代间加载模拟器保存状态实现reset-free累积。
本文的核心创新在于'无重置、in-place、跨组件'的harness自更新，与已有方法的本质区别在于三点。第一，无重置更新（reset-free）：与GEPA等需要完整episode后重置环境的方法不同，Refiner每 $F$ 步读取最近窗口即可触发编辑，失败信息在长episode上单调累积，且能修复'只有游戏后期才出现的多步谜题/长对话链'——这类失败模式在重置式方法中根本无法被采样到，因为每轮迭代都从游戏开头开始。第二，跨组件编辑：与Reflexion等仅修改prompt或记忆的方法不同，Refiner通过同一个meta-tool API（define_agent、run_code、process_memory等）同时编辑 $p, G, K, M$ 四个组件，能将成功的多步序列固化为可执行技能（如GPP中模型自己把autorun按钮绑定漏洞包装成press_sequence原语）。第三，时空双尺度co-learning：模型权重 $\theta_k$ 在DAgger迭代间更新，harness状态 $H_t$ 在单次迭代内更新，二者通过同一条轨迹数据耦合——轨迹分布 $\mathcal{D}_\theta$ 取决于模型权重也取决于harness状态，refined harness塑造下一步分布，下一步的失败又驱动下一轮harness编辑。
方法步骤详情
Continual Harness的完整流程包含三个层次的步骤。**(1) 初始化与接口定义**：智能体仅接收最小环境接口——帧观测 $o_t$（图像）、可见区域的ASCII文字地图 $m_t$、固定按钮动作集 $A$，起始harness $H_\min$ 仅含通用系统提示词，无任何子智能体、技能、记忆。**(2) 内循环agent step**：每个时间步 $t$，模型读取状态 $s_t = (o_t, m_t)$、当前harness $H_t$ 和截至目前的轨迹 $\tau_t$，采样动作 $a_t \sim M(\cdot | s_t, H_t, \tau_t)$。**(3) 外循环Refiner编辑**：经过 $W$ 步warmup后，每 $F$ 步触发一次Refiner，读取 $\tau_{t-F:t}$ 识别失败签名（导航循环、工具调用失败、目标停滞、探索机会遗漏），对四个组件做四遍编辑：(i) 重写prompt $p$ 以针对识别出的失败；(ii) 为重复出现的多步模式创建子智能体条目，编辑已有条目以解决失败，删除未被有效调用的条目；(iii) 将成功序列固化为技能、修复抛出异常的可执行代码；(iv) 补充记忆条目、更新陈旧条目、降低已离开区域的重要性。Refiner和Agent共用同一模型 $M$（实验中消融了Gemini 3.1 Pro/Flash/Flash-Lite三档），通过同一meta-tool API $H_{t+1} = H_t \oplus \Delta$ 应用编辑。**(4) Co-learning DAgger循环**：在warmup阶段（监督SFT + 离线GRPO）后，每轮迭代运行策略 $\pi_{\theta_k}$ 在live-refining harness $H_t$ 下执行 $K = 256$ 步。一对过程奖励模型对滑动窗口内的转换打分 $R(s_t, a_t, \tau) \in [0,1]$，低奖励窗口由Gemini-3.1-pro教师relabel，对重标记的shard做soft SFT更新 $\theta_{k+1} = \theta_k - \eta \nabla \mathcal{L}_{SFT}(\tau, R(s_t, a_t, \tau))$，学习率 $\eta = 5 \times 10^{-6}$（LoRA）。**(5) Reset-free状态保存**：每轮迭代结束时保存模拟器状态，下一轮迭代从该状态加载，使模型在游戏中的位置在训练迭代间累积而不重置。**(6) Harness变体评估**：实验对比 $H_\min$、手工专家 $H_{expert}$（PokeAgent [7] 的hand-designed harness，含A*路径、类型表、伤害计算、curated objectives）、$H_{CH}$ 三个变体——from-scratch（从零开始refine）、bootstrap-frozen（载入一次成功的from-scratch轨迹，禁用refinement）、bootstrap-updating（载入bootstrap，继续refinement）。
技术新颖性
本文的技术新颖性集中体现在三个层面。第一，方法论层面：首次将'重置式prompt优化'扩展为'无重置式全harness优化'，通过Refiner的mid-episode CRUD API同时编辑prompt/子智能体/技能/记忆四个组件，并用meta-tool统一两套交互（Agent和Refiner只是调用时机和轨迹上下文不同）。第二，工程层面：把PRM和frontier teacher嵌入到DAgger循环做relabel，实现'开源学生模型+开源PRM+闭源教师'的混合架构；LoRA训练学习率 $5 \times 10^{-6}$ 的极小步长保证不会破坏Gemma-4预训练能力；reset-free的emulator state持久化让训练迭代间的游戏进度连续累积。第三，评估层面：设计了从极简baseline（$H_\min$）到手工专家（$H_{expert}$）的连续效率谱，用'按钮成本-里程碑位置'曲线量化效率差距，引入Dijkstra oracle对Refiner合成的导航技能做oracle-relative deficit评估（独立于end-task效率），并构造了31个Emerald里程碑的完整评估集，按模型-变体组合给出Pareto前沿。
实验结果
实验结果从四个维度全面验证了Continual Harness的有效性。**(1) GPP里程碑突破**：GPP成为首个完成多款Pokemon RPG的AI系统——Pokemon Blue（2025年5月）、Yellow Legacy hard mode（2025年8月，击败Elite Four）、Crystal（2025年11月，最终Red决战无败绩）。Yellow Legacy运行中观察到emergent continual harness行为：模型自发把autorun按钮绑定漏洞包装成press_sequence原语、给Crystal最终Red决战开发'Operation Zombie Phoenix'多阶段战斗策略、用真值表表达Goldenrod Underground开关谜题。Figure 3显示harness更新在2000-turn分箱内持续进行且不收敛到固定scaffold，Figure 4显示battle_strategist_agent prompt在Elite Four阶段经历节点数、决策门、深度、最大扇出的循环增删和一次结构性重写（per-decision逻辑被吸收进master_battle_agent）。**(2) Red和Emerald的harness效率恢复**：Figure 5显示CH在两个游戏上都大幅降低了到达各里程碑的按钮成本，相对 $H_\min$ 恢复出 $H_{expert}$ 差距的多数，且不依赖游戏反编译或手写子智能体。Emerald上bootstrap-updating在每个里程碑都比from-scratch更高效，说明refinement信号在同一episode内能跨复用。**(3) 能力门槛与Pareto前沿**：Figure 6的Emerald cost-completion Pareto平面揭示明显的capability floor效应——Pro模型上CH严格Pareto占优于 $H_\min$（from-scratch达100%里程碑耗资中位数\$130 vs $H_\min$ 的98%耗资\$215，约40%成本降幅且无完成度损失；bootstrap变体在96-100%里程碑耗资\$110-140）；Flash模型上harness收益高方差（bootstrap-updating 80%/\$42，marginal above $H_\min$ 77%/\$30）；Flash-Lite模型上 $H_\min$ 仅达20%/\$11，所有CH变体跌至3-13%，refinement循环无法在能力地板以下启动。**(4) 导航技能的oracle-relative改善**：Figure 8对Refiner合成的导航技能做Dijkstra oracle-relative deficit评估——from-scratch的path-cost deficit从近50%快速跌至个位数并维持稳定，bootstrap-updating匹配或超过bootstrap-frozen，证明reset-free refinement即使在继承已有技能集时仍能进一步修复。$H_\min$ 从不调用导航技能，三种CH变体在24小时运行中累计数百次调用。**(5) 开源学生模型的co-learning**：Figure 7显示Gemma-4在DAgger+PRM循环驱动下，五个运行（开头/中段checkpoint起始）都在训练迭代间持续推进里程碑位置，星标为judge-verified advances，净+2到+5个里程碑；cross-family Qwen3.5（27B/35B）无监督warm-up则无法离开起始区域，作为rollout-protocol artifact的负控制。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| Pokemon Emerald cost-completion Pareto | 31-milestone到达率（成本中位数） | CH from-scratch: 100% 里程碑 at \$130（Pro） | $H_\min$: 98% 里程碑 at \$215（Pro） | 成本降低约40%，完成度提升2个百分点 |
| Pokemon Emerald bootstrap-updating | 里程碑到达率（成本） | 96-100% 里程碑 at \$110-140（Pro） | $H_\min$: 98% at \$215 | 同等完成度下成本下降约35% |
| Pokemon Emerald Flash capability floor | 里程碑到达率 | CH全变体：3-13%（Flash-Lite） | $H_\min$: 20% at \$11（Flash-Lite） | 能力地板以下所有CH变体均不及极简baseline |
| Pokemon Red button-press efficiency | 11-milestone序列累积按钮成本 | CH（from-scratch/两bootstrap变体）相对Hmin显著降低每里程碑按钮成本 | $H_\min$ 高按钮成本 | bootstrap-updating在每个里程碑均比from-scratch更高效 |
| Pathfinding skill self-improvement | Path-cost deficit相对Dijkstra oracle | from-scratch: 从近50%跌至个位数并维持（24h运行） | $H_\min$: 从不调用导航技能（无数值） | 单次episode内in-loop reset-free技能修复 |
| Open-source student co-learning (Gemma-4) | 训练迭代间里程碑净推进量 | 5个运行均净+2到+5个里程碑（含开头和mid-game checkpoint） | 未训练Gemma-4基线：0推进 | Qwen3.5无warm-up负控制：无法离开起始区域 |
局限与改进
作者在论文中坦诚承认了三个核心局限。第一是**能力门槛（capability floor）**：Flash-Lite上CH全变体跌至3-13%，低于20%的 $H_\min$ baseline，说明refinement循环依赖模型对harness组件的合理利用——如果模型本身能力不够，编辑harness反而引入噪声。这与第二点呼应：**模型同时担任Agent和Refiner角色**的能力要求，当前开源模型（Gemma-4 up to 31B dense）不足以同时做teacher和trainee。第二是**co-learning循环未饱和**：作者明确指出他们报告的是'训练horizon内持续里程碑推进'，没有建立收敛点；reset-free与批量累积+重置两种regime的head-to-head对比仍是开放问题。第三是**harness gap的具体来源**：CH到 $H_{expert}$ 的剩余gap集中在对话密集的道馆内部和多回合战斗策略上，CH当前还无法可靠合成这些组件，需要更针对性的refinement目标。此外，论文**未提供代码仓库链接**（虽有项目页面 https://sethkarten.ai/continual-harness），复现涉及proprietary Gemini API和大规模商业模型评估；24小时运行 × 3 seed × 多模型变体的算力成本极高；PRM和teacher relabel的细节权重放在Appendix D但未在主文中充分展示。
独立分析的弱点
尽管Continual Harness在多个维度取得显著成果，仍存在值得深入分析的弱点。第一，**能力地板的脆弱性**：Flash-Lite上CH全变体反不如 $H_\min$，说明refinement引入的harness组件对弱模型是负担而非助力——需要研究如何在refinement前自动判断模型能力并回退到极简harness，避免负迁移。第二，**Refiner与Agent同模型的局限**：当前两者都用同一个Gemini 3.1变体，可能存在'自我评估偏差'——Refiner倾向于保留自己生成的组件、删除陌生组件，需要引入独立评估机制或ensemble Refiner。第三，**技能合成的可靠性**：导航技能证明Refiner可以合成等价于Dijkstra的路径查找器，但'固化成功序列'的过程依赖模型识别重复模式，对高度变化的任务（如多回合战斗策略）合成质量下降——'Operation Zombie Phoenix'是涌现的产物而非可靠产出，需要结构化的技能模板或类型系统。第四，**reset-free训练的工程复杂度**：每轮迭代保存模拟器状态、加载恢复，迭代间游戏状态可能因模型微扰而错位，对评测指标引入方差，需要更鲁棒的状态一致性检查。第五，**评估的oracle-relative偏差**：Dijkstra oracle只评估导航技能，对战斗策略、对话处理等组件没有等价oracle，无法全面量化'self-improvement'的实质进展。改进方向包括：(a) 设计capability-aware的adaptive refinement触发条件；(b) 引入ensemble Refiner和对抗式组件保留机制；(c) 构建类型化的技能模板库引导Refiner合成；(d) 开发更全面的'组件级oracle'（如战斗策略的hand-coded baseline）。
未来方向
作者明确提出了几个未来方向：第一，**reset-free与传统批量训练的对比实验**：论文承认当前未做head-to-head比较，reset-free在长horizon上优势明显但每迭代样本效率可能低，需要在相同计算预算下做公平对比；第二，**co-learning循环的饱和性分析**：需要延长训练horizon、刻画里程碑推进的渐近行为、判断是否需要换更大学习率或更多teacher relabel budget；第三，**扩展到其他具身环境**：Pokemon RPG只是具身决策的一种，需要检验CH在Minecraft、Habitat、真实机器人等环境中的迁移性，尤其是Refiner对不同observation空间（图像vs点云vs音频）的泛化能力；第四，**同模型teacher-student的自循环**：当前co-learning依赖闭源前沿教师，开源模型需要等到能力足够同时做teacher和student，作者预计Gemma-4下一代≥ 31B的版本可能具备这一能力；第五，**harness组件的形式化**：当前组件是自然语言+代码混合，建议引入schema验证、类型系统、单元测试等工程手段提升合成质量；第六，**能力感知的混合harness调度**：对弱模型使用 $H_\min$、强模型切换到 $H_{CH}$、顶级模型切换到 $H_{expert}$，由Refiner判断何时升级。可延伸的方向还包括：(i) 多智能体协同下的harness共享；(ii) 人类demonstration作为Refiner的in-context seed；(iii) harness库（harness-of-harnesses）的元学习。
复现评估
复现评估需要区分三个层次。第一层是**论文idea复现**：核心思想清晰——Refiner读取轨迹窗口、编辑harness四组件、meta-tool API统一交互，理论上可以在小规模（如自定义grid world）做概念验证，不需要依赖Pokemon模拟器。第二层是**GPT/Gemini-based复现**：需要在PyBoy或类似模拟器上跑Pokemon Red/Emerald，配置frame capture + ASCII map提取，对接Gemini API或等效模型，每24小时 × 3 seed × 4模型变体 × 2游戏，单卡A100/H100预算难以承受，且Gemini API调用成本（24小时 × 多变体）显著——论文报告的Pro实验单次达\$215。第三层是**co-learning开源复现**：需要Gemma-4 26B/31B开源模型、PRM训练数据、前沿教师（Gemini-3.1-pro）的relabel接口、DAgger迭代框架、reset-free emulator state持久化——工程量极大。论文提到有项目页面 https://sethkarten.ai/continual-harness 但未给出代码仓库链接；Appendix D提及warmup阶段（SFT + GRPO）的细节、PRM组件权重、每运行的identifier和超参数，但主文未充分展开。核心评测指标'cumulative button presses to milestone'基于PokeAgent Challenge的标准化评估集，但评估集本身是公开的（[7]）。总结：**核心思想可复现，完整规模实验复现成本极高（涉及proprietary API + 长时训练 + 多模型变体），开源状态不明确**。
论文图表
图1展示三个面板对比Continual Harness的三种运行模式，每种共享相同拓扑（environment / agent / harness / refiner），仅refiner身份不同。Panel (1) Human-in-the-loop：GPP中人类观察轨迹并改写harness，产出首个完成Pokemon Blue、Yellow Legacy hard mode、Crystal的AI系统。Panel (2) Self-improving harness：Continual Harness用自动Refiner替换人类，refiner从单次连续episode内的轨迹数据操作。Panel (3) Model + harness co-learning：在warmup后，开源模型的权重和harness状态在在线游玩过程中联合更新，下方有RL trainer接收轨迹做权重更新。
这是理解论文贡献版图的总览图，三个面板精确对应论文三大贡献（GPP项目 / Continual Harness / co-learning），且揭示了refiner在不同尺度上的角色演化（人类 → 自动LLM → 自动LLM+RL trainer）。