搜索超越可教范围：智能体视觉生成中的知识边界演进 Search Beyond What Can Be Taught: Evolving the Knowledge Boundary in Agentic Visual Generation

完整流程分四个阶段。Phase 0 监督热启动：收集约 10,000 条专家标注的 Task A/B/C 轨迹（一一对应 gate/filter/integrate 三阶段），对 Qwen3-VL-8B 做交叉熵 SFT，得到能产出结构化分析但仍「生成器无关」的推理器。Phase 1 在线迭代 DPO（针对生成器）：每个 episode 采样一批 prompt，对每条 prompt 先用热启动推理器跑 gate-filter-integrate 得到搜索增强规范 $\tilde{p}$（含过滤后的参考图与整合后的文本指令），生成器据此采样 $M$ 张图，用 SEARCHGEN-BENCH 的 9 维评测协议打分，取最高分 $x^w$ 和最低分 $x^l$ 构成偏好对，按流匹配 DPO 损失更新（温度 $\beta=100$、参考模型用 EMA 衰减 0.99 更新），多轮迭代后得到边界外扩的 $G^{(1)}_\theta$，同时因训练时见到带噪参考而习得抗噪能力。Phase 2 RFT（针对推理器）：把 Phase 0 推理器与 $G^{(1)}_\theta$ 配对，对每条 prompt rollout $N$ 条搜索轨迹、生成对应图像并打分 $s_n$，计算组相对优势 $A_n=(s_n-\bar{s})/(\sigma_s+\delta)$，只保留 $A_n>0$ 的轨迹做 SFT——正确「放弃搜索」的轨迹得高分被强化，错误搜索搞坏输出的轨迹被丢弃，整个 RFT 在 $4\times8$ GPU 小时内跑完。推理时，最终 $(G^{(1)}_\theta, R^{(1)}_\phi)$ 联合部署，推理器只在 $K_{ctx}$ 上触发搜索。

技术新颖性体现在三处。其一，gate-filter-integrate 是首个针对视觉搜索噪声三段式结构化设计的协议：gate 解决「概念腐蚀」（搜索覆盖了生成器本就掌握的准确知识）、filter 解决「拷贝效应」（参考图信息过载变成临摹模板）、integrate 通过把视觉参考改写为自然语言「借这个、不借那个」的指令来阻断像素级风格/背景泄漏，这种 modality-aware（区分 image/web 两类工具）+ 逐缺口决策的设计在视觉领域没有先例。其二，形式化的知识边界定义 $K_{int}(\theta)/K_{ctx}(\theta)$ 把 Mallen 等人在文本域关于「流行实体靠参数、稀有实体靠检索」的经验观察，升级为可操作、可被协同训练发现的设计变量，并明确指出它依赖 $\theta$ 且单调外扩。其三，teach-then-search 的非对称协同训练——Phase 1 DPO 外推边界并练抗噪、Phase 2 RFT 内收搜索范围——区别于对称自博弈（如 SPIN），因为生成器和推理器占据结构上不同的角色、朝相反方向改进。这三点叠加，把「是否搜索」从一个工程调参问题提升为一阶设计变量。

第一，知识边界定义中的容忍度 $\epsilon$ 与质量函数 $Q$ 在论文里只是概念性占位，并未给出工程上如何选定的细节，$\epsilon$ 取值不同会显著改变 $K_{int}/K_{ctx}$ 的划分，建议未来工作给出 $\epsilon$ 的敏感性曲线或自适应选择方法。第二，integrate 阶段将视觉参考改写为自然语言是抗噪的关键，但对「像素级身份必须 1:1 复现」的任务（如某明星的脸、某品牌 logo 的精确字形）是劣化——VLM 描述「蓝金长袍」远不如直接把像素喂进 cross-attention，改进方向是设计一个「该用语言描述还是该用像素条件」的模态路由器，让 integrate 自适应。第三，filter 与 gate 都依赖 Qwen3-VL-8B 的判断质量，在文化特异性极强的长尾（如墨西哥 alebrije 龙的色块约定、不丹国旗的 Druk 龙纹）上，8B 推理器自身可能就判不准「什么是有用的参考」，建议引入检索后的人类/强模型校验做蒸馏。第四，只做了单轮 DPO+单轮 RFT，未验证作者反复强调的「递归自改进飞轮」是否真能持续单调收敛而不饱和或震荡——这是全文最大的愿景却未给出多轮证据，改进方向是跑 3–5 轮并报告每轮边界位移曲线与是否出现收益递减。第五，评测只有单一裁判，建议加入多裁判集成或小规模人工校准以排除裁判偏差。

作者在结论里明确提出若干方向：知识边界的缩放律（internalizable 集是否随生成器规模均匀扩张，还是某些类如文化特异性天然抗内化）；能否用探测分类器或不确定性估计从模型内部直接预测边界，免去完整协同训练；internalizable/contextual 的二分能否推广到视频、3D、音乐等其他受限于「有限训练数据 vs 无界请求」的模态。基于本成果可延伸的方向我补充三点：一是把 gate-filter-integrate 协议和 teach-then-search 协同训练推广到「工具箱」——图像编辑、渲染即代码（SVG/matplotlib/CAD）、3D 资产检索等，研究单一 agent 能否学到跨工具的统一边界；二是把知识边界与不确定性校准、主动学习结合，让推理器在边界模糊区域主动请求人类反馈，构建人在回路的视觉生成；三是 SEARCHGEN-CORPUS-1M 的冻结特性正好可作为「可重放的 Web」做检索增强偏好学习与奖励建模的标准沙盒，可催生一批可复现的检索策略研究。

复现友好度是本文的显著亮点。作者不仅放出了代码和模型，还围绕「可重放」做了大量工程投入：开源 SEARCHGEN-20K（20,839 prompt）、SEARCHGEN-BENCH（751 测试 prompt 带 9 维细粒度评测协议）、以及最重要的 SEARCHGEN-CORPUS-1M——145,642 条归档图像/Web 搜索会话、559,973 个唯一 URL、370,733 个缓存下载，使整套流水线可在无任何实时搜索 API 密钥、无搜索结果漂移的情况下离线重放，把昂贵的在线搜索工作流降级为离线 substrate。还放出 90,452 条推理轨迹（多个前沿推理器）和 281,925 张生成图（多推理器×多生成器组合），可直接用于偏好学习与蒸馏。算力需求方面，Phase 1 在线迭代 DPO 需要批量采样 $M$ 张图并打分（论文未给绝对 GPU 数，但 DPO 是扩散模型训练里相对重的环节），Phase 2 RFT 明确标注仅需 $4\times8$ GPU 小时即可完成，对学术实验室友好。主要复现门槛在于：评测依赖 Gemini-3-Flash 商用 API（裁判打分有成本且未来会漂移），以及 DPO 阶段的算力；但有了冻结语料，去掉实时搜索这层后整体复现难度大幅降低，是近期视觉生成 RAG 工作里复现性最好的一档。