Designer-RSI：从用户流量中演化程序记忆的智能体平面设计 Designer-RSI: Evolving Procedural Memory from User Traffic for Agentic Graphic Design
冻结模型配自进化自然语言技能库，零权重更新把平面设计成功率从72.7%提到99.3%
前置知识
程序性记忆（技能库）
认知科学区分'记住发生了什么'的情景记忆与'记住怎么做'的程序性记忆。本文每个技能是一个 SKILL.md：YAML 头部含触发描述（唯一检索信号）、应用模式、5–10 个工具的关键路径与版本状态，正文分五节（何时使用、澄清、分步、技巧、错误处理）。运行时用 load_skill 按需加载全文。
技能库是全文唯一被学习与修改的对象——模型权重完全冻结，拓宽和加深两条进化轴都作用于这些 Markdown 文件。
工具调用智能体（Tool-calling Agent）
LLM 以循环方式工作：规划→调用工具→观察输出→修订。本文智能体通过 230 多个工具控制 Photoshop/Illustrator/InDesign 等价物，检索真实素材、渲染中间文档供多模态检查；一次设计需数十次相互依赖的工具调用。关闭技能检索即还原原始智能体，构成对照组 BASE。
所有实验都在这个产品级智能体上进行，'长轨迹+低层操作'正是论文问题设定（信用分配难、无成功 oracle）的根源。
LLM-as-a-Judge 及其偏差
用大模型给开放式输出打分或做两两比较。已证明存在位置偏差（偏爱先展示的选项）、冗长偏差、自我增强偏差等系统性噪声，且同一张图的绝对分数在多次运行间会漂移。常见缓解是交换展示顺序盲评、聚合多次判断。本文的 Graphic-Eval 评审（完整性/美学/批评三轴）同时充当进化奖励与报告指标。
回放门控的全部设计（禁用绝对分数、同批两臂重放、顺序随机化）都是为了对抗评审噪声，不理解评审偏差就读不懂门控的动机。
安全策略改进（Safe Policy Improvement）
强化学习分支：在已部署基线之上改进策略时，只接受能以足够置信度确认不劣于基线的更新，宁可放弃小幅改进也不接受回归——生产环境中可见回退的代价远高于错失改进。代表工作如 baseline bootstrapping 与高置信度离线策略评估。
回放门控的接受准则'零记录落败且至少一记录获胜'正是该保守原则向自然语言技能 artifact 的移植，是本文方法论的立论根基。
长时程信用分配（Credit Assignment）
在数十步相互依赖的决策链中，仅有终局反馈时很难判断哪一步导致了成败：早期本正确的动作序列可能因后续失败而获负分，稀疏的成功轨迹又提供不了足够学习信号。这是长时程智能体强化学习的核心障碍（信用误分配、样本低效）。
它解释了论文为何不选对冻结模型做 RL 微调，而是把学习目标外置为可局部修订、可被门控逐条把关的技能文件。
研究动机
专业平面设计是典型的长时程智能体任务：一个设计可能需要数十次相互依赖的操作——检索素材、排版文字、处理矢量、构建蒙版与效果、回头修订早期决定——同时还要保持成品可编辑。这带来两个根本困难。其一，信用分配：反馈只有最终产出图这一个信号，几乎无法判断是哪一步导致了成败；GraphicBench 报告即使只有 46 个抽象设计动作，执行也会因空间推理与跨步依赖而失败，而真实专业软件的操作粒度低得多——本文智能体面对 230 多个工具。其二，不可验证：设计简报混合了硬性要求（文字、颜色、位置）与主观标准（层次、构图、风格），不像代码有可执行测试，不存在程序化的成功判定器。于是监督学习需要昂贵的专家演示，结果驱动的强化学习既要对付长时程信用分配又要忍受不完美的代理奖励——更何况本文依赖的 Claude 等前沿模型是外部托管的 API，权重根本无法更新。
本文的目标是本文的目标是：在不更新任何模型权重、不使用任何人工奖励标注的前提下，让一个冻结前沿模型驱动的专业设计智能体从真实用户流量中持续积累并改进经验。具体拆成三个子目标：(1) 把可复用的设计流程（如双重曝光：提取主体→建蒙版→混入另一素材→精修）表示为自然语言技能——比原子工具调用具体、比完整轨迹通用，可像 Photoshop 动作一样被检索复用，又保持可被模型改编、重排、部分应用的柔性；(2) 建立两条自动进化通道——拓宽（widening，为用户流量中反复出现但无技能覆盖的子任务铸造新技能）与加深（deepening，用技能自身的成败执行记录反复修订既有技能）；(3) 保证每次改动进入生产库前都经过严格验证，只修复失败、绝不回归已观察到的成功，从而在噪声、不可验证的反馈下实现安全的持续适应。
与已有工作不同的是，此前自进化智能体工作各有局限：Voyager 等技能库方法依赖可程序化验证的成功信号（Minecraft 任务有明确成败），专业设计没有这种 oracle；ACE 等上下文进化方法演化的是剧本式上下文，不针对部署中的共享技能库，也不处理评审噪声；SkillAudit 用配对轨迹对比定位技能段落，但缺少部署流量场景和回归门控。本文的独特切入有三点：(1) 重新定义学习对象——把'围绕冻结模型的程序记忆'本身作为优化目标，天然适配外部托管、无法微调的基础模型；(2) 把创意软件的固定序列宏（Excel 宏、Photoshop 动作）松弛化为自然语言流程，兼得可复用与可改编；(3) 把'提议改动'与'准入改动'分离——拓宽和加深只负责从经验中提出候选，一个受安全策略改进启发的配对回放门控独立决定什么能上线，明确针对 VLM 评审漂移与上游状态混淆这两类此前被忽视的失效源。
核心方法
直觉上，这就像让智能体把自己踩过的坑写成'自然语言版宏'：成功经验固化为 SKILL.md 技能，下次遇到同类任务检索注入，模型按需调用 load_skill 加载全文。系统由四个冻结角色组成离线进化循环：Prompter 从真实用户数据及 LLM 增强变体提出设计简报；Solver（智能体本体=技能库+230 多个工具）执行出渲染图像；Grader（多模态评审）按完整性/美学/批评三轴打分并给出每条未满足要求的原因；Reflector 把失败转成对 SKILL.md 的定向编辑。技术路线沿双轴展开：拓宽从覆盖池中把反复出现（累计 $k_{\min}=3$ 次）的未覆盖子任务蒸馏成候选技能；加深对失败计数≥$m=2$ 的已有技能，拿它的失败执行与同技能的成功执行（工具调用序列、中间路标结果、思考 token）做对比后生成修订。所有候选统一通过配对回放门控：冻结上游上下文（同批 prompt+相同检索素材），候选与现任版本（修订）或无技能基线（新铸）在同批新鲜重放，两两盲评且顺序随机化，仅当'没有任何 prompt 落败且至少一个 prompt 获胜'才准上线。
核心创新是把'什么在学习'从参数转移到模型外围的程序记忆，并配上一个应对噪声、不可验证反馈的保守准入机制。与已有工作的本质区别有三。第一，学习对象不同：Voyager 的技能库由可验证成功信号驱动，本文全程从 VLM 评审的噪声反馈中学习，模型完全冻结（连 LoRA 都没有），只有技能文件在变。第二，准入准则不同：此前工作普遍用绝对分数决定接受（'均分升了就上线'），本文证明 VLM 评审对同一图像的绝对分数会跨运行漂移，因此门控从不使用绝对分数——两臂在同批冻结上下文上新鲜重放，批内评审漂移对两臂同等作用、在差值中抵消；每个 prompt 须在多个冻结上下文的多数中获胜才算赢，防止单一上下文的大增益掩盖其他上下文的损失。第三，实证发现不同：论文首次用受控消融证明拓宽与加深单独几乎无效（对基线胜率仅 49.4% 与 48.6%，冷启动 46.4%），组合后超加性地达到 58.5%（$p=0.025$）——新铸技能需要精修的检索描述才能被召回，而加深会把修不好的失败重新路由进覆盖池供铸造，两机制构成闭环耦合而非简单叠加。
方法步骤详情
流水线五步。①冷启动：文档管线铸出 76 个初始技能（26/25/25 个 PS/AI/ID 等价技能），每累积 50 条新评分记录触发一轮进化。②执行与评分：每轮约 300 条简报回放，按 $s_j=0.7\cdot\text{completeness}+0.3\cdot\text{aesthetic}$ 打分，$s_j<0.6$ 记为失败并计入该轨迹检索过的每个技能。③拓宽：规范化子任务进入持久覆盖池，某标签累计 $k_{\min}=3$ 次即蒸馏候选技能，送门控对阵无技能基线，被拒则留池继续积累。④加深：选失败计数≥$m=2$ 的技能（最常失败优先），Reflector 对比其失败执行与同技能成功调用后输出定向编辑；反复未过门则升级整篇重写，再被拒触发探索循环，裁决为更新/删除/保留。⑤门控：修订类取好/坏轨迹各 2 条 prompt、铸造类取触发簇 prompt，配多个冻结素材上下文，两臂同批重放、两两盲评得胜率 $r$（$r>0.5+\delta$ 赢、$r<0.5-\delta$ 输），零落败且有至少一胜才入库。五轮共 1,406 条简报、1,869 条轨迹，技能库 76→139。
技术新颖性
新颖性分四层。机制层：失败计数启发式（$m=2$、无归因加权、不看成功次数、每轮上限 50）本身朴素，但其'选择便宜宽松、把关全交门控'的非对称设计是新提出的——先前工作要么进化上下文剧本（ACE），要么用配对轨迹做段级定位（SkillAudit）。评估层：配对回放门控是最独特的贡献——禁用绝对分数、冻结上游状态、同批两臂重放、多数上下文获胜才算 prompt 获胜、零回归且至少一胜才上线（式 (1)/(5)），把安全策略改进（Thomas 2015；Laroche 2019）首次系统移植到自然语言技能 artifact 的进化准入，明确解决 VLM 评审漂移与上游状态差异（如素材检索不同导致候选'躺赢'）两类混淆。发现层：超加性耦合（单独 49.4%/48.6% vs 组合 58.5%，$p=0.025$）为'覆盖与可靠性必须协同进化'提供了首个受控证据。系统层：全部实验在真实产品级环境完成——Adobe 三件套等价物、230+ 工具、真实用户流量、托管 API 模型——而非玩具环境，这在自进化智能体文献中很少见。
实验结果
五轮进化（1,406 条简报、1,869 条评分轨迹、零权重更新与人工标注）使技能库 76→139：门控接受 131/231 个修订提案、69/136 个铸造候选。铸造技能与种子库最近邻距离 0.215 显著大于种子内部间距 0.158（$p<10^{-8}$）。内测 200 条人工简报：R5 把完整性≥0.5 占比 86%→93%、≥0.9 处 43%→56%（+13pp）、满分 24%→32%；R4 曾跌破低阈值基线，R5 后全面最强。通用 T2I：Sonnet 的 GenEval2 成功率 72.7%→99.3%、质量 +11.99；DPG 82.7%→100%、+15.51；三骨干平均质量 +3.83/+7.70/+9.67。设计基准盲评胜率：Opus 67.6%、Sonnet 61.8%、Qwen 62.8%；Sonnet 在 BannerRequest400 成功率 74.7%→100%。延迟仅 +3.4%~6.2%。消融最关键：冷启动不提升（胜率 46.4%），仅重写 48.6%、仅加新技能 49.4%，组合 EVOLVE 达 58.5%（$p=0.025$）、完整性 74.04，超加性 +3.85。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| GenEval2（通用文生图组合推理，Claude-Sonnet-4） | 执行成功率 / Soft-TIFA 几何平均质量 | 99.3% / 46.25 | 72.7% / 34.26（无技能 BASE） | +26.6pp 成功率 / +11.99 质量 |
| DPG-Bench（密集 prompt 跟随，Claude-Sonnet-4） | 执行成功率 / Soft-TIFA 算术平均质量 | 100% / 83.79 | 82.7% / 68.28 | +17.3pp 成功率 / +15.51 质量 |
| 四库平均生成质量（GenEval2/DPG/OneIG-EN/OneIG-ZH，各 300 prompt） | 平均质量分 | Opus 70.87 / Sonnet 59.33 / Qwen 78.34 | Opus 67.04 / Sonnet 51.63 / Qwen 68.67 | +3.83 / +7.70 / +9.67 |
| 专业设计基准总体胜率（OpenCOLE/GraphicBench/CreatiDesign/BannerRequest400） | GPT-5.4 盲评两两胜率（对 50% 平局线） | Opus 67.6% / Sonnet 61.8% / Qwen 62.8% | 50%（平局基线） | +17.6 / +11.8 / +12.8pp |
| BannerRequest400 完成率（Claude-Sonnet-4） | 900 秒内完成有效设计的比例 | 100% | 74.7% | +25.3pp |
| 内测 200 条人工简报消融 | 完整性 / 对 BASE 胜率 | EVOLVE（139 技能）74.04 / 58.5%（p=0.025） | BASE 69.08；冷启动 68.62/46.4%；仅重写 69.02/48.6%；仅加新技能 69.79/49.4% | 较最佳单机制 +4.25 完整性 / +9.1pp 胜率（超加性交互 +3.85） |
局限与改进
作者承认四点局限：(1) 自然语言技能只能'描述'偏好流程，当模型有强默认策略时仅靠检索注入无法让它照做——附录 I 的下雪特效案例需偏好条件化检索+工具集裁剪才生效；(2) 精细几何操作受模型感知与自动验证双重限制——Droste 案例中 VLM 验证器放过明显错位，换数值验证器能发现错位但智能体仍无法像素级执行，仍需人在环；(3) 长流程技能保真度随步骤累积衰减——把单位瓷砖技能推到完整 De Nigris 图案时，标注、蒸馏、使用三环节都漏保真，产物是打折版；(4) 回放门控只对被评估案例局部有效，回放集无回归不保证全量流量分布单调改进。我的补充观察：评估深度自洽耦合——Graphic-Eval 既是进化奖励又是报告指标，设计胜率全靠 GPT-5.4 判断，缺乏人评；内测 prompt、技能库、用户流量均不公开，社区难以独立核验；所有收益绑定自家智能体与 Adobe 素材栈，迁移性未知；且并非普适增益——Opus 在 GenEval2 质量上 -3.32，Qwen 在 DPG 成功率上 -15.3pp。
独立分析的弱点
独立分析四个弱点。①评审单点依赖：奖励、指标、门控全锚定在同一个冻结 LLM 评审上，配对比较只消除运行间漂移，不消除评审的系统性盲区（如对某类排版风格的偏好会被固化进技能库并自我强化）；改进方向是多评审集成+定期人评校准。②覆盖判据依赖检索质量：技能描述 200–600 字符是唯一召回信号，token 重叠打分对同义改写敏感，被误判'已覆盖'的假阴性需求可能永远进不了覆盖池；改进方向是混合 embedding 召回或依赖感知检索，并审计覆盖池假阴性。③失败归因粗糙：一条失败轨迹计入其检索过的每个技能（无加权），多技能场景会误伤无辜技能，靠门控兜底的代价是重放预算浪费——修订提案 43%、铸造候选 49% 被拒；改进方向是段级归因。④规模天花板：技能目录全量列入系统提示，库到数千规模时 token 预算与检索冲突会恶化，需层次化组织。另外超加性结论仅在单一设计领域验证，外推需谨慎。
未来方向
作者提出的方向：偏好感知检索（支撑附录 I 的个性化轴，让技能覆盖个体用户的方法偏好与硬以言传的目标）；确定性原语与数值验证器（弥补 VLM 在精细几何上的感知/验证短板，附录 I 显示数值验证能发现 VLM 放过的错位）；结构化计划与 plan 级编排（让长流程不再依赖模型对长文本指令的服从，Figure 9 案例后作者明确点名确定性宏、计划编排或模型更新）；更精确的验证机制与人在环回退；小规模用户研究验证人类视角效果。基于成果可延伸：把'零回归+至少一胜'的门控形式化推广为技能进化的一般安全标准，并与安全策略改进的置信界理论建立联系；在代码、SQL 等有程序化验证器的域复现该框架，剥离'无 oracle'因素，量化门控在可验证域的上限；研究跨域技能迁移——'提取主体→建蒙版→混合'流程能否迁移到视频编辑；技能库长期动力学：合并、删除、冲突消解（文中已有 6 个被合并/删除案例）；把五轮进化中定性描述的覆盖-可靠性权衡升格为可预测的调度模型，替代当前'每 50 条记录触发一轮'的固定节奏。
复现评估
复现难度较高，属'方法可复现、结论难核验'。不可复现部分：内测基准 prompt 文本不公开，用户流量简报与轨迹不发布，76 个冷启动与 139 个进化后技能库均未开源，附录 J 只展示 193 个渲染图（无 prompt）。可复现部分：外部基准全公开（GenEval2、DPG-Bench、OneIG、OpenCOLE、GraphicBench、CreatiDesign、BannerRequest400）；方法细节异常完整——SKILL.md 五节结构、检索公式与阈值、门控 tie band、冷启动四阶段管线、评分权重 0.7/0.3 都在附录给出；评审后端（GPT、Claude、Qwen3-VL 评委）均可 API 获取。算力：Claude 骨干走 Bedrock 按量计费，五轮 1,406 简报+每轮 200 评估+门控重放调用量可观；Qwen3.6-27B 需 8×A100。最大风险：收益部分来自冷启动文档库与真实流量分布，第三方只能用自家文档从零自举；评委版本演化影响胜率可比性。总体适合作工程蓝图精读，不适合直接 benchmark 复跑。
论文图表
三行案例：上——'加下雪特效'，默认渲染成稀疏粒子场，技能（用户的分层噪声配方）需偏好条件化检索+工具裁剪才能生效；中——'三层 Droste 递归相框'，两臂都有错位，暴露感知/验证极限，人在环仍是回退；下——De Nigris '3/4 Decorative' 单位瓷砖，BASE 产出'氛围画'（神似但不可用），技能使其一次精确复现出可编辑、可平铺的矢量瓷砖。
划定检索-注入式技能库的能力边界（方法偏好可解决、感知精度受限、手工目标可精确复现），是附录 I 局限性讨论的核心图。
对比用户手工构建的完整 '3/4 Decorative' 图案（标注目标，图 a）与智能体用同一标注技能生成的结果（图 b）：铺贴布局大致保留，但三阶灰色填充与精细结构丢失，成为'打折版'目标——保真度在标注演示、蒸馏成技能、模型遵循长技能三个阶段都泄露并复合。
量化'长流程技能保真度衰减'这一关键局限，支撑'此类目标需要确定性宏/计划编排/模型更新而非纯文本技能'的结论。