编程智能体的视觉生成能力与内部视觉思维语言 How Far Can Coding Agents Go in Visual Generation?

实验流程可拆成八步。第一步 harness 实现：pixel 提供 draw_pixel(索引, 颜色) 工具；shapes 按生成顺序光栅化几何标记、后画的盖住先画的；canvas2d 每轮写一段可执行 JavaScript；svg 做整文档替换后由 resvg 渲染；GUI 通过 Playwright 向 JS Paint 发送成批点击、拖拽、按键与取色操作，每批后收到截图反馈，禁止代码执行与贴图；Blender 每次在全新进程重建场景并渲染，每轮可检查预览。每轮一个 API 调用，模型回复 DONE 结束，代码类接口轮数上限 12、shapes 为 40。第二步评测：VLM 逐条回答 DSG 式原子问题（yes/no/unclear，后两者算失败），报告通过率；感知与整体用成对比较并交换图像顺序。第三步盲画对照：智能体只收执行结果、从不看 RGB 画布。第四步 WorldBench 重建答题：按域分层抽样 200 题，先重建 SVG，再在全新上下文分别用原图、源码、渲染图答题。第五步 test-time scaling：预算 $B = I + 5O$（累计输入 token 加五倍输出 token），扩展组上限 48 次响应、标准组 12 次。第六步笔画工作流：从 Bilibili、YouTube、X 上的人类绘画视频提炼水墨、炭笔、水彩、油画的笔画操作、构建顺序、明暗分组与边缘控制，供智能体重建参考图，且作画代码禁止采样、描摹或滤波参考像素。第七步一致性探针：跨五种 harness 独立作画，计算亮度布局 Pearson 相关 $r(x, y)$（灰度按 $L = 0.299R + 0.587G + 0.114B$ 降采样到 16×16）、18 bin 饱和度加权色相直方图余弦相似度 $c(h, g) = h^{\top} g / (\|h\|_2 \|g\|_2)$ 与 DreamSim 距离；另做 128×128 独立像素查询，16,384 个互不知情的答案拼成整图。第八步房间一致性：30 个 ProcTHOR-10K 房间、每间 7 至 14 件家具，智能体自行布置后从多个朝向作画并重访，最后画俯视平面图，在四种上下文保留条件下用 Jaccard、关系一致率、墙-平面图一致率打分。

技术新颖性体现在四个方面。其一，评测对象是『没有被训练来画画的通用智能体』，与 StarVector、OmniSVG、InternSVG 等专门训练的向量生成模型不同，也与 SketchAgent 的逐笔草图画语言不同——本文考察的是完整可执行程序在六种异构接口下的能力轮廓。其二，与编排扩散工具的智能体系统（Visual ChatGPT、VisionDirector、Gen-Searcher）相反，本文刻意剥离一切生成器，分离出『纯程序化作画』的贡献；同期的 MaLiang-Harness 也研究可编程图像生成，但未触及内部表征问题。其三，行为学探针设计本身是新的：独立像素查询把每个像素的答案隔离在互不可见的全新会话中，类似认知心理学的独立觉察范式，能区分『共享内部意象』与『单次生成内的协调』。其四，视角变换范式（房间转向、重访、画平面图）把 Piaget 式的空间持久性检验搬给智能体，且用四种上下文消融（保留画作、删画作、连家具清单也删、每视角全新调用）把『信息到底存在哪一层』剥离得干净利落。

弱点一：裁判有效性存疑。整体偏好由单一 VLM（Gemini 3.5 Flash）给出，而智能体图像的结构信息（精确文字、坐标、数量）恰好最容易被 VLM 核对，可能系统性高估智能体。改进方向：抽 10–20% 子集做多人标注，报告裁判与人类偏好的 Kappa 一致性，并测试多裁判集成。弱点二：『内部意象』的证据链不足以排除替代解释——跨接口一致也可能来自『相同提示触发相似的文本级规划』，即 $z$ 只是文字计划而非视觉表征。改进：设计干预实验，强制两条不同语言风格的规划路径后再测一致性，或对比『先用文字描述场景再画』与『直接画』的一致性差异。弱点三：像素探针的细节崩溃（同一坐标重问颜色一致率仅 2–38%，逐通道差约 10/255）说明所谓内部意象分辨率很低，更像粗布局先验。改进：绘制一致性随网格密度衰减的曲线，定位内部表征的分辨率上限。弱点四：规模偏小——200 条提示、5 个像素主题、30 个房间，且无显著性检验，小样本域（如 Agents 17 题）的结论脆弱。改进：按域扩样并报告置信区间。弱点五：感知短板的归因未分解——Blender 有真实光照渲染，但材质维度胜率仍只有 15.2%，说明不只是 2D 接口表达力问题，模型先验同样缺位；需要接口×反馈×模型的因子化消融来分离原因。

作者提出的方向是覆盖更多模型、接口与变换类型的更全面评估。基于本文成果还能延伸出多条路：其一，数据反哺——智能体生成的高结构保真 SVG/Canvas 程序是天然带精确标注的训练数据，可用于改进文生图模型的文字渲染与布局能力；其二，混合架构——结构骨架由代码程序给出、感知细节由扩散模型补全的两阶段生成器，取两者之长；其三，机制研究——用可解释性手段定位内部意象 $z$ 在 Transformer 中的载体，检验它与文本规划是否可分离；其四，把房间视角一致性范式推广为智能体空间记忆与主动感知的标准评测，连接具身智能（ProcTHOR 本就是具身平台）；其五，预算感知绘制——本文显示 4 倍预算只换来 1.2 个百分点的结构提升（整体胜率 50.5%），值得研究预算分配策略或更聪明的早停准则；其六，代码化理解的下游应用：从图表 SVG 直接抽取数据做问答，天然适合财报、论文插图等对数字精确性敏感的场景。

复现条件中上等。数据侧：AgentDrawBench 作者承诺公开，提示词全部来自四个已发表基准（Arena-T2I-Hard、HPDv3、BizGenEval、GraphicWeaver）；房间实验用公开的 ProcTHOR-10K；视觉问答用公开的 WorldBench，附录甚至列出了每个域抽中的题目索引。工具侧：六个 harness 全部基于开源组件（PIL、Node Canvas 2D、resvg、Playwright 加 JS Paint、Blender Cycles），附录 A 给出了系统提示词骨架、轮次机制、按美元匹配的预算控制，以及水墨、炭笔、水彩、油画四个示范视频的具体链接。算力侧：无需训练 GPU，成本集中在商用智能体 API——一条 canvas2d rollout 约 5 轮 0.58 美元，200 提示乘 6 接口再乘多组消融估计在数百到上千美元量级，裁判还需 Gemini 3.5 Flash。最大风险是模型不可得性：GPT-6-Astra、Kimi K3、DeepSeek V4.1 Flash 等会持续迭代，精确数字难以复现。总体判断：评测管线复现难度中等偏易，精确数字复现较难。