MaLiang-Harness：通往图像与视频生成的可编程路径 MaLiang-Harness: A Programmable Path to Image and Video Generation
以持久状态、可追溯构建与修订感知验证弥合程序正确性与视觉要求间的P2V鸿沟。
前置知识
MLLM（多模态大语言模型）
同时处理文本与图像输入、并具备推理与代码生成能力的大语言模型。本文用它在视觉创作中承担全部认知工作：理解需求、规划构图与时序、选择渲染后端、编写绘图/动画代码、查看渲染结果并决定如何修订。
整篇论文的前提是 MLLM 已强到能“写代码作画”，其评测对象正是 11 个 MLLM 在该框架下的表现。不了解 MLLM 的能力边界，就无法理解 P2V gap 为什么会出现、又为什么值得单独定义和度量。
可执行视觉表示（executable visual representation）
用程序代码描述图像或视频：Canvas 绘图指令、SVG 路径、Scene2d、three.js 场景图等。渲染器对程序确定性求值即得到像素，几何、外观、时序全部显式写在代码里，与扩散/流匹配模型直接合成像素的隐式过程相对。
这是本文“可编程路径”的载体。要理解核心矛盾“程序正确执行 $\neq$ 视觉满足要求”，必须先理解代码与像素之间的这层映射：代码合法跑通只说明求值成功，不说明画面符合意图。
Agent Harness（智能体脚手架）与反馈回路
为 LLM 提供持久状态、工具接口与观察反馈闭环的运行环境，把单次问答扩展为“规划—执行—观察—修订”的多轮过程。文中的 Code as Agent Harness、Show-Harness、OmniHarness 是这一思路在推理、机器人、视觉生成方向的同类探索。
MaLiang-Harness 本质上就是一个面向视觉生成的 harness，PEG/TGP/REV 三大机制全部围绕“有状态的多轮创作”设计，不理解 harness 范式就看不出它与普通“LLM 调 API 生成图片”的区别。
VLM-as-Judge（模型评分协议）
用视觉语言模型按 1–5 分对生成结果逐维度打分：图像看 prompt 对齐、美学、构图，视频额外加运动连贯；得分 $\geq 4$ 记为通过该维度，同时满足全部维度记为“全指标达标”。这是当前替代人工评估的主流做法。
本文所有质量数字（如 96.0% 全达标、构图均值 4.54）都建立在 GPT-6-Sol 打分之上；读实验表时必须清楚口径——均值只覆盖成功样本、阈值计数不含失败案例，否则会误读模型间比较。
版本快照与修订索引
类似 git 的不可变快照机制：每次提交的编辑获得递增修订号 $k$，历史快照永久保留、可随时恢复，恢复本身也生成新修订号，配合内容哈希校验资产完整性。
PEG 状态 $S_k$、TGP 操作记录 $\tau_j$、REV 审查 $q_i$ 全部以修订号 $k$ 为公共参照。读懂三个公式中各个 $k$ 的含义、以及“审查只在 $k_i = k$ 时有效”的交付判据，都依赖这一机制。
研究动机
过去十年，高质量图像与视频生成主要沿“直接视觉合成”范式演进：从 GAN 到扩散与流匹配模型（DDPM、Latent Diffusion、视频扩散等），模型学习视觉数据分布后直接合成像素或隐表示，生成过程高度隐式、难以精确控制。一条新兴替代路线是可编程路径：MLLM 把创作意图写成可执行视觉程序（Canvas/SVG/three.js 代码），渲染器负责出图，从而获得显式的空间与时间控制、可编辑性和可追溯性。但作者指出这条路线存在一个此前被忽视的鸿沟：程序可以完全正确地执行，产出的图像或视频却违反用户要求的构图、外观或运动——物体放错位置、动画事件在错误时间发生，作者将其定义为 Program-to-Visual（P2V）gap。现有工作如 VISPROG 的模块化视觉程序、Design2Code 的截图转代码、BlenderAlchemy 的 3D 编辑搜索，都只保证“代码跑通了”，把执行成功当成任务完成，缺乏对视觉需求逐条验证与持续修订的机制。
本文的目标是本文目标分三层。概念层：正式定义 P2V gap，即“程序级正确性”与“视觉需求满足”之间的偏差，并论证弥合它需要模型对代码的视觉后果进行推理。系统层：构建 MaLiang-Harness，一个连接创作意图与多种可执行视觉表示的统一框架，把 MLLM 驱动的图像与视频生成组织成“构建—检查—修订”的持久过程，使演化中的视觉程序、构建历史与验证结果共享同一个修订参照。评测层：建立 MaLiang-IBench（50 个文生图 prompt）与 MaLiang-VBench（13 个文生视频 prompt），对 11 个闭源 MLLM（DeepSeek、Kimi、GPT 三家族）系统测量生成成功率、视觉质量（对齐/美学/构图，视频加运动连贯）与计算成本（时长、调用次数、token 用量），并检验 AA Intelligence Index 等通用能力分数能否预测视觉程序生成能力。
与已有工作不同的是，独特切入角度在于把视觉生成的“正确性”从执行层提升到修订与验证层。作者的观察是：弥合 P2V gap 需要四个环环相扣的条件——初始规划必须考虑视觉表示与渲染后端的选择；代码执行后，渲染输出要成为修订程序与计划的证据；迭代中必须保留作品历史，让模型在满足新需求的同时能回到早期版本；每次修订后还要重新做视觉评估，因为一次改动可能破坏先前已满足的要求。这四点共同要求一个“有状态的 harness”而非单次生成管线。与相关工作的差异：VISPROG 用程序做视觉推理但不管理创作状态；BlenderAlchemy 有状态评估但限于 3D 单后端；本文用统一的修订参照把多后端（Canvas/SVG/Scene2d/three.js）的图像与视频创作放进同一套状态管理、渲染与修订感知验证协议中，并首次系统评测“哪个 MLLM 能把代码真正变成符合要求的画面”。
核心方法
直觉上，MaLiang-Harness 把 MLLM 当作一位“先打草稿、边画边看、对照需求反复修改”的创作者。技术上：给定 prompt $p$ 与输出规范 $\omega$（尺寸、格式、随机种子、视频时长参数），MLLM 先规划外观、空间构图与时序动态，选择可执行表示及兼容后端 $b$（Canvas、SVG、Scene2d、three.js 等），生成绘图与动画代码；代码直接指定从空间构图到随时间运动的全部内容，难以用代码表达的丰富外观可用搜索或图像生成的资产补充。同一框架下，图像是程序在指定内容时刻 $t$ 的求值，视频则是对程序编码的时间行为采样。渲染结果交回 MLLM 对照任务需求评估，观察到的视觉差异驱动下一轮代码修订，直到通过交付检查。整个系统不依赖扩散或流匹配过程，持久状态加视觉反馈闭环是其与传统 T2I/T2V 的根本不同。评测覆盖 11 个 MLLM 在 MaLiang-IBench（50 题文生图）与 4 个模型在 MaLiang-VBench（13 题文生视频）上的表现。
核心创新是三个共享同一修订参照的机制。1) 持久可执行生成（PEG）状态：第 $k$ 次修订时维护 $S_k = \langle P_k, A_k, Z_k, C_k, k \rangle$，其中 $P_k$ 是视觉程序及后端标识、$A_k$ 是关联资产、$Z_k$ 是嵌入程序的空间构图与时序动态描述、$C_k$ 是保留 $p$、$\omega$、用户需求与当前计划的生成上下文；状态更新满足 $S_{k+1} = E(S_k, a_k)$，渲染为 $I_k(t) = R_b(S_k, t; \omega)$。2) 可追溯生成过程（TGP）：为第 $j$ 个操作记录 $\tau_j = \langle o_j, x_j, y_j, k_j^-, k_j^+ \rangle$，把操作、输入参数、执行结果（含报错）与前后修订号绑定，渲染观察同样关联到被评估的修订。3) 修订感知编辑与验证（REV）：对需求 $h_i$ 维护审查 $q_i = (k_i, E_i, v_i)$，$v_i \in \{pass, fail, uncertain\}$；交付判据为 $\mathrm{Ready}(S_k) = \mathrm{ExportOK}(S_k) \land \mathrm{CheckpointOK}(k) \land \bigwedge_{h_i \in H_k}[k_i = k \land E_i \neq \emptyset \land v_i = pass]$，即只有当前修订的全部强制检查点基于本修订的证据通过才可交付。三者使程序、历史与验证互相对得上号。
方法步骤详情
完整流程分六步。第一步，任务初始化：$S_0$ 含 $p$ 与 $\omega$，可以没有任何可执行内容。第二步，规划：MLLM 分解需求、分析约束、选择表示与后端、组织强制需求为检查点；规划可以追加需求但不能删除或弱化既有需求，单独的编辑任务从选定快照初始化自己的修订序列并保留对源运行与修订的链接。第三步，构建：生成绘图/动画代码、创建对象与资产、提交编辑得到新修订；每次提交（包括恢复历史内容 $S_r, r \leq k$）都占用下一个未用修订号，并保留前序快照以便回滚。第四步，渲染与观察：后端按 $I_k(t) = R_b(S_k, t; \omega)$ 求值，图像取指定时刻，视频在时间轴上采样；记录实际输出、采样时间戳与裁剪区域，即使自定义代码引入种子之外的非确定性也能定位证据。第五步，验证：对 $C_k$ 中每条强制需求 $h_i$，用全帧渲染或空间裁剪检查外观与构图，时序需求用覆盖指定区间、不少于三个不同时间戳的有序帧样本；审查只在 $k_i = k$ 时对当前状态有效，每次提交后即使只改了计划也必须重新审查并重批检查点。第六步，交付判定：ExportOK 校验源文件与资产哈希、格式、尺寸与视频时长约束，CheckpointOK 要求全部检查点通过，Ready 条件满足才允许导出；观测与审查的记录不改变修订号 $k$，失败或不确定的审查在预算内触发继续检查或修订。
技术新颖性
与既有工作的本质区别有四点。第一，把“创作”形式化为带修订索引的状态机而非单次生成：操作序号 $j$ 与修订号 $k$ 显式分离——渲染、检查这类不提交状态更新的操作不推进 $k$，而恢复历史内容也占用新修订号，这保证“执行过的修改”与“被视觉检查过的修订”始终可区分，是 TGP 能诊断 P2V 偏差的关键。第二，验证与修订严格绑定：审查 $q_i$ 只在 $k_i = k$ 时有效，杜绝“用旧证据糊弄新代码”——一次改动后所有检查点必须基于新修订的渲染重新通过，这是对 agent 常见“验证过期”问题的直接回答。第三，需求单向棘轮：规划只能追加需求、不能删除或弱化，编辑任务修改继承需求必须引用用户新指令，防止模型悄悄放宽目标。第四，多后端统一协议：Canvas、SVG、Scene2d、three.js 保留各自原生表示，共享同一套状态管理、渲染与审查接口，图像与视频在框架内统一为“程序在时刻 $t$ 的求值”与“程序时间行为的采样”。与 Code as Agent Harness、Show-Harness、OmniHarness 等 harness 工作相比，本文聚焦视觉领域并首次把可追溯构建史与修订感知验证作为一等公民。
实验结果
文生图（MaLiang-IBench，50 prompt，11 模型）：GPT-6-Astra 100% 生成成功（50/50）且 96.0% 满足全部三项质量阈值（48/50），均值分对齐 4.36、美学 4.22、构图 4.54；GPT-6-Sol 与 GPT-6-Luna 成功率均 96%，全达标分别 46、44；GPT-5.6-Sol 成功 48/50、全达标 43。对比之下 GPT-5.6-Luna/Terra 虽有 92% 成功率，全达标却骤降到 22/24，且其质量失败几乎都在 prompt 对齐维度，说明“生成成功”与“视觉达标”必须分开度量。DeepSeek 与 Kimi 系成功率仅 12%–40%（DS-V4.1-Flash 成功 6 张、DS-V4-Pro 9 张、Kimi-K2.6 17 张、K2.7-Code 20 张、K3 9 张），其质量均值只覆盖小样本，Kimi-K3 对齐分 4.56 建立在仅 9 张图上。文生视频（VBench，13 prompt，4 模型）：Astra 13/13 全部成功、10/13 全达标，其中运动连贯只有 10 个通过，是最严苛维度；GPT-5.6-Sol 成功 7/13、全达标 5/13，6 次失败中 3 次因 token 超限；Kimi-K2.6 成功 3 个但 0 个全达标；DS-V4.1-Flash 0 成功且 13 次失败中 5 次超 token 限制。成本上 GPT-5.6-Sol 3.28 分钟/合格图（43 张）略优于 Astra 3.70 分钟/合格图（48 张）；视频 Astra 10.00 分钟/成功视频、463.3k 输入 tokens/case。通用能力对照：AA Intelligence Index 与画质通过率的 Spearman $\rho = 0.65$（n=11），正相关但不能预测——GPT-5.6-Luna 与 GPT-6-Luna 同为 37 分，通过率 44% vs 88%；Kimi-K3 拿 44 分却只有 18%。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 文生图生成（MaLiang-IBench，50 prompt） | 生成成功率 | GPT-6-Astra 100%（50/50） | GPT-5.6/6 系列 92%–96%；Kimi-K2.7-Code 40%、Kimi-K2.6 34%、DeepSeek-V4-Pro 18%、DS-V4.1-Flash 12% | 唯一满分；较 GPT-5.6-Luna/Terra 高 8 个百分点，较 Kimi 最好成绩高 60 个百分点 |
| 文生图全指标达标 | 对齐、美学、构图三维评分均 $\geq 4$（5 分制）的样本数 | GPT-6-Astra 48/50（96.0%） | GPT-6-Sol 46、GPT-6-Luna 44、GPT-5.6-Sol 43、GPT-5.6-Luna 22、GPT-5.6-Terra 24；Kimi-K2.7-Code 12 | 是 GPT-5.6-Luna 的 2.2 倍；GPT-6 系全部成功图像均过美学与构图阈值，短板集中在对齐 |
| 文生图质量均值 | 5 分制均值（GPT-6-Sol 评判，仅覆盖成功样本） | GPT-6-Astra：对齐 4.36、美学 4.22、构图 4.54 | GPT-6-Sol 4.25/4.15/4.25；GPT-5.6-Luna 3.57/3.74/3.93；Kimi-K3 4.56/4.22/4.33（仅 9 样本，不可比） | GPT 系内三个维度均最高 |
| 文生视频生成（MaLiang-VBench，13 prompt） | 生成成功率 | GPT-6-Astra 100%（13/13） | GPT-5.6-Sol 53.8%（7/13）、Kimi-K2.6 23.1%（3/13）、DeepSeek-V4.1-Flash(64K) 0%（0/13） | 较 GPT-5.6-Sol 高 46.2 个百分点 |
| 文生视频全指标达标 | 对齐、美学、构图、运动连贯四维均 $\geq 4$ | GPT-6-Astra 10/13（运动连贯 10/13，美学 13/13） | GPT-5.6-Sol 5/13（其成功 7 个中运动 6 个）；Kimi-K2.6 0/3 | 运动连贯是 Astra 唯一未全过的维度，也是最严苛的质量指标 |
| 图像生成成本（含失败与重试） | Time/Qualified（分钟/合格图） | GPT-6-Astra 3.70（48 张合格） | GPT-5.6-Sol 3.28（43 张合格）；Kimi-K2.6 62.69；DeepSeek-V4-Pro 48.12 | 单张效率略逊 Sol 0.42 分钟但合格产量多 5 张；token 效率最高（输入 142.0k、输出 8.1k tokens/case） |
| 通用能力 vs 视觉生成相关性 | Spearman $\rho$（AA Intelligence Index vs 画质通过率，n=11） | $\rho = 0.65$，正相关但预测力有限 | 同分对照：GPT-5.6-Luna 与 GPT-6-Luna 均 37 分；Kimi-K3 44 分 | 同分模型画质通过率相差 44% vs 88%；Kimi-K3 高分仅换得 18% 通过率，说明通用榜单不能替代视觉专项评测 |
局限与改进
作者承认的局限：1) 写实度不足——路径追踪后端虽能做出材质反射、玻璃透射与接触阴影（Figure 7），但“超写实笔触”式提示词修订（Figure 8）无法达到照片级真实：草地覆盖变淡、石头纹理减弱，更细的笔画不等于协调的形状、明暗与纹理；2) 修订停滞与失控——存在推理停滞、语义活锁与无限 agent 循环三种失败模式，Figure 8 案例中 token 预算耗尽前都没产生纠正性编辑，机制只保证可恢复、不保证有效修正；3) MLLM 判分是自评估而非独立的感知质量度量，时序评估用不少于三个时间戳的采样帧，只能做时间点评估、无法证明帧间连续性。我的补充观察：4) 评测用 GPT-6-Sol 作 judge，与被测的 GPT-6 系列同家族，可能存在评分偏袒；5) benchmark 规模小（50+13 个 prompt），50 题下 1 张图就是 2 个百分点，12% vs 18% 这类差距统计意义有限；6) token 超限贡献了大量失败（DS-V4.1-Flash 视频侧 5/13、GPT-5.6-Sol 3/6），说明 harness 对上下文预算缺乏主动管理策略；7) 成本不低——Astra 每个视频案例 463.3k 输入 tokens、10 分钟，且 DeepSeek-V4-Pro 在无视觉反馈设置下评测，与它方可比性存疑。
独立分析的弱点
独立分析的弱点及改进方向：1) 判分独立性缺失——用 GPT-6-Sol 给 GPT-6 系列打分，榜单头名与裁判同家族，难以排除偏好；改进方向是引入人类偏好评估或多裁判集成（不同家族的 VLM 加独立检测器）。2) 需求覆盖机制不完整——Ready 条件只约束标记为“完成必需”的需求集合 $H_k$，uncertain 状态允许在预算内继续尝试但没有量化不确定性的办法；可引入外部 verifier 或符号检查器（几何约束、事件时序的形式化验证）替代部分自评。3) 视觉反馈归因粗糙——修订依赖全帧与裁剪观察，缺少显式定位“哪行代码导致哪个视觉缺陷”的工具，TGP 只记录了相关性；可研究程序切片加渲染差分的自动归因。4) 时序验证薄弱——三个采样时间戳无法覆盖运动连续性与物理合理性（Figure 11 的水流、划船场景恰是最难达标处），可引入视频专用判别器或光流一致性检查。5) 失败处置被动——对 token 超限与活锁只有模型调用、工具调用、时间、token 四类硬截止，缺少基于进度估计的主动止损与计划重构策略。6) 渲染后端上限——写实效果受限于后端表达能力，路径追踪只是初步接入且作者自己承认无对照实验证明其对感知写实的贡献。7) 基准规模——13 个视频 prompt 难以支撑模型间 5 个百分点差异的显著性结论。
未来方向
作者明确提出两个方向：探索更丰富的渲染后端以提升视觉保真，以及 progress-aware（进度感知）的修订策略以识别停滞并及时停止。基于本文成果还可延伸：1) 把扩散/流匹配模型作为“资产生成后端”纳入统一接口，用可编程骨架控制构图与时序、由神经生成器提供丰富外观，这可能是弥合写实差距的现实路径；2) 将 PEG/TGP/REV 范式推广到 3D 场景、交互式内容与设计软件（Blender/Figma）自动化；3) 利用本文基准系统研究“通用能力分数与视觉程序生成的失配”，构造更有预测力的能力维度（如空间推理、视觉心象）；4) 训练专门的视觉验证模型替代 MLLM 自评，并把验证信号回传用于 RL 微调生成策略；5) 多智能体协作创作——规划者、程序员、审查者分工，可能缓解单模型的推理停滞与活锁；6) 检索增强的已验证代码资产库，复用通过审查的绘制例程以降低 token 成本与失败率；7) 从 Figure 10 的“研究图”案例出发，把可追溯构建用于科研图表自动生成的溯源与合规审查（区分数据驱动元素与生成资产）。
复现评估
代码已开源（https://github.com/gulucaptain/MaLiang-Harness），框架本身是纯工程实现（多后端渲染加状态管理加审查协议），复现门槛主要不在代码而在模型与成本。需要闭源 MLLM API：11 个图像模型（DeepSeek-V4.1-Flash/V4-Pro、Kimi-K2.6/K2.7-Code/K3、GPT-5.6-Luna/Terra/Sol、GPT-6-Luna/Sol/Astra）与 4 个视频模型，外部研究者可能只能用可得的子集复现趋势而非精确数字。成本量级可从论文表格估算：IBench 单模型总时长 1.65–6.42 task-h（50 题），Kimi-K2.7-Code 每题消耗 1056.5k 输入 tokens，视频侧 Astra 463.3k tokens/case；若只复现 GPT-6-Astra 的 IBench 结果约需 2.96 小时 API 调用时间。评测还需 GPT-6-Sol 作 judge，打分协议（5 分制、阈值 4、视频取 12 个时序有序帧）描述清晰、可实现。50 个图像与 13 个视频 prompt 是否随仓库发布论文未明说，若未发布则基准复现会打折。综合评估：框架层面易复现，完整榜单复现受 API 可得性与费用约束，难度中等。
论文图表
四组示例展示框架的能力面：(a) 多风格图像生成（线稿/扁平艺术、2D 卡通、流程图与海报）；(b) 视觉推理与编辑（黑发改金发并加手表、圈出所有圆盘、把第 3 列第 2 行改红）；(c) 交互式操作；(d) 创意视频生成（水墨山水展开、像素猫叼星星穿过键盘、涂鸦猫把真实洒水壶的水变成手绘激流漂流）。
这是论文的“成果陈列窗”，直观说明“可编程路径”能覆盖的创意风格与任务类型远超传统 T2I/T2V 的单一照片写实定位，也解释了 Table 1 中风格覆盖对比的由来。
同一 Canvas 插画的修改前后对比及局部裁剪：GPT-6-Astra 在 REV 内编辑绘制程序以产生更细的笔触后，整体构图保留，但草地覆盖变淡、石头的独特纹理与山的肌理被削弱；更细的笔画并未带来照片级写实。
作者用它诚实展示框架的边界：写实需要协调的形状、明暗与纹理，仅靠精修提示词驱动的代码编辑无法达成；这也是“修订可能停滞”讨论（token 耗尽前未产生纠正性编辑）的案例来源。