以绘画变化图为引导生成绘画过程 Painting Change Map as guidance for generating painting processes
提出时空绘画变化图，从成品画反推可控的绘画过程视频
前置知识
ControlNet 式条件控制
在预训练扩散模型旁挂可训练副本，把边缘图、深度图、语义图等控制信号编码后注入去噪过程，使生成结果严格遵循给定空间条件。视频生成场景（如 VACE、VideoX-Fun）延续同一思路，控制信号以逐帧控制视频的形式输入，实现像素级的空间约束。
PCM 本质上就是一种新的控制视频模态，只有先理解控制信号如何约束扩散模型，才能理解变化图作为条件输入的价值与接入方式。
视频扩散基础模型（WAN 2.1 / I2V / V2V）
WAN 2.1 是开源大规模视频生成基础模型，分为文生视频、图生视频（I2V）与视频到视频（V2V）等范式；WAN 2.1 Fun 是在其上为受控视频生成改造的版本，原生支持控制视频输入与 LoRA 微调。PaintsAlter 走 V2V 路线，Loomis Painter 走 I2V 路线。
本文两阶段流水线分别基于 Wan2.1 I2V 5B（预测变化图）和 WAN 2.1 Fun 1.3B V2V（合成视频），不理解这些范式就无法看懂方法架构与显存/延迟分析。
LoRA 低秩适配
冻结预训练模型权重，只训练注入的低秩分解矩阵 $\Delta W = BA$（秩 $r$ 远小于权重维度），大幅降低可训练参数量、显存与训练成本，是把大模型低成本适配到垂直任务的标准手段。
本文所有模型变体均以 LoRA 微调（学习率 $10^{-4}$、19 epoch、单张 A100 约 8 小时），这是其训练成本低、易于复现的关键。
帧间差分与变化检测
对相邻视频帧做像素级差分并按阈值二值化，得到变化掩码，是传统运动检测的基本手段；核心难点在于区分真实结构变化与光照变化、传感器噪声、相机抖动等干扰源，通常需要空间敏感度阈值与全局运动滤波配合。
PCM 的第一步就是把绘画视频转成帧间差分二值变化图，论文中的 $\tau$（笔画敏感度）和 $\theta$（全局运动滤波）两个阈值直接决定控制信号质量。
生成质量评估指标（CLIP/DINOv2/FID/LPIPS/MSE）
CLIP 分数与 DINOv2 特征相似度衡量生成帧和参考图的语义一致性（越高越好）；FID 衡量生成分布与真实分布的距离（越低越好）；LPIPS 衡量深度特征空间的感知差异；MSE 是像素级均方误差。局部评估时对非目标区域做掩码或白底填充后再计算。
论文全部定量结论都建立在这五项指标上，理解各自的侧重（语义、分布、感知、像素）才能正确解读 Table 1-3 中各项数字的含义。
Lineart 线稿提取与 SAM 分割
Lineart（Chan et al. 的学习式线稿生成器）把照片或绘画转成干净的结构轮廓线，突出边界与形状，常作为生成模型的静态几何条件；SAM 3 是可提示的通用分割模型，可按概念分割并移除画面中的遮挡物（如画家的手和画笔）。
Lineart 轮廓是本文最优控制模式（Interpolation & Lineart）中的静态锚点通道；SAM 3 用于清洗训练数据，替换了 Loomis Painter 原有的 BiRefNet 预处理。
研究动机
现有绘画过程视频生成方法落入三种范式，各有结构性缺陷。实例级优化以 Inverse Painting 为代表，把绘画视频分解为天空、山体等物体级掩码序列，反复用掩码修复直到与最终图像的数学距离足够小；这种纯反应式机制没有分层构图的概念，遇到跨物体边界的多层底色（multi-instance underpainting）等全局技法就会失效。进度条件化以 PaintsUndo、PaintsAlter 为代表，用单一全局标量（0%–100%）刻画进度，但一维标量无法表达空间差异——画家可能已把背景画完（局部进度 100%）而前景主体还停在草稿（局部进度 0%），靠文字提示词填补空间引导极不稳定，除非持续提供密集参考帧。固定线性插值以 Loomis Painter 为代表，完全不给时间条件输入，因为每次固定生成 81 帧，模型隐式学会均匀线性推进，作画节奏与动作顺序完全无法调整，用户对画作如何随时间演化毫无掌控力。
本文的目标是作者主张，真正可控的绘画视频生成必须同时回答两个问题：画家在哪里落笔（空间维度），以及何时落笔（时间维度）。为此提出 Painting Change Map（PCM）——一种显式追踪归一化结构变化的时空控制机制，在 1,000 个时间步的连续体上编码画布上每一步变化，分辨率足以捕捉笔画级的细粒度修改，同时保持计算可行。目标是把这张时空进度图作为标准视频扩散模型（WAN 2.1）的控制信号，既能从成品画反向重建“擦除式”绘画过程（unpainting），也支持只擦除画面中某个语义实例（如只擦山、保留背景）的局部控制，从而在控制粒度和用户自主性上全面超越 Canny 边缘、深度图等静态几何线索与单一进度标量。
与已有工作不同的是，本文的独特切入是把问题解耦成两层：“画布何时何地发生结构变化”（PCM 负责）与“颜色如何物理呈现”（交给生成骨干），刻意不为颜色混合、颜料粘度、画布纹理等微观物理建模。这使控制信号既细粒度到笔画级、又计算轻量，还让训练数据被更充分利用——每个视频可重采样出 1,000 帧供随机抽取，而非 Loomis Painter 只用固定 81 帧。配套提出解耦的两阶段推理：先用图像到视频模型从成品画预测变化图序列，再把变化图作为条件驱动视频到视频模型合成画面，即“先画施工图、再施工”。这种把抽象作画动作与复杂物理呈现分离、并把变化图本身当作可预测中间表示的做法，在同类工作中是首次出现。
核心方法
直觉上，一幅画的施工进度可以压缩成一张随时间累积的变化地图：每个像素最早在哪一步被画上、最近何时被改动。技术路线分三步。第一步从相邻帧差 $\Delta V_t = I_{t+1} - I_t$ 出发，对 RGB 通道取 L2 范数得变化强度图 $M_{t,y,x}$，再用阈值 $\tau$ 二值化；同时施加全局运动滤波——某帧变化像素占比超过 $\theta$（取 5%）即整帧清零，剔除相机抖动的假阳性。第二步构造累积时间张量 $L \in [0,1]^{T\times H\times W}$，记录每个位置最近一次真实修改的归一化时间索引，覆盖 1,000 步连续体。第三步把 $L$ 投影进标准 RGB 控制视频，四种模式中经验最优的是 Interpolation & Lineart：R 通道按 $\mathcal{C}_{t,y,x} = (1-\mathcal{L}_{t,y,x})\cdot C_{\text{start}} + \mathcal{L}_{t,y,x}\cdot C_{\text{end}}$ 做黑到白的时间插值，GB 通道替换为 Lineart 静态线稿，动态进度与几何锚点合一。控制图随后通过 LoRA 微调的 WAN 2.1 Fun 视频模型驱动反序“擦除”生成。
核心创新是把绘画过程显式表示为“空间位置 × 时间次序”的联合编码。静态几何线索（Canny 边缘、深度图）只说明结构长什么样，不含任何笔画时序信息；进度标量（PaintsUndo）无法表达“背景已完成、前景还是草稿”的空间差异；而 PCM 的每个像素携带“最近一次被修改的时间索引”，使每帧控制图天然编码了已完成区域与待画区域的边界——模型既知道画到哪里，也知道接下来从哪里继续。第二个关键发现来自实验：纯变化图在反序任务中反而不如静态边缘基线，因为画布位移与相机抖动会让历史笔画逐渐与当前帧几何错位，而真值边缘基线隐式地提供了跨帧对齐锚点。解决方式是把时间插值放进 R 通道、把 Lineart 静态轮廓放进 GB 通道，动态进度与静态几何锚点各占其位、互为补充。这种“动态变化 + 静态轮廓”的混合通道编码是与已有方法的本质区别，也是其在全部指标上反超线稿基线的关键。
方法步骤详情
数据：在 Loomis Painter 数据集上把每段视频线性重采样为 1,000 帧，用 SAM 3 移除画家的手等遮挡；丙烯子集共 132 段训练、16 段测试、13 段验证。训练：基于 WAN 2.1 Fun 的视频到视频模型做 LoRA 微调，学习率 $10^{-4}$，单张 A100（64GB）训 19 epoch 约 8 小时；按反序（从成品擦回白布）生成 81 帧序列，从 1,000 帧随机采样窗口以增强时间鲁棒性。控制图构建：帧差取通道 L2 范数得 $M_t$，以 $\tau=0.13$ 二值化；变化像素占比超过 $\theta$ 的帧整帧清零；把每像素最近修改时间归一化进 $[0,1]$ 得 $L$，再投影为 RGB——R 通道用 $\mathcal{C}_{t,y,x}=(1-\mathcal{L}_{t,y,x})\cdot C_{\text{start}}+\mathcal{L}_{t,y,x}\cdot C_{\text{end}}$ 填充，GB 通道写 Lineart 轮廓。推理两阶段：先用 Wan2.1 I2V 5B 模型从成品画预测 81 帧变化图（峰值显存 25.84 GB），再用 1.3B V2V 模型以变化图与成品图为条件合成反序绘画视频（显存 17.04 GB），串行共 130.74 秒。
技术新颖性
技术新颖性体现在四点。其一，PCM 是新的控制模态：已有视频控制依赖边缘、深度、语义图等纯空间信号，本文首次把“变化发生的时间戳”编码进像素值，让 1,000 步时间连续体以计算可承受的方式进入标准 RGB 控制视频流程。其二，Interpolation & Lineart 混合编码巧妙复用 RGB 通道语义——R 通道的单调时间插值类似深度图的“密度”语义，GB 通道线稿提供跨帧几何锚点，无需修改骨干网络即可即插即用；灰度插值、24-bit 打包（支持至 1,670 万步）、History 三通道滑窗构成消融完备的表示家族。其三，全局运动滤波利用“笔画任意时刻只占画布小部分、而抖动触发全帧变化”的统计先验，仅凭 $\theta=5\%$ 一个阈值即可清洗真实视频噪声，简单而有效。其四，解耦两阶段推理让 5B 与 1.3B 模型串行而非并发执行，显存不叠加（峰值 25.84 GB），以 0.62 FPS 吞吐量远超 14B 参数的 Loomis Painter（0.19 FPS），把可控绘画视频生成拉到中端硬件可达的范围。
实验结果
超参消融（Table 2）显示 $\tau=0.13$、$\theta\in[4\%,5\%]$ 最优：$\tau=0.05$ 把噪声当笔画，LPIPS 恶化到 0.214、MSE 升到 494.96；$\tau=0.18$ 抹掉细笔画致语义指标下滑。全局 oracle 对比（Table 1）：Interpolation & Lineart 取得 CLIP 0.926、DINOv2 0.920、FID 55.75、LPIPS 0.207、MSE 449.68，全面超过最佳基线 Lineart（0.922/0.917/56.92/0.213/592.81），MSE 降约 24%；纯变化图三种模式均不及边缘基线，印证静态锚点必要性。局部实例控制（七类、零样本）：FID 125.91、MSE 149.61、DINOv2 0.868 均最佳，LPIPS 0.327 持平。SOTA 对比（Table 3）：完整流水线 CLIP 0.87、LPIPS 0.45、MSE 3127.13、0.62 FPS，与 14B 的 Loomis Painter（0.88/0.44/3152.96/0.19 FPS）语义感知持平、像素精度更优、吞吐 3 倍以上；oracle 版本 CLIP 0.93、DINOv2 0.92、FID 55.75、MSE 449.68 大幅领先所有基线（Inverse Painting MSE 10007.06、PaintsUndo 9448.22、ProcessPainter 5253.44）。Figure 4 表明对无真值视频的名画也能先预测变化图再重建过程。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 全局反序擦除（Global Unpainting，oracle 控制图） | MSE（越低越好） | 449.68（Interpolation & Lineart） | 592.81（Lineart 基线） | 降低约 24%；同时 CLIP 0.926 对 0.922、DINOv2 0.920 对 0.917、FID 55.75 对 56.92、LPIPS 0.207 对 0.213，五项指标全面领先 |
| 局部实例擦除（Local Instance Unpainting，七类语义实例，零样本） | FID（越低越好） | 125.91 | 128.30（Lineart） | 最优；MSE 149.61 对 157.31、DINOv2 0.868 对 0.867 亦为最佳，LPIPS 0.327 与基线持平 |
| 完整两阶段流水线 vs 绘画生成 SOTA（含变化图预测） | MSE 与 FPS | MSE 3127.13，0.62 FPS，5B+1.3B 参数 | Loomis Painter：MSE 3152.96，0.19 FPS，14B 参数 | 像素精度严格更优，吞吐提升约 3.3 倍，延迟 130.74s 对 428.3s；CLIP 0.87 对 0.88、LPIPS 0.45 对 0.44 基本持平 |
| Oracle 上限（真值变化图）vs 全部基线 | CLIP / DINOv2 / FID / MSE | 0.93 / 0.92 / 55.75 / 449.68（1.3B，96.4s，0.84 FPS） | 所有基线中最优为 Loomis Painter：0.88 / 0.81 / 101.72 / 3152.96 | 每项指标大幅领先，DINOv2 提升约 13.6%，FID 几乎减半，确立性能上限 |
局限与改进
作者承认的最大局限来自数据本身：即便有全局运动滤波，真实视频中画布的物理移动会让早期笔画在长时间跨度上逐渐与当前帧几何脱同步（desynchronize）；在理想稳定数据中此问题不存在，但现实条件需要显式跟踪或对齐。数据规模也受限：仅 132 段丙烯训练视频，作者指出想分析变化图能否识别画材、风格乃至画家身份，目前受制于数据多样性与规模不足。我自己的观察：Table 1、2 的主要结果全部基于 oracle 变化图（由真值视频计算），与实际使用场景有落差——完整流水线的 MSE（3127.13）比 oracle（449.68）差近 7 倍、FID 从 55.75 涨到 119.53，说明第一阶段变化图预测质量才是真正瓶颈，论文的 SOTA 叙事相当程度上依赖上限展示。此外方法假设无遮挡、只演示反序擦除，且控制图完全丢弃颜色信息，色彩混合全靠模型先验，对色彩严谨的作品可能引入偏差。
独立分析的弱点
第一，两阶段误差级联：oracle 与全流水线的巨大差距（MSE 449.68 对 3127.13，FID 55.75 对 119.53）表明变化图预测阶段是短板；改进方向是让变化图预测器与下游 V2V 模型联合或闭环训练，用重建误差反哺修正变化图，或引入多候选变化图加一致性筛选。第二，画布漂移导致的去同步：累积张量 $L$ 记录的是静态坐标系下的最近修改时间，画布一旦移动历史笔画位置全部失效，可在数据管线加入光流或关键点配准，或让 PCM 预测前先做画布对齐。第三，1,000 步连续体最终仍被压缩进 81 帧生成窗口，长视频需要滑窗拼接，接缝处的时间一致性没有验证；可引入重叠窗口与跨窗条件传递。第四，变化图丢掉颜色语义，对依赖透明叠色的水彩等媒介可能不友好，可增设低分辨率色彩进度通道。第五，评估体系偏重最终帧相似度，缺少过程级指标（如笔画时序一致性、局部进度曲线吻合度），建议补充以更全面衡量控制质量。
未来方向
作者明确提出的方向有二：一是把自动化画布对齐或关键点校正模块并入数据管线，主动消除空间漂移；二是分析变化图本身携带的信息量——画材、风格乃至画家身份能否从中被识别，此方向受限于当前数据规模。基于本文成果还可自然延伸：把 PCM 发展为交互式编辑接口，用户手动修改变化图即可重排作画顺序、控制任意局部进度（论文的零样本实例级擦除已证明可行性）；把两阶段范式迁移到雕塑、陶艺、书法等其他过程性创作媒介；用更强的视频基础模型替换 1.3B V2V 以逼近 oracle 上限（作者已指出上限随骨干成熟而提高）；以及把每视频 1,000 帧随机采样策略推广到其他时间条件生成任务，作为提升时间鲁棒性的通用配方。
复现评估
复现条件较好。代码已开源（github.com/MarkusPobitzer/painting-change-map）；数据基于 Loomis Painter 数据集扩展（每视频线性重采样 1,000 帧），原始视频来自公开 YouTube 教学频道（Painting with Samir、A Lu Art、Aham Art 等），遮挡移除用 SAM 3、线稿用公开的 Lineart 提取器，组件均可获取。算力门槛低：每个配置单张 A100 64GB 训练 19 epoch 约 8 小时；推理阶段峰值显存 25.84 GB（I2V 5B 预测变化图）与 17.04 GB（V2V 1.3B），24GB 级消费显卡即可跑推理。难度中等：需要复刻变化图预处理（阈值 $\tau=0.13$、$\theta\in[4\%,5\%]$ 的网格已给出）、LoRA 配置（lr $10^{-4}$、81 帧随机采样）与两阶段推理编排；评测中七个实例类别的划分、局部指标的掩码方式（CLIP/FID/MSE 用白底填充、DINOv2/LPIPS 直接掩码）需要自行对齐论文细节。
论文图表