惊喜之笔：矢量草图中的渐进式语义错觉 Stroke of Surprise: Progressive Semantic Illusions in Vector Sketching
通过联合优化矢量笔画，在绘制过程中实现语义幻觉
前置知识
Score Distillation Sampling (SDS)
SDS 是一种将预训练的 2D 扩散模型（如 Stable Diffusion）的知识蒸馏到 3D 场景或矢量图形中的优化技术。其核心思想是：在每次优化迭代中，对当前渲染结果加噪得到噪声潜变量 $z_t$，然后用冻结的扩散模型 $\epsilon_{\phi}$ 预测噪声，计算预测噪声与实际噪声的差作为梯度信号。损失函数形式为 $\mathcal{L}_{\text{SDS}} = w(t) (\epsilon_{\phi}(z_t, t, p) - \epsilon) \frac{\partial z_t}{\partial \theta}$，其中 $p$ 是文本提示，$\theta$ 是可优化参数。该方法最早由 DreamFusion 提出，后被广泛用于文本驱动的 SVG 生成（如 VectorFusion、DiffSketcher）。本文使用双分支 SDS 同时优化两组笔画参数，使其满足两个不同的语义目标。
SDS 是本文方法的核心优化机制，理解它才能理解双分支联合优化如何将扩散模型的语义知识转化为笔画参数的梯度更新。
可微分光栅化 (Differentiable Rasterization)
可微分光栅化是将矢量图形（如 Bézier 曲线定义的笔画）转换为像素图像的过程，同时保持对矢量参数的梯度可导性。传统光栅化是不可微的离散操作，而可微分光栅化器（如 DiffVG）通过在渲染管线中插入梯度传播机制，使得损失函数对笔画控制点、颜色、宽度等参数的梯度可以反向传播。这使得可以直接用像素级或语义级损失来优化矢量图形参数。在本文中，可微分光栅化器 $\mathcal{R}$ 将 Bézier 笔画 $S$ 渲染为图像 $I = \mathcal{R}(S; \theta)$，使得 SDS 梯度能回传到笔画控制点参数。
这是连接矢量表示和像素级扩散模型监督的桥梁，没有可微分光栅化，SDS 梯度就无法更新矢量笔画参数。
Gestalt 闭合 (Gestalt Closure)
Gestalt 闭合是认知心理学中的经典理论，指人类视觉系统倾向于将不完整的轮廓或碎片化的线条自动补全为完整的形状。这一原理解释了为什么寥寥数笔的简笔画就能让人识别出复杂的物体。在计算领域，这一特性使得稀疏线稿成为语义错觉的理想载体：当观众看到一组笔画形成某个物体的轮廓时，视觉系统已经完成了对该物体的认知；当新的笔画加入并重新组合这些已有结构时，大脑会经历一次认知冲突，从而产生错觉效果。本文正是利用了这一机制，使得 prefix 笔画在不同完成阶段被感知为完全不同的物体。
理解 Gestalt 闭合是理解为什么渐进式语义错觉可行的心理学基础——正是因为人类视觉系统的这种自动补全倾向，少量笔画才能承载双重语义。
Bézier 曲线参数化
Bézier 曲线是一种通过控制点定义的参数化曲线，广泛用于矢量图形中。一条 $n$ 阶 Bézier 曲线由 $n+1$ 个控制点定义，其参数方程为 $B(t) = \sum_{i=0}^{n} \binom{n}{i} (1-t)^{n-i} t^i P_i$，其中 $t \in [0,1]$。在本文中，每条笔画被表示为一条单段三次 Bézier 曲线，包含 4 个控制点，因此可学习参数张量形状为 $N \times 4 \times 2$（$N$ 条笔画，每条 4 个控制点，每个点 2 个坐标）。优化目标是调整这些控制点的位置，使得渲染出的图像满足语义约束。使用单段而非多段是为了降低优化复杂度，同时保持足够的表达能力。
Bézier 曲线是本文笔画表示的基础，理解其参数化方式才能理解联合优化的具体操作对象和梯度传播路径。
Common Structural Subspace（公共结构子空间）
这是本文提出的核心概念，指在两组语义目标之间存在的一组共享几何配置。具体而言，对于两个文本提示 $p_1$（如兔子）和 $p_2$（如大象），公共结构子空间是一组笔画参数，使得前缀笔画在渲染后既能被识别为 $p_1$ 所描述的物体，又能作为完整笔画的结构基础被重新解释为 $p_2$。例如，兔子的耳朵可以同时充当大象的耳朵。发现这个子空间是本文方法成功的关键——它使得同一组几何元素在不同语义上下文中具有不同的感知意义，从而实现渐进式语义转换。
公共结构子空间是本文方法论的核心目标，理解它才能理解为什么联合优化优于顺序优化，以及为什么基线方法难以实现高质量的渐进式错觉。
研究动机
视觉错觉长期以来依赖空间操纵来实现——如多视角一致性（Shadow Art 从不同光照投射不同剪影）、翻转/旋转（Visual Anagrams 通过图像翻转揭示隐藏含义）、频率分解（Factorized Diffusion 将不同概念嵌入不同频段）。这些方法有一个共同特点：它们都是对称的空间变换，即一个完整的图像通过某种空间操作变成另一个完整的图像。然而，在矢量草图生成领域，现有方法面临一个根本性的双重约束困境。栅格化方法（如 Nano Banana Pro）依赖破坏性编辑，直接覆盖初始像素来生成最终目标，这从根本上违反了渐进式约束——初始阶段的内容被完全抹除。顺序式矢量方法（如 SketchAgent、SketchDreamer）采用贪心策略，先独立优化前缀笔画使其描绘第一个概念，然后固定这些笔画再优化增量笔画描绘第二个概念。问题在于，固定后的前缀笔画陷入了只服务于第一个概念的局部最优，当增量笔画试图构建第二个概念时，前缀笔画变成了语义噪声或视觉杂乱。如论文中的鸡到猴例子所示，SketchDreamer 产生了严重的笔画杂乱，而 SketchAgent 则过度抽象导致可识别性低下。核心问题是：没有任何现有方法能发现两个语义目标之间的公共结构子空间——即一组对两种解释都有效的共享几何配置。
本文的目标是本文的具体目标是建立第一个渐进式语义错觉（Progressive Semantic Illusion）的生成框架，将视觉错觉从传统的空间维度拓展到时间维度。具体而言，给定一对文本提示 $(p_1, p_2)$，框架需要生成一组矢量笔画 $S$，使得：（1）前缀笔画 $S_{\text{prefix}}$ 单独渲染时清晰地描绘概念 $p_1$；（2）完整笔画 $S_{\text{full}}$ 渲染时清晰地描绘概念 $p_2$；（3）增量笔画不是简单地覆盖前缀，而是与前缀结构互补地整合，实现平滑的语义转换。框架还需要具备可扩展性，支持多阶段渐进错觉（如苹果到兔子到猪），并泛化到不同的矢量表示形式（B-spline、彩色笔画、一般矢量图形）。
与已有工作不同的是，本文的独特切入角度在于将绘制过程本身作为语义变换的载体，而非依赖空间操纵。这一视角转换带来了一个全新的约束形式：非对称性和累加性。与 Visual Anagrams 等方法的对称空间变换（翻转前后都是完整图像）不同，渐进式错觉要求前缀是最终图形的严格几何子集——前缀笔画不会被变换或替换，而是被新笔画重新语义化。这意味着问题本质上是一个共享参数的联合优化问题：需要在两组竞争性的梯度信号之间找到平衡点，使得同一组笔画参数同时满足两个语义目标。现有方法要么完全忽略了这种联合优化的可能性（顺序方法固定前缀），要么破坏了累加性约束（栅格方法覆盖初始内容）。本文抓住的正是这个被忽视的关键点：前缀笔画必须被预激活以适应未来语义，而这只有通过同时施加两组语义梯度才能实现。
核心方法
本文的方法可以用一个比喻来理解：想象一位画家要画一幅画，观看者随着画家落笔逐步看到不同的物体。画家的第一笔开始勾勒一只兔子的轮廓，但这些笔画同时也是大象身体的一部分——兔子的耳朵将成为大象的耳朵，兔子的身体将成为大象的头部。关键在于画家不是先画完兔子再画大象，而是在下笔时就已经同时考虑了两个物体的结构需求。技术路线如下：首先，将一组可学习的 Bézier 笔画 $S$ 划分为前缀子集 $S_{\text{prefix}}$ 和增量子集 $S_{\text{delta}}$；然后，构建双分支优化管线——前缀分支仅渲染前缀笔画并用文本 $p_1$ 的 SDS 梯度引导，完整分支渲染完整笔画并用 $p_2$ 的 SDS 梯度引导；两组梯度相加后联合更新所有笔画参数。此外，引入叠加损失（Overlay Loss）通过高斯模糊的空间缓冲机制惩罚前缀与增量笔画的空间重叠，确保结构互补而非遮挡。最后，通过基于 VLM 的质量评估和排序管线从多个优化结果中筛选最优候选。
本文的核心创新点是联合优化发现公共结构子空间。与已有方法最本质的区别在于：现有所有顺序式方法（SketchDreamer、SketchAgent 等）都遵循先生成 A 再从 A 扩展到 B 的范式，一旦前缀笔画被生成就立即冻结。这导致前缀笔画陷入只服务于概念 A 的局部最优，当需要同时服务于概念 B 时就变成了障碍。本文的方法则完全不同：它通过双分支 SDS 同时施加两组梯度信号——前缀分支告诉笔画要变成兔子，完整分支告诉笔画整体要变成大象——让笔画参数在两组竞争性梯度的张力下动态调整，自动寻找一个对两个概念都有效的公共结构子空间。在这个子空间中，笔画的几何配置具有语义双关性：兔子的耳朵结构恰好也是大象耳朵的合理表达。这种联合优化策略使得前缀笔画从一开始就不是为单一目标优化的，而是被预激活以适应未来的语义重解释。论文中的消融实验证实了这一点：顺序优化的隐藏性 CLIP 仅为 1.520，而联合优化达到 2.421，差距显著。
方法步骤详情
方法分为五个步骤：（1）初始化：在画布中心附近初始化 $N$ 条单段三次 Bézier 曲线（默认 $N=32$），每条有 4 个控制点，参数张量形状为 $N \times 4 \times 2$。锚点从 $[0.3, 0.7]^2$ 的归一化坐标中均匀采样，后续控制点以 $\delta \sim U([-0.025, 0.025]^2)$ 扰动，形成聚集式初始化。笔画划分为前缀（前 $k=16$ 条）和增量（后 16 条）。（2）双分支渲染与 SDS 引导：每次迭代中，前缀分支将前缀笔画通过可微分光栅化器渲染为图像，用 Stable Diffusion v1.5 计算条件于 $p_1$ 的 SDS 梯度；完整分支渲染全部笔画，计算条件于 $p_2$ 的 SDS 梯度。两个梯度相加联合更新所有参数。（3）叠加损失计算：分别对前缀和增量的光栅化结果应用高斯模糊（$\sigma=2.0$，核大小 $15 \times 15$）得到软空间缓冲，计算归一化内积作为损失。（4）总损失优化：$\mathcal{L} = \mathcal{L}_{\text{SDS}} + \lambda_{\text{overlay}} \mathcal{L}_{\text{overlay}}$，使用 Adam 优化器（学习率 0.8）迭代 2000 次，分类器自由引导尺度 100，$\lambda_{\text{overlay}} = 0.1$。（5）筛选与排序：使用 GPT-4o 从四个维度（阶段可识别性、单物体完整性、错觉质量、草图质量）评估候选结果，结合基于 CLIP/ImageReward/HPS 的指标排序，综合得分 $R = S_{\text{CLIP}} \cdot S_{\text{IR}} \cdot S_{\text{HPS}}$ 选出最优结果。
技术新颖性
本文在技术新颖性上有三个突出贡献。首先，问题定义本身是全新的：渐进式语义错觉是一个前所未有的任务，它将视觉错觉从空间维度（翻转、旋转、视角切换）拓展到时间维度（笔画累积顺序），要求同一组笔画在不同完成阶段承载不同语义。这种非对称累加性约束不同于任何现有的对称空间变换方法。其次，双分支 SDS 联合优化机制在技术上是新颖的。虽然 SDS 已被广泛使用，但将其应用于共享参数的双目标联合优化是首次。关键区别在于：顺序方法的前缀笔画只接收单一目标的梯度信号，而本文的前缀笔画同时接收两个目标的梯度，这种竞争性梯度压力迫使参数搜索一个对两个语义都有效的公共子空间。第三，叠加损失（Overlay Loss）的设计巧妙地解决了语义引导无法处理的空间冗余问题。语义级 SDS 损失只关心渲染出的图像像不像目标，不关心笔画之间的空间关系。叠加损失通过高斯模糊建立空间缓冲，用归一化内积惩罚重叠，从几何层面强制前缀和增量笔画的空间互补性。这一设计将语义约束和几何约束解耦，是实现结构整合而非遮挡的关键。
实验结果
本文在 64 个常见物体上随机配对生成 2 阶段渐进错觉，并进行了全面的定量和定性评估。核心发现如下：（1）覆盖率方面，本文方法达到 100%，而 Nano Banana Pro 仅 34.9%——近三分之二的样本因破坏性编辑而违反渐进约束，这直接证明了栅格方法在该任务上的根本性不适用。（2）语义对齐方面，本文在 GPT 排序下的 Phase-1 CLIP 达到 29.873，指标排序下达到 30.044，显著优于所有基线。作为对比，最好的图像基线 CLIPasso 仅为 32.213（但其覆盖率 100% 而隐藏性极低），顺序矢量方法 SketchDreamer 为 24.803，SketchAgent 为 24.393。（3）结构隐藏性（衡量前缀笔画是否在完整图形中保留实质性结构角色）是本文拉开差距最大的指标。本文的 CLIP 隐藏性达 3.282（指标排序），而 SketchDreamer 为 -0.393，SketchAgent 为 -2.544，Nano Banana Pro 为 -2.774——负值意味着增量笔画的独立质量反而比完整图形更高，说明前缀笔画完全被遮盖了。（4）用户研究（143 名参与者）中，本文在 GPT 排序下获得 67.7% 偏好率，指标排序下获得 87.1%，远超所有基线。排序管线的满意度超过 98%，验证了筛选机制的可靠性。（5）消融实验证实了三个关键设计的必要性：联合优化的隐藏性 CLIP 为 2.421 vs 顺序优化的 1.520；聚集式初始化的隐藏性 CLIP 为 5.723 vs 散布式初始化的 3.759；叠加损失将隐藏性 CLIP 从 2.421 提升到 5.723——这是所有消融中影响最大的单一组件。（6）有趣的是，当使用本文生成的前缀作为基线方法的输入时（Ours-to-illusion 协议），基线的 Phase-2 质量有所提升，但仍显著低于本文方法。这说明联合优化不仅找到了更好的公共子空间，还使得增量笔画与前缀的整合更加无缝。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| Phase 1 语义对齐（GPT 排序） | Phase-1 CLIP Avg min | 29.873 | SketchDreamer 24.803 / SketchAgent 24.393 / Nano Banana Pro 26.821 | 较 SketchDreamer 提升 20.4% |
| Phase 1 语义对齐（指标排序） | Phase-1 CLIP Avg min | 30.044 | SketchDreamer 24.803 / CLIPasso 32.213 | 较 SketchDreamer 提升 21.1%，但低于 CLIPasso（后者以低隐藏性为代价） |
| 结构隐藏性 | Concealment CLIP (structural) | 3.282（指标排序） | SketchDreamer -0.393 / SketchAgent -2.544 / Nano Banana Pro -2.774 | 从负值提升至正值，改善幅度达 3.675 |
| 结构隐藏性 | Concealment IR (structural) | 1.237（指标排序） | SketchDreamer 0.338 / CLIPasso 0.090 / ControlSketch -0.789 | 较 SketchDreamer 提升 265.9% |
| 覆盖率 | Coverage (%) | 100.0% | Nano Banana Pro 34.9% | 提升 65.1 个百分点 |
| 用户偏好（GPT 排序） | 用户选择率 | 67.7% | SketchDreamer / SketchAgent / Nano Banana Pro | 所有基线均低于 15% |
| 用户偏好（指标排序） | 用户选择率 | 87.1% | SketchDreamer / SketchAgent / Nano Banana Pro | 压倒性优势 |
局限与改进
本文在论文中坦诚地指出了方法的局限性。首先，方法继承了预训练扩散先验的局限性：对于结构复杂的概念（如剪刀），SDS 引导信号较弱，可能导致优化失败。这是因为 Stable Diffusion v1.5 本身对某些细粒度结构的建模能力有限，当文本提示描述的物体在扩散模型的训练数据中出现频率较低或结构特征不明显时，SDS 梯度无法提供有效的语义引导。其次，从我们的观察来看，方法的计算效率是一个实际限制——每对概念需要约 13 分钟（2 阶段）到 15 分钟（3 阶段）的优化时间（在 RTX 4090 上），且每次优化带有随机性（CUDA 非确定性），需要运行多次并筛选最优结果，实际部署的时间成本更高。第三，当前评估局限于 64 个常见物体的组合，这些物体在 CLIP 和扩散模型的训练数据中通常有充足的样本；对于更长尾的物体或抽象概念对，方法的泛化能力尚不明确。第四，虽然论文展示了多阶段扩展，但随着阶段数增加，优化空间呈指数增长，公共结构子空间的搜索变得更加困难，论文中未提供超过 3 阶段的详细评估。
独立分析的弱点
从独立分析的角度，本文存在以下几个值得关注的弱点及其改进方向。（1）对扩散先验的强依赖性：方法完全依赖 Stable Diffusion v1.5 的 SDS 引导，这使得生成质量上限被预训练模型的能力所限制。对于扩散模型理解较弱的概念对（如抽象概念或文化特定符号），SDS 梯度可能提供误导性信号。改进方向是引入多模型集成策略，例如同时使用多个扩散模型（SD 1.5、SDXL、不同的微调版本）的 SDS 梯度，通过梯度投票或加权平均提高鲁棒性。（2）优化效率瓶颈：2000 次迭代的 Adam 优化需要 13 分钟，且结果具有随机性，需要多次运行筛选。这在实际应用场景中（如创意设计工具）可能不可接受。改进方向包括：使用更高效的优化器（如 L-BFGS 或二阶方法）、引入热启动机制（基于概念相似度检索已有结果作为初始化）、或训练一个前馈网络预测初始笔画参数。（3）笔画表示的表达能力限制：使用单段三次 Bézier 曲线虽然降低了优化复杂度，但也限制了单条笔画的形状表达能力。复杂概念（如人脸细节）需要更多笔画才能表达，但增加笔画数量又增加了优化难度。改进方向是引入可变长度的笔画表示或多段 Bézier 曲线。（4）评估指标的局限性：论文使用 CLIP、ImageReward、HPS 等通用图像质量指标，但这些指标并非为错觉质量专门设计。例如，CLIP 分数高不代表错觉效果好——可能只是图像质量高。论文引入了隐藏性指标来弥补这一点，但这些自定义指标的可靠性和人类感知的相关性还需要更严格的验证。
未来方向
未来研究方向可以从以下几个方面展开。作者提出的扩展方向包括：（1）更多表示形式的泛化——论文已展示了 B-spline、彩色笔画和一般矢量图形的初步结果，但这些变体的系统性评估和优化策略尚待完善；（2）与物理媒体的结合——论文提到了热变色印刷的应用前景，即将输出用于定制马克杯，常温显示一个概念，加热后揭示转变。这需要对笔画的物理可实现性进行约束优化。基于本文成果可延伸的方向包括：（3）交互式渐进错觉设计工具——将本文的生成框架与用户交互结合，允许用户手动调整前缀笔画以引导优化方向，类似于 SketchDreamer 的交互式提示机制；（4）视频和动画中的渐进错觉——将矢量笔画的时序累积扩展到视频帧序列，实现更丰富的动态语义转换；（5）跨模态渐进错觉——结合 Images that Sound 的思路，使得笔画累积过程中不仅视觉语义变化，同时音频属性（如频谱图）也发生变化；（6）认知科学研究应用——利用本文框架生成受控刺激物，系统研究人类在时序语义感知中的认知机制，如前缀笔画的预激活程度如何影响错觉强度。
复现评估
本文在复现性方面表现良好。论文提供了项目主页（https://stroke-of-surprise.github.io/），包含丰富的可视化结果和优化过程演示。实现细节在论文附录中描述得较为完整：每条笔画是单段三次 Bézier 曲线（4 个控制点），优化分辨率为 512x512，笔画宽度 2.5px，最终 SVG 导出为 1024x1024（笔画宽度 5px）。初始化策略（聚集式，锚点从 $[0.3,0.7]^2$ 采样，扰动 $\delta \sim U([-0.025,0.025]^2)$）和随机种子（固定为 0）均有明确说明。超参数方面，Adam 学习率 0.8、迭代 2000 次、引导尺度 100、$\lambda_{\text{overlay}}=0.1$、高斯模糊 $\sigma=2.0$（核 15x15）均已给出。算力需求方面，所有实验在单张 NVIDIA RTX 4090 上运行，对大多数研究实验室而言可获取。论文还提供了 CUDA 非确定性下的方差分析（同一提示对运行 5 次），确认结果的一致性。主要的复现障碍在于：（1）依赖 Stable Diffusion v1.5（可通过 Hugging Face 下载）和 DiffVG 可微分光栅化器（需要编译安装）；（2）GPT-4o 的使用需要 OpenAI API 访问权限且产生一定费用；（3）评估数据集的 64 个物体配对未完全公开具体组合，但随机采样策略已说明。整体而言，复现难度中等偏低。
论文图表
对比了三类方法在处理渐进式错觉时的不同表现：(a) 栅格化方法（Nano Banana Pro）依赖破坏性编辑，覆盖初始结构；(b) 矢量化基线（SketchDreamer、SketchAgent）采用贪心策略，前缀笔画成为语义噪声；(c) 本文方法通过联合优化实现双重语义一致性。该图用兔子到大象的例子直观展示了双重约束问题和本文的解决方案。
清晰地说明了为什么现有方法在渐进式错觉任务上失败，以及本文方法的核心优势所在，是理解研究动机的关键图。