LaDe：统一的多层图形媒体生成与分解框架

一个统一的扩散模型框架，支持文本到图层生成、文本到图像生成以及图像到图层分解三种任务

前置知识

Latent Diffusion Model (LDM)

潜在扩散模型是一种在潜在空间中工作的生成模型，通过向潜在表示逐步添加噪声（前向过程）然后学习逆转这个过程（反向去噪）来生成数据。相比直接在像素空间操作的扩散模型，LDM先通过VAE将图像压缩到低维潜在空间，在这个空间进行扩散过程，大幅降低计算成本。训练时使用epsilon-prediction或v-prediction预测噪声或速度场，推理时通过迭代去噪生成样本。LDM在高质量图像生成任务中表现出色，是Stable Diffusion等主流模型的基础架构。

LaDe的核心是Latent Diffusion Transformer，理解LDM的前向-反向扩散过程、训练目标（v-prediction）以及推理采样过程是理解LaDe生成机制的基础。LaDe通过修改标准LDM支持RGBA四通道输出和4D位置编码，这些创新都建立在LDM框架之上。

RoPE (Rotary Position Embedding)

旋转位置编码是一种将位置信息注入Transformer注意力机制的方法，通过将查询和键向量乘以旋转矩阵来编码相对位置。对于位置索引m和n，旋转矩阵定义为包含cos和sin函数的矩阵，其中theta_i = 10000的-2(i-1)/d次方。RoPE的优势是能够自然地建模相对位置关系，且支持外推到训练时未见过的序列长度。LaDe将其扩展到4D(H,W,F,R)以同时编码空间、层级和角色信息。

LaDe的4D RoPE是核心技术创新之一，它在H、W、F、R四个维度上编码位置信息，其中H和W是空间坐标，F是层索引，R是角色（prompt/可去噪/冻结）。这允许模型区分生成/分解操作，并精确链接prompt的各个部分与其描述的层。理解RoPE如何工作有助于理解LaDe如何处理可变层数和可变宽高比。

RGBA图像和Alpha混合

RGBA是红绿蓝透明度四通道颜色空间，其中A通道取值在0-255或0-1之间，表示像素的不透明度。Alpha混合是将多个RGBA图像按顺序合成到单一画布的过程，计算公式涉及源图像和目标图像的RGB颜色值以及alpha通道值。自底向上的层级合成允许背景图层被前景图层遮挡或部分遮挡，这是专业设计软件的核心机制。对于媒体设计生成，正确建模alpha通道对于阴影、边缘和覆盖效果至关重要。

LaDe的核心输出是RGBA图层而非RGB图像，理解alpha通道和混合机制对于理解为什么需要专门的RGBA VAE、如何计算重建指标、以及为什么能生成具有专业设计质量的输出至关重要。LaDe的损失函数分别处理RGB和alpha通道，并使用alpha-blended版本计算感知损失。

Bucketing and Packing

Bucketing和Packing是优化GPU内存利用率的批处理技术。Bucketing将样本按相似尺寸分组到桶中，每个桶由元组定义，包含特定层数、宽高比范围和面积。每个桶定义一个唯一的填充形状，确保该桶内所有样本都能以最小填充量统一尺寸。Packing将批次多维张量转换为线性张量，同时记录边界索引用于后续重建。关键是只保留未填充的体积，显著减小张量大小并优化GPU利用率。

LaDe需要支持可变层数和可变宽高比，这违反了标准批处理要求所有样本维度相同的约束。Bucketing和Packing使LaDe能够高效处理异构数据，避免填充浪费GPU内存。这是使LaDe在256张H100 GPU上训练成为可能的关键工程优化，显著提高了训练效率和资源利用率。

研究动机

现有的媒体设计生成方法存在严重局限。一方面，大多数生成系统将设计视为单一扁平图像，但这与专业设计实践完全脱节——真正的海报、广告、应用屏幕是由多个语义独立的元素组成的分层结构，每个元素都可以独立编辑、替换和调整。另一方面，已有分层生成方法要么限制输出为固定层数，要么要求每层只包含空间连续区域。例如OmniPSD固定生成4层无法根据设计复杂性调整，而ART虽然支持多达50层但限制每层必须是空间连续区域，这意味着有30个分散装饰性星星的图像会被分解为30层。这导致层数与设计复杂性线性增长，将相关模式分散到不同层中，使编辑更困难并失去视觉层次。

本文的目标是本文的目标是构建一个能够生成灵活数量语义有意义图层的系统，而不要求层数与媒体设计复杂性成比例增长。LaDe旨在解决三个核心需求：一是支持可变数量的图层生成，能够将语义相关的元素分组到同一层而无论其空间分布如何；二是提供统一的模型框架同时支持文本到图层生成、文本到图像生成和图像到图层分解三种任务；三是保持专业设计质量，包括正确的alpha混合、边缘和阴影效果。LaDe的目标用户是专业设计师和设计工具开发者，他们需要生成可直接编辑的设计文件而非扁平图像。

与已有工作不同的是，本文的独特切入角度是提出完全统一的扩散模型框架处理三种任务，同时引入4D位置编码机制精确链接文本prompt的各个部分与其描述的图层。与现有方法的关键区别在于：LayeringDiff采用先生成再分解的两阶段策略但只能处理2层，OmniPSD是统一框架但限制4层固定布局，ART支持可变多层但要求空间连续区域且需要外部LLM规划器，Qwen-Image-Layered专注于分解而非生成。LaDe首次提出统一模型同时处理生成和分解，通过训练时条件化层样本实现，且无需外部规划器。另一个创新是4D RoPE位置编码在四个维度上编码，使得prompt的各个部分可以与其描述的层精确对齐，这是已有方法不具备的。

核心方法

LaDe的整体框架包含三个核心组件：基于LLM的提示扩展器、带有4D RoPE位置编码的潜在扩散Transformer、以及RGBA VAE解码器。工作流程从简短的用户prompt开始，Prompt Expander使用GPT-4o mini将其转换为结构化的逐层描述，格式为场景描述加逐层字幕加类型。扩展后的prompt由FlanT5 XXL编码得到嵌入。扩散模型接收文本嵌入和所有图层及完整设计的嵌入作为输入，通过线性适配器对齐到公共子空间后拼接，经全注意力处理。只对视觉信息进行去噪，文本信息作为条件。4D RoPE位置编码定义在四个维度上，其中H和W是空间坐标，F是层索引，R是角色区分prompt tokens、可去噪tokens和冻结tokens。去噪后的嵌入通过RGBA VAE解码器还原为RGBA图像。VAE的损失函数分别处理RGB和alpha通道，并使用alpha-blended的灰度版本计算感知损失。生成任务通过输入噪声tokens实现，分解任务通过将完整设计作为条件仅去噪图层实现。

LaDe的核心创新点有三：第一，引入4D RoPE位置编码机制，在四个维度编码位置信息。这使得模型能够区分生成和分解操作，并精确链接prompt的各个部分与它们描述的层。prompt按tokenizer分割为各个部分，通过匹配层索引维度的值与RoPE维度值实现对齐。RoPE值计算为零、零、层索引、零的形式，其中各个部分代表场景描述和各层描述。第二，通过训练时条件化层样本实现统一模型支持三种任务。标准LDM训练通过为图层选择随机timestep并标记角色值实现生成；分解通过随机将图层作为输入条件设置timestep为零和角色为冻结实现。为加速收敛，以更高概率禁用完整媒体设计的去噪。第三，提出bucketing和packing操作高效处理可变层数和宽高比。Bucketing将相似尺寸的媒体设计分组到桶中，每个桶由特定元组定义；Packing将批次转换为线性张量同时记录边界索引，并丢弃填充像素优化GPU利用。

方法步骤详情

LaDe的完整工作流程包括训练和推理两个阶段。训练阶段包含数据准备、RGBA VAE训练和多阶段扩散模型训练。数据准备使用私有商业安全数据集，包含大量媒体设计、矢量图、分层图像和自然图像。每个样本有3-8层，使用InternVL3为每层和整体设计生成字幕。RGBA VAE训练从预训练RGB VAE开始，将alpha通道与RGB通过alpha-blending到灰色移除，保持嵌入空间不变。然后微调解码器为RGBA解码器，冻结编码器，最终fine-tune完整的RGBA VAE确保平滑的alpha-blending。多阶段扩散模型训练分四个阶段：第一阶段等权重训练设计、图像和矢量，第二阶段增加设计数据比例，第三阶段切换到RGBA VAE空间，第四阶段仅用最高质量设计数据。推理阶段包含文本到图层生成、文本到图像生成和图像到图层分解。文本到图层生成通过用户输入简短prompt，LLM扩展为结构化描述，FlanT5 XXL编码，扩散模型生成，RGBA VAE解码输出。文本到图像生成设置层数为零，只生成完整媒体设计。图像到图层分解输入媒体设计，VLM生成字幕和层分割，扩散模型以完整设计为条件仅去噪图层，解码输出。

技术新颖性

LaDe的技术新颖性体现在多个方面。首先，4D RoPE位置编码是首个在扩散模型中同时编码空间、深度和角色信息的机制。这与标准的序列位置编码或图像patch位置编码有本质区别，使得模型能够在单个前向传播中处理可变数量的层并精确对齐文本描述。其次，通过训练策略而非模型架构实现任务统一也是新颖的。LaDe使用相同的模型权重和前向传播逻辑，仅通过timestep和角色维度控制生成或分解，这与需要单独模型或复杂条件输入的已有方法不同。第三，bucketing和packing结合4D RoPE提供了一种优雅的可变尺寸处理方案，避免了padding浪费和复杂的多尺度架构。第四，RGBA VAE的训练策略是一种实用的工程创新，平衡了新空间学习效率和重建质量。最后，LaDe首次提出统一模型同时处理生成和分解，这是通过训练时随机条件化层样本实现的，这种条件即控制的思想可以推广到其他生成任务。

**Figure 1**: The unified LaDe performs (a) Text-to-Layers generation in the RGBA space and (b) Text-to-Image generation based on a prompt, (c) Image-to-Layers generation in the RGBA space given a image. LaDe works with variable aspect ratio and number of layers.

**Figure 5**: Text-to-Layers generation pipeline (top). Given a short user prompt, LaDe expands it with additional information which is encoded by FlanT5 XXL [2] and given as additional input to the Diffusion Model. After denoising, the full media design along with RGBA layers are decoded through the RGBA decoder. Text-to-Image generation is obtained by setting the number of layers to 0, generating only the full media design. Image-to-Layers decomposition (bottom) starts from the original media design and goes through a captioning and layer splitting operation. The text information, along with the embedding of the input image is passed through the diffusion model.

**Figure 6**: LaDe is trained with an enhanced LDM formula. The encoded images x0 are noised into xt, split into tokens and packed in a linear format, then combined with the RoPE enhanced text embedding embp to create the model input zt. The model learns to denoise the input into its original form z0, which can be reassembled and decoded back in the original images

**Figure 7**: A sample of our training set that contains the media design along with its composing layers. We employ InternVL3 [31] to obtain captions for the media design and the layers.

实验结果

LaDe在Crello测试集（500个样本）上取得了显著的性能提升。在文本到图层生成任务中，使用GPT-4o mini和Qwen3-VL-30B作为VLM-as-a-judge评估，LaDe在2、3、4、5层场景下分别得分3.58和3.20、3.64和3.37、3.94和4.07、3.92和4.01，均显著优于Qwen-Image-T2I加Qwen-Image-Layered-I2L基线的2.79和2.53、2.66和2.49、2.63和2.35、2.79和2.41。值得注意的是LaDe的性能随着层数增加而提升，这可能是因为层变得不那么拥挤，只包含更一致的元素。而基线方法性能保持稳定或下降。在图像到图层分解任务中，LaDe在2层分解时达到PSNR 32.65，RGB L1为3.41，Qwen3-VL评分为3.21，优于Qwen-Image-Layered-I2L的31.59、4.22和3.56。对于4和5层分解，LaDe在Qwen3-VL评分上取得3.25分，优于基线的3.23和3.07。需要强调的是，Qwen-Image-Layered-I2L在Crello训练集上进行了fine-tune，因此是在分布内测试，而LaDe是在分布外测试。定性分析显示LaDe能够生成均质的RGBA层，将相似信息分组在一起，而基线方法存在内容重复和分层错误的问题。消融实验验证了可变层数训练的重要性：固定层数训练得分为3.01和3.78，可变层数为3.06和3.85。

**Table 1**: Media design Layer generation performance obtained with VLM-as-a-judge using GPT-4o mini [16] and Qwen3-VL-30B-A3B-Instruct [23] on the Crello [25] test set. The scores are between 1 and 5. LaDe is compared against Qwen-Image-T2I + Qwen-Image-Layered-I2L [28]. LaDe obtains the best performance regardless of the number of layers.

**Table 2**: Media design decomposition into RGBA layers performance on the Crello test set [25] in terms of PSNR, RGB L1 (distance between RGB channels weighted by the ground-truth alpha in the 0-255 interval) and VLM-as-a-judge with Qwen3-VL-30B-A3B-Instruct [23] (score between 1 and 5). LaDe performs similar to Qwen-Image-Layered-I2L [28] which was finetuned on the Crello training set.

**Table 3**: Ablation results obtained on 100 prompts evaluated with VLM-as-a-judge using GPT-4o mini [16] and Qwen3-VL-30B-A3B-Instruct [23]. The scores are between 1 and 5. Better performance is obtained when training with a variable number of layers.

**Figure 8**: Text-to-Layers generation results comparing our one-step framework LaDe with Qwen-Image-T2I+Qwen-Image-Layered-I2L [28]. LaDe is able to create structured RGBA layers with homogeneous details included on different layers.

**Figure 9**: Qualitative results showing the decomposition obtained by LaDe (ours) versus Qwen-Image-Layered-I2L [28] and LayerD [22]. Qwen-Image-Layered-I2L [28] duplicates the text (left) in the second and third layers while LayerD [22] hallucinates the second layer (left). LaDe is able to decompose the media designs into meaningful layers, being able to reconstruct the occluded area.

**Figure 10**: The effect of Eq. 2 on the qualitative results. We noticed the content of the layers is duplicated, therefore, we applied Eq. 2 and each layer content follows its specific text information.

查看结构化数据

任务	指标	本文	基线	提升
Text-to-Layers Generation (2 layers)	VLM-as-a-judge (GPT-4o mini)	3.58	2.79 (Qwen-Image-T2I+Qwen-Image-Layered-I2L)	+28.3%
Text-to-Layers Generation (4 layers)	VLM-as-a-judge (Qwen3-VL)	4.07	2.35 (Qwen-Image-T2I+Qwen-Image-Layered-I2L)	+73.2%
Image-to-Layers Decomposition (2 layers)	PSNR	32.65	31.59 (Qwen-Image-Layered-I2L)	+1.06
Image-to-Layers Decomposition (2 layers)	RGB L1 lower is better	3.41	4.22 (Qwen-Image-Layered-I2L)	-19.2%

局限与改进

作者承认的主要局限性有两个：一是对LLM的依赖。Prompt Expander使用GPT-4o mini将简短用户输入转换为结构化描述，但LLM输出是随机的，生成的prompt质量可能不稳定。这意味着相同用户输入可能产生不同质量的扩展prompt，进而影响生成结果的一致性。二是高VRAM消耗。当生成大量图层时（例如8层以上），VRAM需求显著增加，这限制了在有限GPU内存系统上的可扩展性。作者没有提供具体数字，但从训练设置（1024乘1024像素8层设计每GPU仅1个batch size）可以推断资源需求很高。此外，从论文中可以观察到其他局限性：需要预先设置层数（虽然提到可以用LLM预测但未实现）、分解任务在4-5层时PSNR和RGB L1指标下降、依赖私有训练数据集影响复现性。还有一个隐含局限是VLM-as-a-judge评估的主观性，虽然使用了两个不同的VLM但仍然可能与人类偏好存在偏差。

独立分析的弱点

LaDe存在几个具体可改进的弱点。第一，需要预先指定层数。虽然作者提到可以用LLM根据用户输入、宽高比和媒体设计类型预测层数，但这并未实现。这意味着用户必须具备专业设计知识来判断应该使用多少层，降低了易用性。改进方向是实现自动层数预测模块，或训练一个分类器根据prompt复杂性和设计类型推荐层数。第二，对LLM的依赖引入了不确定性和延迟。GPT-4o mini的调用增加了推理时间和成本，且输出质量波动。改进方向是蒸馏一个轻量级prompt扩展模型，或使用缓存机制避免重复调用。第三，高VRAM消耗限制了可扩展性。对于8层以上或高分辨率设计，显存需求可能超过单卡容量。改进方向包括：优化packing算法减少内存碎片、采用梯度检查点、或引入分层生成策略。第四，分解任务在复杂场景下性能下降。4-5层分解时PSNR降至28.42，RGB L1升至7.38，表明在处理遮挡和深度排序时存在困难。改进方向可以是引入明确的遮挡建模模块或使用3D感知的先验。第五，依赖私有数据集影响可复现性和公平比较。

未来方向

作者和本文成果可以延伸的多个未来研究方向。作者提出的方向包括：实现LLM自动预测层数，这需要训练一个层数预测模型或使用现有LLM的zero-shot能力；优化VRAM消耗以支持更多层生成，可以通过模型压缩、分布式生成或分层采样实现。基于本文成果可延伸的方向：第一，扩展到视频和动画分层生成。LaDe的4D RoPE可以扩展到时间维度，实现视频分层生成（背景、前景、特效层分别生成），这对于动态设计和内容创作很有价值。第二，引入交互式编辑能力。当前LaDe是端到端生成，未来可以集成文本引导的局部编辑，如将第三层的文字颜色改为红色或交换前景和背景层，这需要在4D RoPE基础上引入更细粒度的条件机制。第三，支持矢量图形生成。当前LaDe输出是RGBA栅格图像，未来可以扩展到SVG等矢量格式，这将使生成结果真正可无限缩放和编辑。第四，跨层一致性增强。当前模型通过训练数据学习层间一致性，未来可以显式建模光照、色彩、透视等跨层约束，确保生成的多层设计在视觉上更加协调。第五，评估方法改进。

复现评估

LaDe的复现评估结果较差。代码和模型权重尚未公开（截至论文发布），这是主要的复现障碍。训练使用私有商业安全数据集，包含800万媒体设计、150万矢量图、200万分层图像和8000万自然图像，这些数据不公开使得完全复现训练过程不可能。测试使用的是公开的Crello测试集（500个样本），这允许复现评估部分，但需要注意LaDe是在分布外测试（未在Crello训练集上fine-tune），而基线Qwen-Image-Layered-I2L在分布内测试，这影响公平性。算力需求很高，训练使用256张H100 GPU，多分辨率训练时batch size从每GPU 32个到1个不等。推理阶段的算力需求未明确说明，但从高VRAM消耗推断，生成4-5层可能需要24GB以上显存。难度方面，即使提供代码和模型，完整复现训练仍然几乎不可能（数据集和算力限制），但复现推理和评估是可行的。作者在补充材料中提供了详细的实现细节，这有助于部分复现。总体而言，LaDe的复现性较差，主要受限于数据不公开和算力需求高，但评估部分相对可复现。

LaDe：统一的多层图形媒体生成与分解框架 LaDe: Unified Multi-Layered Graphic Media Generation and Decomposition