OmniLottie：通过参数化Lottie tokens生成矢量动画 OmniLottie: Generating Vector Animations via Parameterized Lottie Tokens

方法分为三个主要步骤：第一步是Lottie tokenizer的编码过程。输入Lottie JSON文件，解析器首先提取基础元数据（版本、帧率、时间范围、画布尺寸等），然后遍历每个图层。对于每个图层，根据其类型（预合成、纯色、空、形状、文本）提取特定属性，并将连续参数值通过偏移量化方案映射到离散token。量化公式为 $token(x, t) = \lfloor x \cdot s_t \rfloor + o_t$，其中 $x$ 是参数值，$t$ 是参数类型，$s_t$ 是类型特定的缩放因子，$o_t$ 是词汇表偏移。文本内容使用预训练的VLM分词器进行编码，保持语义一致性。最终输出离散token序列。第二步是自回归模型的训练。基于预训练的Qwen2.5-VL模型，引入额外的Lottie词汇表嵌入。模型学习根据多模态指令（文本、图像、视频）和先前生成的tokens预测下一个Lottie token。训练目标是标准的交叉熵损失：$\mathcal{L} = -\sum_{i} \log P(x_i^s | x_c; x_{<i}^s; \theta)$，其中 $x_c$ 是多模态指令，$x_i^s$ 是生成的Lottie tokens。第三步是解码和渲染。生成的token序列通过反向转换恢复为Lottie JSON文件，然后使用标准Lottie渲染器生成矢量动画。

本文的技术新颖性体现在三个方面：首先是Lottie tokenizer的设计。与现有工作直接处理JSON不同，我们提出了一种参数化表示方法，将Lottie动画抽象为紧凑的命令和参数序列。这种设计基于对Lottie格式的深入分析，识别出五种核心图层类型及其关键属性，并通过偏移量化方案解决了不同参数类型的token冲突问题。其次是数据集构建。我们创建了MMLottie-2M，这是首个大规模多模态Lottie数据集，包含200万个动画，配有文本描述、关键帧图像和渲染视频。数据收集来自五个主要在线平台，并通过运动迁移管道进行数据增强，显著扩大了动画覆盖范围。第三是评估协议。我们建立了MMLottie-Bench，这是首个标准化评估基准，包含真实子集和合成子集，用于评估文本到Lottie、文本-图像到Lottie和视频到Lottie三个任务。评估指标包括视觉质量（FVD）和语义对齐（CLIP、物体对齐、运动对齐），并通过用户研究验证了自动指标与人类判断的相关性。

经过独立分析，我认为本文存在以下弱点：首先，模型对训练数据中的偏差可能敏感。MMLottie-2M数据集主要来自五个在线平台，这些平台可能偏好特定类型的设计风格（如扁平化图标、简约动画），导致模型对复杂、艺术化或非主流设计风格的泛化能力不足。改进方向是扩大数据收集范围，包括更多专业设计师作品和不同文化背景的设计。其次，对于包含大量图层和复杂嵌套结构的动画，自回归模型的生成质量可能下降。Lottie动画平均有8.6个图层，但最大可达324个图层，而模型在处理长序列时可能面临上下文窗口限制和误差累积。改进方向是探索层次化生成策略或分块生成方法。第三，计算成本较高。虽然比优化基线快很多，但生成一个动画仍需33-110秒，限制了实时应用。改进方向包括模型压缩、缓存机制或并行解码技术。第四，评估协议中使用的LLM-as-judge（Claude-3.5-Sonnet）可能存在偏见，且用户研究规模较小。改进方向是扩大用户研究规模并引入更多样化的评估者。

作者提出可以探索约束解码、强化学习与可渲染性奖励，或与专业工具（如After Effects）的集成以提高可靠性和实际适用性。基于本文成果，我认为还可以延伸以下方向：首先是扩展到3D动画生成。当前方法专注于2D Lottie动画，但3D矢量动画在游戏、VR/AR等领域有巨大需求，可以将参数化tokenization思想扩展到3D格式（如Three.js动画）。其次是支持更多动画效果。当前方法主要处理变换、形状和基本效果，未来可以扩展支持粒子系统、物理模拟等高级效果。第三是交互式编辑能力。由于生成的动画保持矢量特性，可以探索支持用户通过自然语言指令对已生成动画进行局部修改和迭代优化。第四是多模态融合的进一步优化。当前方法简单拼接多模态指令，未来可以探索更精细的跨模态注意力机制，提升文本、图像和视频指令的融合理解。第五是实时生成应用。通过模型蒸馏或专用硬件加速，探索在移动端或Web端实现实时矢量动画生成。

本文在复现方面提供了良好支持。作者开源了完整代码、预训练模型权重、MMLottie-2M数据集和MMLottie-Bench评估基准，所有资源均可在项目主页获取。数据集包含200万个Lottie动画，配有文本描述、关键帧图像和渲染视频，为研究者提供了充足的训练数据。模型基于预训练的Qwen2.5-VL（3B参数）构建，微调过程相对高效。然而，复现仍需要一定计算资源：训练需要多GPU环境（论文使用NVIDIA A100），单GPU推理也需要约30-110秒生成一个动画。数据预处理包括Lottie清洗、时空归一化和视频渲染，需要一定的工程实现。评估协议使用Claude-3.5-Sonnet作为LLM judge，需要API访问权限。总体而言，对于有ML基础和一定计算资源的团队，复现本文结果是可行的，但需要投入时间处理数据和实现细节。