FashionChameleon：迈向实时交互的人体服装视频定制

实时交互式人体服装视频定制，23.8 FPS 单卡推理

前置知识

流匹配（Flow Matching）

流匹配是生成式建模方法，将数据分布与标准正态分布线性插值。视频扩散训练中前向过程定义为 $z^{1:f}_t=(1-t)z^{1:f}_0+t\epsilon^{1:f}$，模型通过条件流匹配损失回归向量场 $v=\epsilon^{1:f}-z^{1:f}_0$。

本文沿用 flow matching 作为基础训练范式，$z^{v}_t$ 表示带噪视频潜变量，$z^{src}_0$ 和 $z^{gar}_0$ 保持噪声自由作为条件输入，不理解这些就难以读懂 VAE 共享潜变量空间的公式 (4) 和损失定义。

混合自回归视频生成

由 CausVid、Self-Forcing 等提出的视频生成范式，把联合分布 $p(V_{1:F})$ 分解为 $\prod_i p(V_i|V_{<i})$，每段由少步扩散生成并通过 KV Cache 传历史，使长视频可以流式自回归生成。

FashionChameleon 整体就建立在该范式之上，把服装切换信号视为离散条件注入自回归生成，不理解这一背景就无法理解"流式蒸馏"和"训练-推理对齐"的动机。

分布匹配蒸馏 DMD

DMD 通过最小化生成分布与真实数据分布的近似 KL 散度，把多步双向教师蒸馏为少步自回归学生，梯度形式 $\nabla\mathcal{L}_{DMD}=-\mathbb{E}_t[(s^{real}-s^{fake})\frac{dG_\theta}{d\theta}]$。

本文把 DMD 蒸馏用于服装定制场景，并提出梯度重加权 GR-DMD 以缓解自回归累积误差导致的动作失真，是 Sec.4.2 的核心技术。

Diffusion Transformer 中的 KV Cache

DiT 流式推理时复用历史帧的 Key/Value 节省计算，固定容量 $M$ 时按 FIFO 滚动。本文在此基础上设计 garment KV refresh、historical KV withdraw、reference KV disentangle 三种调度以支持交互换装。

Sec.4.3 提出的 Training-Free KV Cache Rescheduling 完全依赖这一机制，没有 KV Cache 理解就无法读懂公式 (7) 和三种切换操作。

研究动机

现有 Subject-to-Video（S2V）方法如 VACE、Kaleido、MAGREF、SkyReels-A2、Phantom 等都基于双向扩散 Transformer，需要一次性联合合成全部帧，因此推理延迟高、无法支持用户中途改主意。在 Table 1 中这些 14B 量级模型仅能跑出 0.13–0.76 FPS，而商业场景（电商虚拟试衣、短视频内容创作）对低延迟、用户中途切换服装的流式交互有强需求。此外多服装切换的成对训练视频几乎无法获取，只能用单服装视频训练却又要求模型能泛化到多服装切换，这是数据层面的根本瓶颈。

本文的目标是本文要构建 FashionChameleon，一个实时、交互式的服装级视频定制框架：在单 H200 GPU 上达到 23.8 FPS 的 720p 视频生成，比基线快 30–180 倍；允许用户在视频生成过程中随时输入新服装图片让角色换装，同时保持人物身份和动作的时序连贯；并支持长视频外推。在 HGC-Bench（240 个样本的基准）上要在 HGC、LGC、NTP、VQ、Smoothness 等多个指标上同时拿下第一。

与已有工作不同的是，与已有工作相比，本文切入角度独特体现在三点：第一，不靠多服装标注数据，而是利用"参考人物服装与目标服装故意不一致"的单服装视频，让 I2V 训练范式内生地学到服装切换能力；第二，提出 In-Context Teacher Forcing Mask 和 Gradient-Reweighted DMD，用美学奖励模型自适应提升难帧梯度权重，避免自回归长程累积失真；第三，引入无需训练的 KV Cache 重调度策略，把"切装"建模为对 cache 三个分量的精细调控（garment KV 刷新、historical KV 撤出、reference KV 解耦），从推理时 KV 视角解决交互难题。

核心方法

FashionChameleon 由三条技术线组成。第一条是 Teacher Model with In-Context Learning：用同一 VAE 把参考图 $I_{src}$、服装图 $I_{gar}$、视频 $V$ 编到潜变量 $z^{src}_0$、$z^{gar}_0$、$z^v_t$，三 token 共享 $W_q,W_k,W_v$ 实现多头注意力交互，基于 WAN2.2-5B-TI2V 初始化。第二条是 Streaming Distillation：先用 In-Context Teacher Forcing Mask 完成 ODE 初始化，再以美学奖励分数自适应权重提升难帧贡献的 Gradient-Reweighted DMD 蒸馏成少步自回归学生。第三条是 Training-Free KV Cache Rescheduling：推理时把 KV Cache 拆为参考、服装、sink、历史四部分，换装时执行 garment KV refresh、historical KV withdraw、reference KV disentangle 三步操作。

和已有 S2V 方法最本质的区别是 FashionChameleon 把"服装切换"视为一个可在推理时即时调用的 KV 信号。已有方法用 adapter 或额外 encoder 注入参考，且必须一次生成完整视频；本文则把参考和服装都当作干净 token 拼到 DiT 主干的 token 维度，通过共享 $W_q,W_k,W_v$ 实现多模态交互，再把整套切装逻辑外化为对 KV Cache 的三种调度。这样既保留了 Diffusion Transformer 的视觉质量，又获得了自回归生成的流式属性和交互能力，核心创新正是"用 KV Cache 调度实现训练零成本的交互"。

方法步骤详情

训练四步：(1) VAE 编码 $z^v_0=E(V)$、$z^{src}_0=E(I_{src})$、$z^{gar}_0=E(I_{gar})$，视频段按 Eq.1 加噪为 $z^v_t$；(2) 三段 token 拼入 DiT 按 Eq.5 算注意力，仅保留视频段输出；(3) Streaming Distillation 用干净+带噪对称拼接做 In-Context Teacher Forcing（条件帧"看不见未来"），再以美学奖励权重 $A_i=\exp(-R(G_i)/\tau)/\sum_j\exp(-R(G_j)/\tau)$ 重加权 DMD 梯度（Eq.6）；(4) 数据经 General Coarse-to-Fine Filtering、Static-Dynamic Captioning、Garment Extraction、Reference Extraction 四阶段。推理 chunk=3、$M=23$，换装三步：garment refresh、historical withdraw、reference disentangle。

技术新颖性

技术新颖性主要在三处：In-Context Concatenation 在 token 维度而非通道维度拼接多模态信号，避免新增参数且使单帧和多帧参考之间分布对齐；In-Context Teacher Forcing Mask 通过对称拼接干净和带噪两套序列训练自回归学生模型，对条件帧施加"看不见未来"掩码以避免数据密集型的 ODE 初始化；Gradient-Reweighted DMD 用美学奖励分数作为自适应权重，使长程外推时易失真的帧获得更高梯度，把分配 DMD 失败问题转化为对难帧重点优化；Training-Free KV Cache Rescheduling 在不更新参数的前提下用三种局部调度完成多服装切换，是把推理时控制视为一级设计对象的典型案例。

**Figure 3**: FashionChameleon 整体管线：Teacher Model with In-Context Learning、Streaming Distillation with In-Context Learning、Training-Free KV Cache Rescheduling 三模块

**Figure 4**: KV Cache Rescheduling 的必要性分析（左：直接刷新服装 KV 失败；右：新帧在历史 KV 与条件 KV 上的注意力分布）

实验结果

HGC-Bench 240 样本上 FashionChameleon（5B）以 23.8 FPS 实时推理，比 Phantom-14B (0.15)、Kaleido-14B (0.13)、Edit+I2V (0.76) 等基线快 30–180 倍。Table 1 中 HGC=4.6833、LGC=3.9250、NTP=4.7625、VQ=0.7483、Smoothness=0.9969 均第一；GME=0.6839、Cur=0.4911 第二，分别落后 Edit+I2V 的 0.6741 与 Phantom-1.3B 的 0.5507。图 5 显示大姿态下多数基线出现服装模糊或非目标服装变化，本文则保持人物身份与服装细节；图 6 演示 154 帧长程外推与多次 Switch 仍时序一致。Table 2 中 In-Context + Full FT 把 Cur 从 0.1811 提到 0.4602；Table 3 中 GR-DMD $\tau=0.2$ 下 VQ=0.7480、Amp=0.8395 最优。

**Table 1**: 短视频（81 帧）定制生成的定量比较，包含 Cur、GME、Amp、Smoo、VQ、HGC、LGC、NTP 与 FPS

**Table 2**: 教师模型训练策略的定量消融：通道拼接 vs In-Context 三种微调方案

**Table 3**: 长视频（165 帧）外推下 Gradient-Reweighted DMD（GR-DMD）不同温度系数 $\tau$ 的定量消融

**Figure 2**: 不同方法的平均性能（Cur、GME、Amp、Smoo、VQ 综合）与推理速度（FPS）对比

**Figure 5**: FashionChameleon 与现有方法的定性对比

**Figure 6**: FashionChameleon 附加应用展示：长视频外推与交互式多服装定制

**Figure 7**: Gradient-Reweighted DMD 与 Reference KV Disentangle 的定性消融

查看结构化数据

任务	指标	本文	基线	提升
短视频（81 帧）人体服装定制生成	FPS（H200 GPU 推理速度）	23.8	Phantom-14B: 0.15；Kaleido-14B: 0.13；Edit+I2V: 0.76	比最强基线快约 31 倍，比最慢 Kaleido 快约 183 倍
短视频人体服装定制生成	HGC（高级别服装一致性，Gemini-3.0 评分）	4.6833	次优 Phantom-14B: 4.5375	+0.1458，相对提升约 3.2%
短视频人体服装定制生成	LGC（低级别服装一致性细节）	3.9250	次优 Phantom-14B: 3.8333	+0.0917，相对提升约 2.4%
短视频人体服装定制生成	NTP（非目标服装保持）	4.7625	次优 Phantom-1.3B: 4.6875	+0.0750，相对提升约 1.6%
短视频人体服装定制生成	VQ（视觉质量）	0.7483	次优 Edit+I2V: 0.7482；Kaleido: 0.7478	+0.0001，几乎并列最佳，但推理速度快 31 倍以上
短视频人体服装定制生成	Smoothness（时序平滑度）	0.9969	次优 Kaleido: 0.9935	+0.0034，相对提升约 0.34%
长视频（165 帧）外推	GR-DMD $\tau=0.2$ 综合得分（VQ 与 Amp）	VQ=0.7480，Amp=0.8395	Naive DMD: VQ=0.7419，Amp=0.8026	VQ +0.0061，Amp +0.0369，长程失真明显缓解
教师模型消融（In-Context vs 通道拼接）	Cur（身份一致性）	Ours + Full FT: 0.4602	Chan.-Concat + Full FT: 0.1811	+0.2791，相对提升约 154%，证明 In-Context 显著优于简单 channel concatenation

局限与改进

作者自述与论文观察到的局限主要有四点：(1) 训练依赖单服装切换视频，依赖 In-Context 机制把不一致当作监督信号，如果数据里出现重复服装太多则显式学习不到切换；(2) 在 Table 1 中 Cur 仅排名第二 0.4911，比 Phantom-1.3B 的 0.5507 低约 10.8%，说明身份保持仍然不是最优，特别在大姿态下仍可能漂移；(3) Amplitude 0.7771 也低于 Edit+I2V 的 0.8636，说明动作幅度偏保守，对剧烈运动的呈现仍不及直接 I2V；(4) KV Cache 大小 $M=23$ 是经验值，更长的窗口在显存与时效间需要权衡，且参考 KV disentangle 的 VAE 解码-编码过程会引入额外延迟；(5) HGC-Bench 240 样本规模相对较小，对推广到工业级 e-commerce 场景的泛化还需更大基准验证。

独立分析的弱点

独立分析可观察到几个薄弱点：(1) 5B 模型相对 Phantom-1.3B 等小模型在身份一致性上略逊，可通过强化参考帧监督或在 In-Context 中对参考 token 施加更高 attention 偏置来缓解；(2) KV Cache 调度中的参考解耦依赖 VAE 解码-编码，会带来额外延迟，可考虑在 latent 域直接做归一化或学习一个轻量对齐网络替代 VAE round-trip；(3) 现状仅支持"输入新服装图即时切换"，还没有文本引导的颜色/款式微调，可结合文本 cross-attention 做细粒度属性控制；(4) 自回归模型对 chunk 边界处易出现轻微闪烁，可引入 chunk 边界 loss 或参考 Self Forcing 的 latent blending 思路缓解；(5) HGC-Bench 全依赖 Gemini-3.0 作为裁判，存在 LLM 评分偏差，应同步补充人工评估与 CLIP-based 指标。

未来方向

作者在文末以及相关工作综述里暗示的方向包括：将 streaming 自回归范式扩展到服装以外的属性编辑（如发型、配饰），把离散控制信号泛化到连续控制；与音频驱动、运动驱动结合打造完整的多模态虚拟人直播系统；尝试在更长视频（如分钟级）上扩展 GR-DMD 与 KV Cache 调度，验证 Reward Model 设计的可扩展性；针对 KV Cache 大小 $M$ 引入动态调度或基于 attention entropy 的剪枝以进一步提速。基于本文可直接延伸的工作：用 GR-DMD 中的奖励信号替换为人类偏好模型（HPSv2、ImageReward 等）做更细粒度的服装美学优化；将 Training-Free KV Cache Rescheduling 迁移到 S2V 之外的其他 S2V 任务（如人物-物体 S2V、风格 S2V）；与音频驱动的 LiveAvatar 结合探索服装随语境实时变化的直播体。

复现评估

复现评估较为中等：代码与项目页地址在论文中给出，但作者所属阿里淘宝与厦门大学，是否完全开源未在摘要部分明示，需关注后续 arXiv 更新；模型初始权重公开可得的是 WAN2.2-5B-TI2V，作为教师初始化复现门槛低；训练数据端用四阶段管线构建但具体数据来源未在正文披露，复现成本主要在数据管线而非模型架构；硬件方面 H200 单卡推理 23.8 FPS、A100 GPU 训练，文中也明确给出所有实验在 NVIDIA A100 / H200 上进行；超参 $M=23$、chunk=3 帧、$\tau=0.2$ 等均已给出；GR-DMD 公式完整可复现。整体上算法层面高度可复现，但完整预训练数据流水线需投入相当工程量。

FashionChameleon：迈向实时交互的人体服装视频定制 FashionChameleon: Towards Real-Time and Interactive Human-Garment Video Customization