DrawMotion：通过手绘草图生成 3D 人体动作 DrawMotion: Generating 3D Human Motions by Freehand Drawing

完整流程分四步。**第一步，数据准备**：SGA 从 KIT-ML/HumanML3D 的 3D 关节坐标自动合成带笔画平滑度/错位/缩放差异的火柴人，约定正视角；轨迹直接取自真实动作序列的骨盆路径并重采样到 $\hat{J}_t\in\mathbb{R}^{T,2}$。**第二步，编码与融合（训练式引导）**：四种输入编码为 $e_m,e_j,e_s,e_t$，按 batch 切成 $(B_1,B_2,B_3,B_4)$ 分别对应 $(text,draw)$、$(text,\varnothing)$、$(\varnothing,draw)$、$(\varnothing,\varnothing)$；Text Decoder 用 efficient attention（线性复杂度，$\mathbf{Q}=\text{softmax}(K^T)V$ 形式）只处理 $(B_1,B_2)$ 的文本得到 text offset，Draw Decoder 用标准 dot-product attention 处理 $(B_2,B_3)$ 的火柴人+轨迹得到 draw offset；偏移量沿 batch 维加到 motion 特征上，输出 $[B_1^t,B_2^{ts},B_3^s,B_4]$ 三种条件组合的新 motion 编码，再经 Latent Encoder 二次融合。**第三步，条件混合采样**：在 $t\in[T,T/10]$ 阶段用 $w_1=w, w_2=\hat{w}, w_3=w-\hat{w}, w_4=1-2w$ 的加权混合预测噪声 $\hat{\epsilon}_\theta$ 粗定整体；在 $t\in[T/10,0]$ 用 $(1,0,0,0)$ 全条件精修。**第四步，免训练引导（IFG）**：每隔 20 步 DDIM，提取第 $N$ 层 MCM 的中间特征 $F$，做 $R$ 次 SGD 更新最小化 $\|\hat{x}_0(\bar{F})-c\|_2^2$（$c$ 为空间引导，无引导部分用 mask 跳过），每次更新后若 $M(\bar{F})>M(F)+\epsilon_{MD}$ 则裁剪 $\bar{F}\leftarrow F+\lambda(\bar{F}-F)$，最终用 $\bar{F}$ 经 Model$_2\theta$ 得到 $x_{t-1}$ 继续反向过程。

新颖性体现在三处互相支撑的设计上。(1) **手绘条件本身是首创**：据作者所知，这是首个把手绘表示作为动作生成条件的工作，且把火柴人编码压缩成六线条（而非 200 个点），用 transformer encoder 聚合，把 $O(200^2)$ 的成对交互降到可承受范围。(2) **MCM 是对 mask-based 多条件融合的结构性重构**：传统方法在单层 self-attention 上沿 token 维做 mask，既浪费 mask 区域算力又限制条件间交互；MCM 改用 batch 维分段 + 双解码器并行算偏移，在 KIT-ML 上把计算量从 0.71 TFlops 降到 0.43 TFlops 同时提升 StiSim。(3) **IFG 是对「中间特征可扰动性」的发现与工程化**：本文用 PCA（图5、图6）和 shuffled-batch 扰动实验（表1）证明 MCM 中间特征是连续的（10% 扰动 FID 仅 0.141，而 ReMoDiffuse 飙到 29.67），并据此把 classifier guidance 的作用对象从 $x_{t-1}$/$x_T$ 转移到中间特征 $\bar{F}$，配合马氏距离裁剪这一新颖的正则手段，做到 0.0062 的 Traj.Err（远超 OmniControl 的 0.0664）且 2.245GB 显存、24s/批（远优于 DNO 的 22.7GB、358s）。

第一，**条件冲突场景脆弱**：作者承认当轨迹/火柴人与文本矛盾时生成会崩。改进方向是在 IFG 之外引入一个轻量的冲突检测/调和层，或把文本与手绘条件的权重做成可学习的冲突感知调度，而非固定的 20% 概率偏置。第二，**超参搜索成本高**：IFG 的 repeat、lr、$\epsilon_{MD}$、$\lambda$、$N_{th}$ 五个超参需在 KIT-ML 上网格搜索（表2 共 21 行）。改进方向是用 Bayesian/自动微分方式自适应调节裁剪阈值，或把 MD 边界做成软约束（如 Lagrangian）让 SGD 内部收敛。第三，**连续性论证偏经验**：本文用 PCA 与 shuffled-batch 扰动间接证明 MCM 中间特征连续，但缺理论保证，且证据局限于 KIT-ML/ReMoDiffuse 一组对照。改进方向是引入更严格的信息几何或流形维度估计（如 TwoNN、MLE）做跨模型大规模验证，并研究 MCM 结构（层数、维度）对连续性的因果影响。第四，**火柴人需正视角且左右难分**：图2 显示双腿/双臂靠拢时火柴人左右不分，候选损失只是缓解。改进方向是给火柴人引入左右颜色/粗细编码，或用多视角火柴人表示。第五，**仅评测两个数据集**：未在 BABEL、AMASS 等更大规模数据上验证泛化性。

作者明确提出的方向：把 IFG 最终返回的引导损失 $\|\hat{x}_0(\bar{F})-c\|_2^2$ 作为反馈信号返回给用户，帮助其调整输入以获得最优配置；以及把 DrawMotion 推广为面向艺术创作者的专业级工具。基于成果可延伸的方向包括：(1) 把「中间特征连续 ⇒ 可免训练引导」这一发现迁移到图像/视频/语音扩散，验证 MCM 式 fusion 是否普遍带来连续可扰动特征，从而用 IFG 替代 ControlNet 做通用空间控制；(2) 把 IFG 与 LLM 结合——让大模型根据语义自动生成 2D 轨迹与火柴人候选，再由用户微调，进一步降低手绘门槛；(3) 扩展到人-物/人-人交互动作生成，把交互对象也纳入手绘条件；(4) 把 SGA 升级为基于扩散的风格化草图生成器，提升训练数据多样性；(5) 探索 IFG 在 motion editing 之外的应用，如 pose-conditioned 视频生成、物理合理的动作约束注入。

复现友好度较高。论文明确开源了代码、demo 与相关数据（https://github.com/InvertedForest/DrawMotion），并给出关键训练细节：4 张 4090 GPU、batch size 1024、40 个 dataloader worker 并行跑 SGA、扩散步数 $T=1000$、$\alpha_t\in[0.9999,0.9800]$、KIT-ML 用 4 层 MCM（208M 参数）、HumanML3D 用 6 层 MCM（227M 参数）。IFG 的全部超参（repeat=50、$\epsilon_{MD}=1$、$\lambda=0.01$、$N_{th}=3$）在表2 中给出。评估协议复用 Guo et al. 的标准管线，与 ReMoDiffuse/MDM/T2M-GPT 等基线设置一致，便于公平对比。复现难点在于：(1) 数据侧——SGA 算法虽有描述但风格多样性参数（笔画平滑度、错位幅度、缩放范围）未给精确数值；(2) CLIP ViT-B/32 与对比评估模型需对应权重；(3) IFG 的 21 组超参网格搜索本身需可观算力；(4) 用户研究难复现（依赖 20 名志愿者与 5 名动画师）。总体而言，单卡 4090 即可推理，但完整复现训练+消融需要 4 卡以上规模。