当数字开口说话：在文本到视频扩散模型中对齐文本数字与视觉实例 When Numbers Speak: Aligning Textual Numerals and Visual Instances in Text-to-Video Diffusion Models

完整流程可以分解为以下五步，每步都明确给出输入输出与具体操作。Step 1（预生成与 head 选定）：用同一 prompt 与一份固定噪声 $z$ 跑一次截短的早期去噪，到达参考 timestep $t^*=20$ 时停下。对第 $\ell^*=15$ 层，自注意力头 $h$ 的 attention map 通过 PCA 降维到三通道并转灰度得到 $SA^h \in \mathbb{R}^{H \times W}$，然后用前景-背景标准差得分 $S^1_h$、分块方差得分 $S^2_h$ 和 Sobel 边缘强度得分 $\gamma S^3_h$ 加权选择 $h^*_s = \arg\max_h S(SA^h)$；对每个名词 token $T$，在 cross-attention 中直接按 softmax 后的峰值 $C^T_h = \max_{x,y} CA^h_T(x,y)$ 选择 $h^*_c(T)$。输出：每个名词一个最优自/交叉头组合。Step 2（frame-wise 语义布局构建）：对每帧，先用 Mean-Shift 把 $A_s$ 切成连通区域 $\{r_i\}$ 作为 spatial proposals；然后对 $A_{c,T}$ 取 peak-ratio ≥ 0.1 的强响应并用 DBSCAN 聚类得到 focus mask $F$；最后用语义重叠分数 $S_o(r_i, F) = |r_i \cap F| / |r_i| \ge \tau$ 过滤 proposals，标签为 $l_T$，否则为 $l_{bg}$，得到 frame-wise 语义布局 $M_T$，其前景区域数 $|\{i : S_o(r_i,F) \ge \tau\}|$ 就是模型当前估计的实例数 $m_{T,f}$。Step 3（对比识别 mis-alignment）：将 $m_{T,f}$ 与从 prompt 解析出的目标数 $k_T$ 比较，对每个名词给出 (add, n-insert) 或 (remove, n-remove) 的指令序列。Step 4（layout refinement）：按「最小结构变动」原则，对每个待添加实例，若已有同类实例则把最小尺寸区域复制为模板 $C_i$，若无则用半径 $r$ 的圆形模板；通过重叠 $C_o$、空间中心 $C_c$、时间连续 $C_t$ 三项代价的加权和 $C(c) = C_o + C_c + \lambda C_t$ 在统一候选网格中选出 $\min_c$ 中心 $c^*$，更新 $\tilde M_{T,f}$；对删除则直接抹掉最小区域并设为背景。循环直到 $m_{T,f} = k_T$。Step 5（layout-guided generation）：在重新跑全量 50 步去噪时，对每个 head 修改 cross-attention 的 pre-softmax 分数 $S_{pre}$ 或附加 bias $B$，强度按 $\delta(t)$ 单调递减。对应删除区域 $\Delta M_{rem}$，把 $B$ 设为大负常数，使 post-softmax 权重几乎为零以抑制物体生成；对应新增区域 $\Delta M_{add}$，若来自复制模板则直接用参考区域 $M_{ref}$ 的平均 pre-softmax 分数 $\bar a_f$ 覆盖到新位置以保证一致性，若来自圆形模板则把 $B$ 设为 $k \cdot \delta(t)$ 提供强信号。最终 $\text{Softmax}(S_{pre} + QK^\top/\sqrt{d_h} + B)V$ 在保持整体语义的同时把数字硬约束落到生成里。

技术上，NUMINA 的新颖性主要体现在三点。第一，识别阶段的「动态头选择」机制：之前的工作多对注意力做平均或随机采样，本文通过显式构造三指标合成评分 $S(SA^h) = S^1_h + S^2_h + \gamma S^3_h$ 并证明只有 Top-1 头才有显著效果（Top-1 比 Random 高 5.6%，比 All average 高 6.7%），把「head 选择」从经验操作变成了可量化的设计，并提供了 PCA 可视化支撑。第二，二阶段调制的设计：删除用的是 bias 上的大负常数抑制，新增则区分「复制模板」与「圆形模板」两条路径——前者复用 $\bar a_f$ 保证一致性，后者通过外部 bias 提供强信号，并且都乘以强度系数 $\delta(t)$，保证只在前期硬约束布局、后期让细节自然生成。这种「per-region, per-frame, time-decaying」的调制粒度比 Prompt-to-Prompt 的统一 attention replacement 更精细。第三，整个框架对架构友好：CogVideoX 使用的 MMDiT 没有独立 cross-attention，本文的方案是把 video-to-video attention 当 self-attention、text-to-video attention 当 cross-attention，同一套 head 选择逻辑即可迁移，并仍取得 +4.2% 计数提升。这些设计加在一起，使 NUMINA 成为一个「轻量、普适、即插即用」的计数增强方案。

独立审视论文后还可指出几个未充分讨论的弱点。第一个是高密度场景的 $t^*$ 与 $\ell^*$ 选择是基于 Wan2.1-1.3B 调出来的，是否在不同尺度或不同数据分布下依然稳健，论文只给了 CogVideoX 的迁移结果，但没有针对 5B、14B 大模型重新 sweep 这两个超参的实验。第二个是 layout refinement 的代价函数里用 $\lambda$ 控制时间项，但没有显式的「跨类别一致性」约束，当 prompt 同时要求三类物体时，是否会因 $M_T$ 相互独立优化而出现彼此挤压或穿插，论文没有给出定量分析。第三，删除操作仅靠 bias 上的大负常数实现，但这在数值上接近「让模型相信这里没有内容」，可能导致纹理断裂、阴影残留等问题，在较暗场景里可能出现视觉伪影。第四，由于 $h^*_s$ 是按前景-背景分离度挑选的，对背景干净、主体清晰的 prompt 极其有效，但对 clutter scene（拥挤、室内多目标）效果可能下降；论文的 ablation 全在 CountBench 上完成，没在更通用的视频场景里验证退化幅度。第五，prompt enhancement 与 NUMINA 的「叠加」虽然数据亮眼（54.2%），但论文没有分析这种叠加是否会让文本与布局出现不一致（例如 LLM 把「three cats」改写后引入新属性，与原始 cross-attention 头选中的区域不匹配）。改进方向可以包括：引入更鲁棒的整体性 perceptual grouping（如 SAM-style mask 在 attention 上重采样）、把 instance assignment 建模成可微问题、用 curriculum 让模型逐步学大数。

作者明确指出的未来方向是「达到对任意数字的完美对齐」。可延伸的方向还有几个：(1) 把 instance-aware head 选择扩展到「动作计数」「关系数量」（例如两个动作同时发生、链式关系），目前方法只关注「实例数」而忽略复合谓词；(2) 探索 MMDiT 下的统一 attention 分解策略，本文只给了 CogVideoX 一个简单分解，是否能更细粒度地分离 video-to-text、text-to-video、video-to-video 三种子结构值得研究；(3) 结合 RL 或 DPO 用 NUMINA 的布局作为 reward 信号微调模型本身，把「训练免费」的优势补完之后再做监督训练，可能让模型真正内化数字先验；(4) 把同样的 instance-separable head 思路用在图像编辑（object addition/removal）或 3D 生成（控制同时出现的对象数），验证这一观察是否是 DiT 的普遍属性；(5) 用更轻量的近似算法降低计算开销，例如把预生成步骤与正式生成合并、用共享的 KV cache 替代两次 forward 等；(6) 将 NUMINA 与可控生成（如 camera motion, layout from text）结合，使其成为完整视频编辑管线的一环。

复现评估：代码开源于 https://github.com/H-EmbodVis/NUMINA，论文同时给出项目页 https://h-embodvis.github.io/NUMINA/ 包含视频 demo。CountBench 由 GPT-5 生成候选并人工筛选，最终 210 条 prompt，覆盖 1-8 个物体与 1-3 个物体类别，作者已声明会发布 prompt 与 GroundingDINO 的检测配置。CountAcc 与 TC 都用 GroundingDINO 作为 ground-truth 检测器，CLIP Score 用 frame-wise CLIP，源代码的依赖较常见（PyTorch + diffusers + transformers），主要新组件是 attention head selection 与 layout refinement 的聚类算法（Mean-Shift、DBSCAN），可借助 scikit-learn 直接调用。算力方面：1.3B 模型在单张 RTX 4090（约 16GB）上可跑，5B 与 14B 模型需要 A800 这一档 GPU；论文给出 NUMINA 在 1.3B 上 VRAM 仅多 2GB、单次生成多 139s 的具体数字，配合 EasyCache 可压缩到 63s 左右。复现难度整体为「中等」：核心方法不复杂、依赖公开，但完整复现需要：(i) 准确捕获参考 timestep $t^*$ 与 $\ell^*$ 层的 attention hook；(ii) 让 cross-attention 调制与正常的 50 步去噪兼容；(iii) 处理 MMDiT 与 DiT 在 attention 形状上的差异。论文 Table 10 的 ablation 表明 $\lambda \in \{4,8,16\}$、$\tau \in \{0.1,0.2,0.3\}$、$k \in \{0.5,0.8,1.0\}$ 区间内表现稳定，对超参选择不太敏感。