划分支撑集，重构残差：面向视频生成与世界模型的免训练稀疏注意力 Partition the Support, Reconstruct the Residual: Training-Free Sparse Attention for Video Generation and World Models

(1) K/V 分组：采样 $M_s$ 个 query 行，由响应度量谱嵌入得 key 坐标 $\phi_K$（$r_K=48$），k-means 得配对 K/V 组，value 随 key。(2) query 分组：对各非空组求质心、减均值堆成 $\tilde K$，构造 query 响应度量取 $r_Q=64$ 个特征方向得 $F_Q$，query 坐标 RMS 归一化后 k-means 得 $G^Q$。(3) 路由与执行：按 cell 代价 $|G_a^Q||G_b^{KV}|$ 的 pair 预算选 cell，$Q,K,V$ 重排为组主序布局，交 FlashInfer 变长块稀疏核精确计算，每行重归一化（硬丢弃），输出恢复原序。(4) 探针与拟合：每 query 头按组分层、组内按到质心距离径向排序轮转选 $M=64$ 个探针行（算法 A.1），精确计算得残差 $R_p$；按覆盖权重 $w_p=|G_a^Q|/m_a$ 加权，解岭回归得 $B_\lambda$（$\lambda=0.1$），对探针残差 SVD 取 $r=16$ 个右奇异向量 $\Psi_r$。(5) 输出：未探针行 $\hat O_i=O_i^{\text{sp}}+\hat R_i$，探针行用稠密输出；$\rho_{\text{exec}}=\rho_{\text{route}}+M/N_q$，探针开销 0.054%–0.145%。

新颖性有四层。(1) 问题刻画：O1/O2/O3 首次量化了共享路由的支撑膨胀（Wan2.2 的 6.2%→22.9%）、保留质量与 post-softmax 误差的脱钩、以及分区几何对残差仿射可表示性的决定作用（可解释能量 +3.2–14.9 pp，正交能量 0.285×–0.653×）。(2) 度量构造：key 响应度量 $M_K$ 的秩-$r$ 谱嵌入等价于对响应轮廓的归一化谱聚类，query 坐标的 RMS 归一化让 k-means 只比响应方向不比尺度，是有几何意义的构造而非启发式。(3) 估计器设计：修正被限制在实测探针残差的 SVD 子空间内（$\Psi_r\Psi_r^\top$），不假设残差全局低秩、不做范数截断，是对小样本回归外推风险的结构化控制。(4) 评测口径：探针行计入执行密度 $\rho_{\text{exec}}$、全部在线开销计入端到端计时，避免\u201c算子快但路由贵\u201d的口径套利。相比 SVG-EAR 的误差感知路由与 PISA/Sol-Attn 的泰勒/代理近似，SparsePR 的修正逐调用校准于输出子空间。

弱点一：全在线、逐调用重算。分区、k-means、探针拟合与 SVD 每次调用都重来，虽测得探针拟合仅占 1.1% 延迟，但在蒸馏少步数模型（4–8 步采样）上稀疏收益缩水、在线开销占比上升。改进方向：相邻去噪步共享分区或热启动质心做增量更新，配响应几何漂移检测。弱点二：探针预算固定且不按需分配。$M=64$ 对所有模型、所有层固定，而 O2 显示 Cosmos3-Nano 残差长尾，误差大的组可能探针不足；可按组残差方差或组大小自适应分配。弱点三：cell 不可分导致实际密度偏离目标，22% 目标对应 21.92%–25.96% 实现；可允许部分组以池化 token 表示实现分数密度。弱点四：单卡单批评测，FlashInfer 变长块核在多批、多卡流水线下是否保持 1.5× 以上加速未验证，BF16 下 SVD 与岭回归的数值稳健性也只在 H100 上检验，移植到 FP8 存疑。弱点五：仿射模型是修正能力的上界，O3 中仍有正交能量未被解释，极端分布外 prompt 下残差可能欠拟合。

作者方向：项目页承诺更多定性结果；附录 D 已把密度敏感性扩展到 12%–35% 全区间，建议继续刻画不同操作点下分区收益的稳健性。可延伸方向：(1) 把响应耦合分区推广到自回归视频世界模型的 KV 缓存压缩，与 Samuel et al. 的时序缓存压缩结合，需解决因果掩码下响应坐标的构造；(2) 把逐调用探针回归蒸馏为跨调用共享的轻量修正头（以层/头/步索引为条件），进一步压缩 1.1% 的在线开销；(3) 用 O3 的仿射可解释能量作为免训练的分区质量代理指标，在线自适应选择组数 $C_q$、$C_k$ 与密度目标，替代人工调参；(4) 系统量化 conditioning（文生视频/图生视频/物理预测）对注意力结构与稀疏收益的影响，为世界模型设计条件感知路由；(5) 与 FP8、FlashAttention-3 或 TensorRT 后端集成，检验谱嵌入与 SVD 在不同数值格式下的稳健性；(6) 把探针选择扩展为序贯主动采样，用更少探针达到同等拟合质量，并研究跨头共享探针的收益。

开源情况：正文只给出 Project page 占位链接，未见官方代码仓库，算法需自行实现。可复现材料相当充分：表 C.1 完整给出全部超参（$r_K=48$、$r_Q=64$、$M=64$、$r=16$、$\lambda=0.1$、目标密度 22%/26%），算法 A.1 给出探针选择伪代码，附录 A/B 推导完备（硬丢弃残差恒等式、加权岭回归闭式解、SVD 子空间投影），附录 C.1 还给出融合投影核延迟（1.6170ms→0.5064ms）与相对误差 3.68×10⁻⁴ 作正确性参照。评测依赖公开模型（HunyuanVideo、Wan2.2、Cosmos-Predict2.5、Cosmos3-Nano）与公开基准（VBench、VBench++、PBench）。算力：单张 H100（BF16）可复现计时实验，Wan2.2 单次全生成稠密 1650s、稀疏 917s，跑满 VBench 规模对比需数百 GPU 时；GPU k-means、融合核与 FlashInfer 集成需要工程能力。综合判断：算法路径清晰、无隐藏数据依赖，无官方代码前属中等偏高复现难度，开源后降为中等。