4DAnyone：从随手单目视频重建可自由视角渲染的 4D 人体 4DAnyone: Create Anyone in 4D from a Casual Monocular Video

流程分四步。(1) 预处理（RTX 4090 约 2 分钟）：GVHMR 估计地对齐 SMPL-X 序列，SMPL-X-to-Goliath 回归器（held-out 场景关键点平均误差 3.5mm，最近顶点基线 14.0mm）抽取 40 个关键点（17 身体、6 脚部、10 掌级手部、7 辅助颈肩肘），按逐像素 z-buffer 光栅化为带部位着色的骨架视频。(2) 参考视角生成：用最远点采样选视角，第一轮仅条件于 $P_1(V_{src})$ 生成 4 个参考视频，第二轮加入 3 个 2× 打包参考再生成 4 个，构建固定 RCP 上下文；训练时以 0.1 概率分别 dropout 两级参考以支持渐进推理。(3) 目标视角生成：16 个视角按方位角分四视图组，20 步去噪中前 16 步（$t_s/T=0.2$）执行 TCR 轮换分组、后 4 步固定相邻组，组间可多 GPU 并行（单层 16 相机、双层 32、三层 48），单张 H20 生成 4 段 121 帧视频约 7 分钟。(4) 4DGS 重建：FreeTimeGS 以空间雕刻粗几何初始化，Adam 学习率 $1.6\times10^{-4}$ 迭代 5 万次，约 30 分钟。训练为三阶段课程：Stage 1 仅 DNA-Rendering 前景视频学骨架条件相机控制（20% 概率源与目标取不同时间窗，解耦姿态与外观）；Stage 2 加入 MVGameHuman、SynCamVideo 并取消背景掩膜；Stage 3 加入 Pexels、TedTalk 单目数据并移除手指关键点。全程 704×1280、学习率 $1\times10^{-5}$ 微调 Wan2.2-TI2V-5B，损失 $\mathcal{L} = \mathcal{L}_{latent} + \lambda_L \mathcal{L}_{LPIPS}$（$\lambda_L = 0.25$，LPIPS 在身体部位感知裁剪上计算），三阶段约 0.5、1、1.5 天，共 128 张 H20-3E。

新颖性体现在五点。第一，问题定义新：首次把多视角扩散在重建规模下的崩溃归因于“有界注意力上下文”这一架构约束，并形式化出条件端与生成端两个耦合瓶颈（参考上下文 $O(N)$ 增长、组间上下文不相交），此前工作（CAT3D 锚点选择、CAT4D/Diffuman4D 滑窗）未做此联合分析。第二，RCP 把 FramePack 的多尺度上下文打包从时序帧预测迁移到多视角参考条件，以混合分辨率同时保留全局布局与精细外观，实现 $O(1)$ 参考成本的可扩展外观引导。第三，TCR 是纯推理期策略：无需任何重训练，仅靠去噪步间的循环移位分组，就让固定显存预算下的 16 个视角互相通信，且天然支持多 GPU 并行（Table 6 给出 4/8/8 GPU 三档配置），这是与滑窗重叠去噪本质不同的“结构广播”机制。第四，几何条件上贯彻“准确优先于稠密”：深度缓冲骨架渲染以零额外输入通道解决 2D 骨架前后歧义（Fig. 5）；刻意排除 238 个面部关键点和 30 个手指关节以避开噪声检测，面部与手部细节交给源视频参考学习——条件设计处处围绕可靠性而非信息量。第五，零初始化投影、以预训练时序注意力初始化多视角注意力、按面积比缩放初始化多尺度 patchify 等细节保证了 5B 大模型微调的稳定性。

独立分析几点弱点。第一，条件链路单点依赖 HMR：骨架是唯一几何信号，快动作、运动模糊、罕见姿态（踮脚、倒立）下 HMR 失准会被所有生成视角忠实放大，改进方向是引入时序平滑、多假设骨架，或按估计不确定性调节条件强度。第二，骨架对非刚性自由体（裙摆、长发、布料、手持物）零约束，跨视角撕裂在 Fig. 10 中清晰可见，可补一条轻量光流或粗深度残差通道，专管“远离身体的运动”。第三，超参较脆弱：分组大小固定为 4、$t_s/T=0.2$ 由网格搜索得到，视角数与帧数变化时的泛化未系统验证；Random 路由失效也说明 TCR 收益依赖局部相邻性，机制解释仍显经验化。第四，RCP 的 4× 压缩参考不可避免丢失高频外观信息，参考轮次增多后远端视角的面部、手部细节是否退化值得量化分析。第五，LPIPS 损失只在身体部位裁剪上计算，加上 Wan2.2 VAE 的高空间压缩，背景与远场区域缺乏直接监督，复杂场景的一致性存疑。第六，整条流水线假设单人、以人体为中心，多人遮挡与人物间交互完全未涉及。

作者展示的直接延伸是单图到 4D：用 Wan-Animate 从一张图片生成驱动视频后接入 4DAnyone（Fig. 9），把入口门槛降到一张照片。顺着本文成果可延伸的方向：(1) 为服装与软体引入可微动力学先验，或混合粗深度+光流条件，解决布料与道具漂移；(2) 让 TCR 的分组大小与切换时刻自适应化，例如按跨组结构一致性指标在线调度，摆脱手工超参；(3) 扩展到长序列——RCP 的 $O(1)$ 参考上下文天然适合滚动生成更长时间与多机位叙事；(4) 多人场景与人物-物体交互，骨架可升级为多人分层骨架加场景布局条件；(5) 与文本/语义条件结合做 4D 一致的外观编辑（换装、换发型）；(6) 把生成的 4DGS 用作具身智能与世界模型的动态人物资产，反向服务仿真数据生成；(7) 通过蒸馏减少去噪步数、扩大分组，压缩推理成本逼近准实时。

复现条件较好但门槛分化。代码承诺开源（项目页 https://4danyone.github.io），骨干与配套组件全部公开：Wan2.2-TI2V-5B、GVHMR、FreeTimeGS、Sapiens2-1B、Depth-Anything-3 均为公开模型；推理细节给得非常充分——骨架编码器 10 层 Conv3d 的通道配置（3→16→32→64→128→256→$d$）、多尺度 patchify 的核尺寸与方差保持初始化、RCP dropout 概率 0.1、$t_s/T=0.2$、20 步去噪、多 GPU 配置表（Table 6）一应俱全。自建数据集 MVGameHuman（3.8 万段、318 演员、24 虚拟相机、2560×1440）由内部游戏引擎生成，论文未承诺公开，完整复现训练需自行构造类似规模的合成多视角数据。训练成本高：128 张 H20-3E 共约 3 天（0.5+1+1.5），学术实验室难以复现；但基线微调协议与全部消融细节写明，评估协议（测试序列 ID、相机编号、帧数逐一列出）相当友好。推理门槛低：预处理约 2 分钟（4090）+ 生成约 7 分钟（单 H20）+ 4DGS 约 30 分钟（4090）。综合：跑通推理为中等难度，完整复现训练为高难度。