← 返回 2026-10-15

高动态相机下世界空间人体恢复的诊断研究 A Diagnostic Study of World-Space Human Recovery Under High Camera Dynamics

Hao-Jen Chien, Wei-Lun Chao, Yu-Lun Liu 📅 2026-10-14 👍 19 2026-11-11 18:30
K-Pop压力测试 世界空间人体恢复 多人舞蹈重建 尺度失配 视觉里程计 闭式校正

诊断出人体世界坐标漂移源于相机与人体平移的尺度失配,并给出免训练闭式校正

前置知识

人体网格恢复(HMR)与 SMPL

人体网格恢复指从图像/视频估计参数化三维人体的任务,最常用 SMPL/SMPL-X 参数化:输入形状与姿态参数即可生成稠密网格。视频版 HMR 逐帧输出网格参数与骨盆根节点在相机坐标系下的平移,把人体安放进相机空间。近年方法(WHAM、GVHMR、TRAM、PromptHMR)在 3DPW、EMDB 等基准上精度已很高。

本文的研究对象就是这些视频 HMR 系统:它们的相机空间预测在 K-Pop 视频上依然合理,问题出在与相机位姿合成这一步;理解 HMR 输出什么,才能定位故障点。

视觉里程计(VO)与相机位姿

VO 从单目视频估计相机运动,输出每帧相机到世界的旋转 $R_i\in SO(3)$ 与平移 $T_i\in\mathbb{R}^3$。由于单目观测固有的尺度不确定性,平移只能恢复到相差一个全局尺度因子。代表方法有 DROID-SLAM、DPVO、ViPE;本文默认用 ViPE 并屏蔽动态前景、字幕与天空区域。

世界空间恢复的另一半输入就是 VO 的相机轨迹。论文要证明 VO 本身在快相机下没坏,坏的是它与人体平移的尺度组合,因此必须先懂 VO 输出什么、何为自洽。

相机空间与世界空间

相机空间以当前相机为原点、随相机一起运动;世界空间固定于场景。世界空间人体恢复要求同时估计人体运动与相机运动,组合式方法用刚体变换 $W_i = R_i X_i + T_i$ 把相机空间人体位置 $X_i$ 变换到世界系。分析脚部接触点是因为骨盆在原地动作时也在移动,而脚触地时不动。

全文核心命题就是:$R_i$、$X_i$、$T_i$ 各自自洽,但 $T_i$ 与 $X_i$ 的尺度不一致时,合成公式会把相机运动注入人体轨迹,产生漂移。

单目尺度不确定性与尺度失配

单目视频里相机平移 $T_i$ 和人体相机空间位置/深度 $X_i$ 各自只定义到相差一个尺度。合成步骤隐含假设二者尺度一致($s=1$);若 HMR 隐含的相机位移 $ΔT'_{ij}=s\,\Delta T_{ij}$ 与 VO 的 $ΔT_{ij}$ 尺度不符,静止人体会获得 $(1-s)\Delta T_{ij}$ 的虚假位移,漂移随相机位移线性增长。

这是本文诊断出的失败根因,也是闭式校正要估计的唯一未知量 $s$;不理解尺度二义性就无法理解漂移为何'跟着相机走'。

时间反转穿梭测试(S-ATE)

把同一段视频正着跑一遍、反着跑一遍 VO,两次轨迹经单次相似变换对齐后计算位置偏差(S-ATE,按轨迹长度归一)与焦距差(S-Focal)。整段共享的误差(共同尺度偏差、深度偏置)在正反两遍中相同、对齐后抵消,所以该测试只能验证自洽性而测不出共享尺度错误。

论文用它筛选 K-Pop 片段并排除'VO 失效'假设,是诊断逻辑(先排除组件失效、再锁定合成步骤)的关键一环。

MPJPE 系列与 Ratio 指标

MPJPE 是估计与真值关节的平均每关节位置误差;W-MPJPE 在世界系对齐后计算,PA-MPJPE 先做 Procrustes 刚体对齐去除全局变换,WA-MPJPE 是世界系对齐加 Procrustes。Ratio 是把方法输出的世界坐标用单一尺度拟合到参考时的最优尺度(1 为完美,小于 1 表示恢复得偏大)。

读实验表需要分清哪些指标衡量绝对世界位置(W/WA-MPJPE、Ratio),哪些只衡量相对几何(Pair Distance、Formation Error);本文的优势主要在前者。

研究动机

世界空间人体恢复的主流做法分两类:一类直接从姿态与运动动力学等局部线索预测世界系运动(GLAMR、WHAM 等);另一类是组合式(compositional)方法——用视觉里程计估计相机位姿,再用刚体变换 $W_i = R_i X_i + T_i$ 把相机空间人体位置拼进世界系,TRAM 与 PromptHMR 是代表。它们在 3DPW、RICH、EMDB 上表现很好,但这些基准几乎都是温和相机运动:论文统计显示 EMDB 相机平均速度只有 0.20 body heights/s(body 为一个身长单位)、最大 0.48。然而在 K-Pop 演唱会广播视频上——相机平均速度 1.15、峰值 2.84 body heights/s,约为 EMDB 的 6–8 倍,加减速比(加速度/速度)1.94 也远超基准,且每帧最多 12 名成员的密集编舞——领先的组合式方法(TRAM、GVHMR、PromptHMR、HAC)虽然逐帧网格在图像上看起来依然合理,世界系轨迹却严重漂移:表演者被拖着追随机位移动、重投影在图像上错位、偏离真实舞台位置可达数米;PromptHMR 的时序抖动(Jitter)高达 $4.49\times10^6$ mm,TRAM 为 312.39 mm,与表演者实际舞台位置相去甚远。

本文的目标是本文的目标有三个层次。第一,建立一个能暴露该失效的评测集:作者从 YouTube 收集约 1000 条 K-Pop 广播舞蹈视频,经转场检测(TransNetV2)、镜头筛选与相机自洽性过滤后得到 616 个片段、59.19k 帧、336.87k 个姿态实例、每帧最多 12 人,仅用于评测。第二,对失败做系统归因:逐一检验视觉里程计(时间反转穿梭测试)与相机空间 HMR(逐帧网格叠加)是否失效,在两者都通过后,把嫌疑锁定在二者结合的合成步骤上。第三,在不重新训练任何网络的前提下,估计并消除相机平移与人体平移之间的尺度失配,使所有表演者在同一个共享世界系中轨迹稳定、相对队形保持,可用于编舞建模、场景编辑、虚拟重拍与端到端方法的训练数据生成。由于广播视频没有世界系真值,作者还用同时被场内固定机位拍摄的 11 对时间同步表演(989 帧、78 名表演者)构建配对参考集,作为世界尺度的直接证据。

与已有工作不同的是,独特切入角度有三。其一,诊断视角:以往遇到漂移会归咎于 VO 或 HMR 在难场景下变弱、进而设计更强模块;本文用自洽性检验证明两个组件都没坏,指出失效发生在组合这一步,是'系统性尺度失配'而非随机估计误差。其二,利用舞台表演的结构做无真值估计:广播视频没有世界系真值,但编舞中大量存在表演者静止不动的区间,其真实世界位移近似为零,因此任何恢复出的位移都是漂移本身——静止表演者成为免费的探针;论文据此观察到漂移严格沿相机路径、随相机位移线性增长(漂移量 $(1-s)\Delta T_{ij}$),这解释了为何在温和相机的旧基准上漂移小到无人注意。其三,估计方式:先前工作要么从背景场景深度估计尺度(TRAM 的 masked DROID-SLAM + Metric3D),要么用 HMR 的绝对关节深度当人体标定物(HAC、OfCaM);本文只用相对位移差 $Δ\hat W$ 与 $ΔT$ 的加权最小二乘闭式求解,不依赖绝对深度与背景结构,天然规避 dolly-zoom 和舞台灯光对绝对深度的影响。

核心方法

方法整体思路是'先诊断、后校正、再物理细化'。直觉上:VO 给出相机平移 $ΔT_{ij}=T_i-T_j$,HMR 的相机空间预测隐含了它所认为的相机位移 $ΔT'_{ij}$,二者是对同一物理量的两次独立测量;只要存在一个整段共享的尺度因子 $s$ 使 $ΔT'_{ij}=s\,ΔT_{ij}$ 且 $s\neq1$,合成时静止人体就会获得 $(1-s)ΔT_{ij}$ 的虚假位移,且相机动得越多漂移越大。技术路线五步:(1) 用 ViPE 估计相机位姿,屏蔽动态前景与字幕,经时间反转穿梭测试验证;(2) 用 PromptHMR-Vid 在相机空间重建所有表演者(SAM2.1 跟踪 + YOLO11x-pose 双向细化);(3) 按式 $W_i=R_iX_i+T_i$ 合成到世界系,用 SPEC 的重力方向校正竖轴并 RANSAC 拟合地面;(4) 用脚部接触置信度筛选静止区间,在区间内以加权最小二乘闭式解出唯一尺度 $s^*$,随后按 $W_i^{\text{corr}}=R_iX_i+s^*T_i=W_i-(1-s^*)T_i$ 一次校正相机与所有表演者;(5) 物理接地优化(PGO)联合精调重投影一致性、轨迹平滑、地面接触与多人排斥,并学习残差尺度 $Δs$。全程无需重训练,可换装到不同 VO/HMR 后端。

核心创新是把世界空间漂移从'模型不够好'重新定义为'两个自洽估计之间的尺度契约被打破'。与已有方法的本质区别:TRAM 用遮挡掩码的 DROID-SLAM 加 Metric3D 从背景场景深度推断度量尺度,在舞台大范围变焦、灯光频繁变化、前景人体占满画面时不可靠;HAC/OfCaM 用 HMR 网络输出的绝对关节深度作为'人体标定物',得到每人一个尺度,无法给出共享世界系。本文的洞见是:漂移和相机位移在静止区间内都可观测,联立式 $Δ\hat W_{p,ij}\approx(1-s)ΔT_{ij}$ 即可只用相对量闭式解出 $s$,既不需要绝对深度也不需要背景结构;对 dolly-zoom 也鲁棒——焦距误差恰好是一个尺度自由度,论文用重缩放焦距的实验(Figure 14)验证估计偏差随焦距乘子线性变化且校正可将其吸收。另一个关键设计是'一个序列一个尺度':它把相机和所有表演者作为刚体整体重标定,保住表演者间的相对位置;消融显示换成时间变化的尺度反而把 Jitter 从 26.87 mm 恶化到 131.57 mm,因为分段尺度互不一致、重拼的相机路径会引入 VO 从未观测到的虚假运动。

方法步骤详情

完整流程六步。步骤1(相机位姿):输入广播视频,ViPE 以 0.1s 关键帧间隔运行,用文本短语屏蔽舞者、手持道具、歌词字幕与天空;对变焦剧烈的片段每段拟合单一焦距(剔除超出图像宽度 [0.3×,3×] 的估计),One Euro 滤波(min cutoff 0.001、beta 0.5)平滑轨迹;输出 $\{R_i,T_i\}$ 并经穿梭测试验收(最终片段 S-ATE 1.35×10⁻²、S-Focal 3.39°,与 OpenDV 的 1.05、4.26° 相当)。步骤2(相机空间人体):PromptHMR-Vid 骨干,两遍跟踪——先在可见人数最多、遮挡最少的初始化帧用 SAM2.1 建立轨道,再用 YOLO11x-pose 检测框双向提示细化,≤5 帧的检测缺口线性插值后逐帧输出 SMPL-X 网格与骨盆平移 $X_i$。步骤3(合成与重力对齐):对每个关节施加式 (1),用 SPEC 估计首帧俯仰/横滚把世界系竖轴对齐重力,RANSAC 拟合地面并置零。步骤4(静止区间检测):取脚踝/脚关节的最高接触置信度 $\bar c_{p,t}=\max_{k\in C}c_{p,t,k}$,10 帧滑窗内至少 $\alpha=0.8$ 比例的帧超过 $\tau_c=0.5$ 才入选;再用两道闸门剔除坏区间——位移与相机运动方向不一致($|\cos(Δ\hat W_{p,ij},ΔT_{ij})|\le0.8$),或旋转误差信噪比过低(要求 $\|\u0394T\|/(\theta_{err}d)\ge\eta=1.5$,其中 $\theta_{err}=\theta_0+0.1\theta$、$\theta_0=0.5°$);存活区间按平均接触置信度加权 $w_{p,ij}$。步骤5(闭式尺度恢复):解加权最小二乘 $s^*=1-\frac{\sum_{p,i,j}w_{p,ij}\,Δ\hat W_{p,ij}ΔT_{ij}^{\top}}{\sum_{p,i,j}w_{p,ij}\|\u0394T_{ij}\|^2}$,对相机与全体表演者统一施加 $W_i^{\text{corr}}=W_i-(1-s^*)T_i$,重拟合地面置零,3D 平移线性插值、姿态球面插值补缺。步骤6(PGO):最小化 $\mathcal{L}=\lambda_{kp}\mathcal{L}_{kp}+\lambda_{sm}\mathcal{L}_{sm}+\lambda_{rep}\mathcal{L}_{rep}+\lambda_{floor}\mathcal{L}_{floor}+\lambda_{cv}\mathcal{L}_{cv}+\lambda_{ch}\mathcal{L}_{ch}+\lambda_{sf}\mathcal{L}_{sf}$(权重 1.5/1/10/100/500/10/100),含 Geman–McClure 鲁棒重投影项、平移速度/加速度平滑、时间化多人排斥(12 球体近似、安全边距 $δ=0.2$ m)、接触速度惩罚、高置信黏地项与地面高度项,Adam 3000 次迭代,同时学习残差尺度 $Δs$;若无区间入选则跳过校正、保留原始合成。

技术新颖性

技术新颖性体现在四个层面。第一,问题定义:首次把'高相机动态'本身确立为可量化的失效域,并用数据说话——K-Pop 相机平均速度 1.15 body heights/s、峰值 2.84、加速度/速度比 1.94,全面数倍于 EMDB(0.20/0.48/1.10)与 WorldPose(0.14/0.34/0.96),且每帧最多 12 人,现有基准从未覆盖该区域。第二,诊断方法学:用时间反转穿梭测试证明 VO 自洽(正/反向轨迹单次相似对齐后 S-ATE 仅 1.35×10⁻²),用逐帧叠加证明 HMR 自洽,再用'静止表演者漂移沿相机路径且随相机位移增长'这一因果证据锁定合成步骤——这套排除法可迁移到其他系统的失效分析。第三,估计器设计:把无真值场景下的尺度恢复转化为静止区间的加权最小二乘,闭式、免训练、只用相对量;对比 HAC 需要逐人绝对深度、TRAM 需要背景度量深度,约束更弱、更稳。第四,工程鲁棒性:校正跨后端迁移(masked DROID-SLAM、DA3、ViPE 三种里程计与 TRAM/GVHMR/PromptHMR-Vid 多种骨干都有效);两阶段设计(闭式解 + PGO 残差)使结果对区间数量(125 个 vs 3 个时最终漂移分数 0.318 vs 0.320)和接触阈值($τ_c$ 取 0.3/0.5/0.8)都不敏感。

ViPE camera trajectories on K-Pop clips remain self-consistent under the time-reversal shuttle test
Figure 5: ViPE camera trajectories on K-Pop clips remain self-consistent under the time-reversal shuttle test
Scale mismatch turns camera motion into world-space drift
Figure 6: Scale mismatch turns camera motion into world-space drift

实验结果

核心实验有五组。(1) 配对相机参考集(11 对、989 帧、78 人,Table 1):Ours 的尺度比 Ratio 0.90 最接近理想值 1,WA-MPJPE 39.89 cm、W-MPJPE 47.02 cm、Pair Distance 29.01 cm 全面领先——相比构建参考所用的 PromptHMR(49.25/70.60/42.07)分别降低约 19%、33%、31%;TRAM 为 57.80/99.08/43.97(Ratio 0.77),GVHMR 62.64/68.16(Ratio 0.64),HAC 64.77/116.30(Ratio 0.66)。(2) 全量 616 片段代理指标(Table 2):Ours 是唯一在两个世界系指标上都进前二的方法——Jitter 26.87 mm、Foot Skating 17.94 mm(均最优);2D 侧 PCK 0.868、Mask IoU 0.720 位居第三,不敌只做刚体变换的 TRAM(0.921/0.848,但 Jitter 312.39 mm)与 HAC(0.899/0.747,但 Foot Skating 50.48 mm、约为本文 2.8 倍);PromptHMR 的 Jitter 高达 $4.49\times10^6$ mm,GVHMR 的 PCK 只有 0.210。(3) 跨后端迁移(Table 3):给 PromptHMR 原生管线加漂移校正,Jitter 从 $4.49\times10^6$ 降到 27.53 mm、Foot Skating 从 $8.91\times10^5$ 降到 18.65 mm、PCK 从 0.802 升到 0.859;换 DA3 里程计几乎不变(26.88/18.22);TRAM 加校正以少量 2D 精度换大幅稳定(Jitter 312.39→47.38/46.92 mm)。(4) 消融(Figure 9,100 个最动态片段):漂移校正把 PCK 0.727→0.839、IoU 0.641→0.691、Jitter 32.17→15.88 mm、Foot Skating 31.08→18.57 mm;静止片段实验(Table 9,10 段 60 人)中净位移从原始 2.334 m 降到 PGO 后 0.581 m、再加校正 0.153 m,而 Jitter 几乎不变(12.465→12.379 mm),说明提升来自位置放对而非平滑。(5) 用户研究(34 人、8 序列、每问题 816 票):整体质量 97.3%、相机运动匹配 96.6% 的票投给本文,对任一基线单独比较也至少 96.3%/95.6%。另在 EMDB-2(温和相机)上校正导致轨迹指标轻微退化(W-MPJPE 415.03 vs 复现 PromptHMR 的 388.66 mm、WA 158.50 vs 139.65 mm),但 Jitter(21.18 vs 46.12)与 Foot Skating(8.79 vs 11.19)仍改善。

Ours is closest to the reference
Table 1: Ours is closest to the reference
On the K-Pop stress test, ours is in the top two on both world-space metrics
Table 2: On the K-Pop stress test, ours is in the top two on both world-space metrics
Drift correction transfers across visual odometry and HMR backbones
Table 3: Drift correction transfers across visual odometry and HMR backbones
Drift correction reduces displacement
Table 9: Drift correction reduces displacement
A clip-level fit exposes sliding that single frames hide
Figure 7: A clip-level fit exposes sliding that single frames hide
Existing methods fail at 2D alignment, world-space stability, or both, while ours achieves both
Figure 8: Existing methods fail at 2D alignment, world-space stability, or both, while ours achieves both
Drift correction is needed even with PGO
Figure 9: Drift correction is needed even with PGO
User study
Figure 15: User study
查看结构化数据
任务指标本文基线提升
配对相机参考集:世界尺度与轨迹精度(11对/989帧/78人) WA-MPJPE (cm) 39.89 PromptHMR 49.25;TRAM 57.80 较最强基线降低约 19%
配对相机参考集 W-MPJPE (cm) 47.02 PromptHMR 70.60;TRAM 99.08 降低约 33%
配对相机参考集 Ratio(尺度拟合比,→1) 0.90 PromptHMR 0.80;TRAM 0.77;GVHMR 0.64;HAC 0.66 恢复的世界尺度最接近真值
配对相机参考集 Pair Distance (cm) 29.01 PromptHMR 42.07 表演者间相对距离误差降低约 31%
K-Pop 全量压力测试(616 片段):时序稳定性 Jitter (mm) 26.87 PromptHMR 4.49×10⁶;TRAM 312.39;HAC 17.56 纠正 PromptHMR 灾难性漂移,仅次 HAC 且 Foot Skating 更优
K-Pop 全量压力测试 Foot Skating (mm) 17.94 HAC 50.48;GVHMR 31.57;TRAM 131.29 全场最优,比 HAC 低约 64%
K-Pop 全量压力测试 PCK / Mask IoU 0.868 / 0.720 TRAM 0.921 / 0.848;HAC 0.899 / 0.747 2D 重投影略逊于不做优化的方法,换取世界系稳定
EMDB-2 温和相机回归测试 Jitter / Foot Skating (mm) 21.18 / 8.79 复现 PromptHMR 46.12 / 11.19 物理合理性指标更好;但 W-MPJPE 415.03 vs 388.66 轻微退化

局限与改进

作者承认的局限:(1) 每个序列只估计一个尺度、整组刚体移动,因此无法修复相机空间深度本身就错的个体——长时间被遮挡的表演者会被放到离人群数米之外(Figure 10),遮挡结束后才恢复;(2) 尺度在镜头内部变化的情况不被表示(片段已按硬切分镜头,Table 7 显示换成时间变化尺度反而破坏稳定);(3) 尺度恢复继承上游相机与 HMR 估计的噪声。我自己的观察:(1) 方法依赖两样'奢侈'输入——可靠的脚部接触置信度与编舞中足够的静止瞬间,快节奏独舞或几乎无停顿的内容可能没有候选区间(作者只做了 125→3 个区间的稳健性实验,并设计了'无区间则跳过校正'的兜底,但零区间场景下的用户实际拿到的是未校正的漂移结果);(2) 评测体系存在轻微循环风险:配对参考集本身是用 PromptHMR 在固定机位上重建的,而 Ours 的默认骨干也是 PromptHMR,可能天然对齐其坐标系与尺度约定;(3) 代理指标(YOLO11n-Pose 关键点、Mask2Former 掩码)只度量 2D 一致性,无法发现整组一致的深度/尺度错误;(4) K-Pop 广播是很特殊的域(舞台、灯光、队形编舞),向手持日常视频外推仍待验证;(5) 616 段仅用于评测且不重分发视频,社区复现该基准需按 URL 自行下载,长期可得性受平台政策影响。

独立分析的弱点

独立弱点与改进方向:(1) 单尺度刚性假设——同一镜头内摄影机推拉配合变焦(dolly-zoom)时,焦距误差驱动的尺度失配可能随时间变化,单一 $s^*$ 只能取平均;改进方向是拟合带时间正则的低自由度样条 $\{s_t\}$,用 PGO 的重投影项约束,避免重蹈 Table 7 时间变化尺度失稳的覆辙。(2) 静止区间检测依赖接触头——无接触预测的骨干需外挂模型(TRAM 借用 PromptHMR 的置信度),且接触置信度出错会把移动中的脚当静止,污染估计;可加入多模态校验(地面高度一致性、光流零位移验证)提高闸门可靠性。(3) 旋转误差闸门用固定噪声底 $θ_0=0.5°$ 与 $0.1θ$ 的线性模型,在极端变焦、运动模糊下可能低估误差;可换成 VO 自身的不确定性输出或学习式误差预测。(4) PGO 每序列 Adam 3000 次迭代(单张 A6000),比纯前向组合式方法慢一个量级,难以实时;可蒸馏成前向网络或以更优初始化减少迭代。(5) 校正只动整组平移、不修逐人深度误差,遮挡个体的失败(Figure 10)需要联合建模每人相机空间深度与共享尺度的可辨识性,或在遮挡期间用队形先验约束被遮挡者。(6) 验证规模偏小:用户研究 8 序列/34 人、参考集 11 对/78 人,统计功效有限;扩大多机位配对数据(如体育转播)能强化证据链。

未来方向

作者提出的方向:推动社区在高相机动态下做更广泛的评测与应用(编舞建模、场景编辑、虚拟重拍、数据生成),并用校正后的稳定重建为端到端世界空间方法收集训练数据。基于本文成果可延伸:(1) 把闭式尺度估计嵌入可微训练管线,端到端学习尺度一致的 VO+HMR 组合,让 $s$ 不再是后处理量而是模型内生的耦合变量;(2) 与度量深度基础模型(Metric3D 类)结合,把绝对深度用作 $s$ 的先验或交叉验证而非唯一来源,兼取两条路线之长;(3) 扩展到其他高动态域——体育转播(WorldPose 之运动分布)、无人机跟拍、手持 vlog——建立跨域压力测试族;(4) 时间变化尺度的稳定估计:分段常数 + 平滑先验 + 重投影一致性联合推断,突破每镜头单尺度限制并保住时序指标;(5) 遮挡下的个体深度修复:结合生成式补全或多人队形/编舞先验,在长遮挡期间约束被遮挡者位置;(6) 应用落地:用恢复的舞台级世界坐标直接做编舞迁移、虚拟机位重拍、以及作为 3D 数据引擎反哺端到端模型训练。

复现评估

复现评估:正文暂未附代码链接,但有项目主页(chien90190.github.io/worldhmr-fastcam-website/2026),并承诺发布数据集的 YouTube URL 与时间戳(不重分发视频,下载合规由用户自行保证)。所有组件均开源可得:ViPE、PromptHMR(-Vid)、TRAM、GVHMR、HAC、DROID-SLAM、DA3、SAM2.1、YOLO11(x/n-pose)、SPEC、TransNetV2、ViTPose、Mask2Former。附录 B/C 完整披露全部超参数:ViPE 关键帧间隔 0.1s、One Euro 滤波参数、PGO 七项损失权重与优化设置(Adam 3000 迭代、学习率 $10^{-2}$ 与 $5\times10^{-2}$)、接触阈值 $τ_c=0.5$、帧比例 $α=0.8$、信噪比闸门 $η=1.5$ 等,复现细节披露非常充分。算力需求温和:全部实验在单张 NVIDIA RTX A6000 上完成。难度评估:中等——若只为验证核心闭式校正,只需 VO + HMR + 少量后处理代码,工作量不大;若要完整复现 PGO 与全部评测(含配对参考集的人工时序配对、616 片段的下载过滤与穿梭测试筛选),需要可观的工程投入;K-Pop 数据依赖 YouTube 可得性,长期复现存在不确定性。

相似论文推荐