Sapiens2：面向以人为本视觉的高分辨率Transformer家族 Sapiens2
10亿人类图像+MAE-对比学习混合预训练的高保真人像视觉基础模型
前置知识
Masked Image Modeling (MIM) / MAE
MAE (He et al., 2022) 通过对输入图像随机遮蔽高比例（如75%）的patch后训练编码器-解码器重建被遮蔽像素。重建损失仅在被遮蔽token上计算，可学习到细粒度的底层细节；但因优化信号本质是'压缩'像素，它倾向于保留纹理而对高层语义建模较弱。
Sapiens2以MAE作为底层细节保真度的根基——没有它，模型在人像的唇部、牙齿、毛发等像素级精度要求高的密集预测任务上会显著退化，这是作者反复强调的'像素锚定'动机。
自监督对比学习 / DINO
对比学习通过拉近同图像不同增强视图的特征、推远不同图像的特征学习语义表征。DINO（Caron et al., 2021）使用学生-教师EMA网络，对[CLS]token做自蒸馏，能学到k-NN友好的判别性语义空间，但全局不变性目标在密集预测时倾向于抛弃颜色等外观线索。
Sapiens2继承DINOv3（Siméoni et al., 2025）的学生-教师对比框架来获得语义信息；理解二者的'全局语义 vs 细节'权衡是把握本文联合目标动机的关键。
Vision Transformer (ViT) 与高分辨率扩展
ViT将图像分块并线性嵌入为token序列，经多层多头自注意力堆叠建模全局关系。高分辨率（如1K、4K）下token数按面积平方增长，使标准全局注意力计算量爆炸；常见折中包括分组查询注意力(GQA)、窗口注意力(Win-SA)、分层架构(Hiera)等。
Sapiens2采用1K原生+4K分层架构是本文工程重头戏之一，读者需具备ViT基础和现代高分辨率注意力变体的知识才能理解4K backbone的设计动机。
FSDP / 大规模分布式训练
FSDP (Fully Sharded Data Parallel) 将模型参数、梯度、优化器状态在数据并行维度上分片，使训练超大模型的显存占用不再单卡瓶颈化。Sapiens2-5B借助FSDP+bfloat16+fused AdamW在A100集群上完成。
理解5B参数模型在A100上的可行性需要FSDP概念；这也是判断本文'可复现性'与'算力门槛'的重要参考。
密集预测 (Dense Prediction)
密集预测指对图像每个像素输出一个标签或数值的任务族，包括语义分割、深度估计、法线估计、关键点热图等。其性能上限往往取决于骨干网络保留空间细节的能力，decoder常采用pixel-shuffle、多尺度融合等结构上采样到输入分辨率。
本文五个下游任务（pose、part-seg、pointmap、normal、albedo）全部属于密集预测；理解'细粒度外观保留 vs 高层语义'的固有矛盾是阅读实验部分的关键。
研究动机
自监督视觉预训练存在两类方法学权衡。Masked Image Modeling (MAE) 优化像素重建，本质是种'压缩'，能学到纹理、边缘等底层细节，但对高层语义建模不足，零样本或少标签场景表现欠佳。Contrastive Learning (CL) 通过实例判别注入语义，但全局不变性目标往往侵蚀外观线索（特别是颜色），对需要像素级保真的人像密集预测有害。已有混合方案如iBOT、DINOv2/v-JEPA采用CL目标做隐空间对齐，但随模型规模扩大和激进增强，'表示漂移'(representation drift)愈发严重——teacher与student被解耦于真实观测，导致color等密集任务关键线索丢失，给照片级avatar重建等场景带来挑战。此外，先前以人为中心的视觉模型（HAP、SapiensID、LiftedCL、SOLIDER等）普遍在预训练阶段注入人工设计的人体先验（关键点引导mask采样、3D骨架对抗损失等），这种inductive bias在百万到亿级数据和模型规模下反而成为扩展性的瓶颈，难以在不引入新的'特定人'偏置前提下规模化。
本文的目标是本文的具体目标是构建Sapiens2家族——0.4B至5B参数的高分辨率视觉Transformer，专为以人为中心的视觉设计，沿三轴推进：第一，'任意人任务'——通过统一的预训练目标使同一骨干在零样本、少标签、全监督下都能迁移到pose、segmentation、pointmap、normal、albedo等多种任务；第二，'任意人图像'——10亿高质量、多样化的人像图像数据集Humans-1B用于无人工先验的纯数据驱动预训练；第三，'最高保真度'——1K原生+4K分层架构配合像素空间锚定的重建损失，输出最高FLOPs级别的视觉Transformer，在密集预测上保留像素级精度。
与已有工作不同的是，本文的独特切入角度在于将MAE（像素重建）与CL（语义自蒸馏）显式耦合而非在隐空间替代，从而让特征同时锚定于像素和语义。具体而言：'混合目标'层面，作者设计$L = \mathcal{L}_{\text{MAE}} + \lambda \mathcal{L}_{\text{CL}}$的两路联合损失，二者各司其职——MAE保证低层细节，CL保证高层语义；'架构层面'，4K版本采用分层Windowed-SA→全局Self-Attention结构，使patchify后的局部窗口处理再聚合到长程上下文，且与稀疏mask预训练天然兼容（mask只在局部阶段之后施加，避免信息跨mask泄漏）；'数据层面'通过多阶段过滤从~40亿图像中精选~10亿高质量人像，且不在预训练阶段使用任何任务标签或人体先验，仅以'至少一名显著人物'作为唯一约束；这些设计使Sapiens2在公开数据集下相对DINOv3-7B（6.71B）这一类基线以更小参数取得更优密集探测结果。
核心方法
Sapiens2的思路可直观理解为'两路并行的视觉预训练'。一条路是MAE——以像素重建作为锚定，强制网络保留纹理、颜色、几何等表观信息；另一路是基于DINOv3范式的对比自蒸馏，把图像视为语义判别题，通过学生-教师EMA网络鼓励相似语义聚集、相似外观聚合。两路损失加性合并，使得到的特征既保留像素级保真度又具备人类语义判别力。技术路线上：(1) 数据侧构建Humans-1B（~10亿张多阶段过滤人像）；(2) 网络侧设计0.4B~5B四档ViT变体，采用RMSNorm、RMSNorm替换LayerNorm、SwiGLU-FFN、PixelShuffle decoder等组件；(3) 训练侧联合优化$\mathcal{L} = \mathcal{L}_{\text{MAE}} + \lambda \mathcal{L}_{\text{CL}}$，多视图(2全局+4局部)+混合mask；(4) 推理侧在同一冻结骨干上轻量head微调五类下游任务。
核心创新点是与现有'纯对比'或'纯重建'方法在'像素-语义'轴上的本质区别。MAE类(Sapiens-1)在颜色和纹理上极强但少语义；DINOv2/v-JEPA类在CL隐空间做对齐，但隐空间目标存在'representation drift'——teacher与student被激进增强解耦于真实观测，吞噬了颜色等密集任务关键线索。DINOv3虽scaled up到7B仍不例外。本文的本质区别是：把CL的语义目标与MAE的像素重建目标显式加性合并而非替换，让两者'各管一面'——$\mathcal{L}_{\text{MAE}}$约束像素级保真度、$\mathcal{L}_{\text{CL}}$约束跨视图语义不变性，最终得到的是'双重锚定'特征空间。第二个新颖之处在于4K backbone的分层设计：局部Windowed-SA→[CLS]引导的spatial pooling→全局Self-Attention，且mask在局部阶段之后施加，避免卷积类backbone所需的masked convolution来防止信息跨掩码泄漏。
方法步骤详情
方法六步。(1)数据：~40亿web图多阶段过滤得~10亿Humans-1B。(2)多视图：每图V视图patchify为N token。(3)MAE：混合blockwise(0.4)/patchwise采mask r=0.75；encoder处理visible V_i，scatter后decoder重建；L_MAE=(1/V)·Σ_i Σ_p‖x̃_p-x̂_p‖²。(4)CL：student-teacher EMA，[CLS]经Φ_cls映射K维logits；正样本对S含全局-全局与全局-局部，L_CL=(1/|S|)·Σ_(i,j)∈S H(q_j,p_i)，H交叉熵。(5)L=L_MAE+λ·L_CL，λ=0.4。(6)后训练冻结骨干：pose 308-keypoint heatmap+MSE；seg 29类weighted CE+Dice；pointmap focal-normalized XYZ+scale；normal含PixelShuffle；albedo含均值对齐。优化fused AdamW(lr=1e-4, 500k iter+cosine)。
技术新颖性
技术新颖性体现在四点：(1)'双重锚定'——L_MAE + λ·L_CL联合loss把像素重建与隐空间语义自蒸馏并联而非替代，不在全局视图施加color jitter以最大化色彩信号。这区别于CMAE等早期组合——后者主要在classification评估，本文扩大到五类密集任务且billion-scale。(2) Humans-1B设计哲学：唯一约束'至少一名显著人物'，预训练阶段不允许注入keypoint/3D skeleton人先验，放弃SOLIDER/LiftedCL/HAP的handcrafted prior路线。(3) 4K分层'windowed-SA→pool→global-SA'流水，pooling由[CLS]引导，对局部阶段后mask使模型无需masked convolution即可避免跨mask泄漏。(4) 稳定性套件：RMSNorm替LayerNorm、QK-Norm长训练稳定、GQA提升吞吐、SwiGLU-FFN提升参数效率、PixelShuffle避免反卷积checkerboard artifact。
![k-NN comparison using [CLS] token](/papers/2604.21681/images/figure_2.jpg)
实验结果
密集探测(Table 2)冻结骨干+同超参decoder下，Sapiens2-0.4B(0.39B)与DINOv3-L(0.34B)五任务打平或领先；Sapiens2-1B(1.46B)一致超DINOv3-H(0.88B)与Sapiens-2B(2.16B)；Sapiens2-5B获pose mAP 74.7(+6.5 vs DINOv3-7B)、seg mIoU 69.6(+2.0)、pointmap L2 0.358(-0.04)、normal 13.5°(-0.7°)、albedo 3.12(-0.36)。下游对比：pose 11K 82.3 mAP(+4.0 vs Sapiens-2B)；seg 5K 82.5 mIoU(+24.3)；pointmap 10K 0.167 L2 vs MoGe 0.202(-0.035)；normal 10K 6.73° vs DAViD-L 10.73°(-37%)；albedo 5B 0.0119 MAE / 32.61 PSNR。Fig.1展示对lip等稀疏类细致分割与面部/毛发细节保留；Table 8按部位pose显示五部位全部领先。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 密集探测 Pose (11K) | mAP | 74.7 (Sapiens2-5B) | DINOv3-7B 68.2 / Sapiens-2B 63.4 | +6.5 vs DINOv3-7B, +11.3 vs Sapiens-2B |
| 密集探测 Segmentation | mIoU (%) | 69.6 (Sapiens2-5B) | DINOv3-7B 67.6 / Sapiens-2B 65.1 | +2.0 vs DINOv3-7B, +4.5 vs Sapiens-2B |
| 密集探测 Albedo | MAE (×10⁻²) | 3.12 (Sapiens2-5B) | DINOv3-7B 3.48 / Sapiens-2B 3.72 | -0.36 vs DINOv3-7B, -0.60 vs Sapiens-2B |
| Pose Estimation (11K test) | mAP | 82.3 (Sapiens2-5B) | RTMW-X 70.2 / Sapiens-2B 78.3 | +4.0 vs Sapiens-2B, +12.1 vs RTMW-X |
| Body-Part Segmentation (5K test) | mIoU / mAcc | 82.5 / 91.1 (Sapiens2-5B) | Mask2Former 48.7/71.5 / Sapiens-2B 58.2/77.2 | +33.8 mIoU vs Mask2Former, +24.3 vs Sapiens-2B |
| Pointmap (10K test, focal-normalized) | L2 / RMSE | 0.167 / 0.443 (Sapiens2-5B) | MoGe 0.202/0.486 / VGGT 0.217/0.515 | -0.035 L2 vs MoGe, -0.050 vs VGGT |
| Normal (10K test, 4K GT) | Mean Angular Error (°) | 6.73 (Sapiens2-5B) | DAViD-L 10.73 / Sapiens-2B 12.38 | -4.0° vs DAViD-L, -5.65° vs Sapiens-2B |
| Albedo (10K synthetic test) | MAE / PSNR | 0.0119 / 32.61 dB (Sapiens2-5B) | Sapiens-1B*/ECCV24 n/a; smaller variants 0.0183/29.7 | +2.9 dB PSNR vs Sapiens2-0.4B; 是该基准公开SOTA |
局限与改进
作者在论文中较少直接讨论局限性，但存在以下局限：(1) Sapiens2-5B主要在in-the-wild人像占优，对通用（非人物）图像的零样本迁移能力未与DINOv3等模型在ImageNet/COCO等bench上充分比较；(2) pointmap/normal/albedo的10K评估集是photorealistic synthetic渲染，与真实在野图像之间存在domain gap；(3) 308-keypoint pose采用top-down流程，对多人重叠遮挡场景天然受限——top-down范式依赖外部bounding-box检测器；(4) '11K in-the-wild test'标注由作者自身标注，与社区标准bench的可比性受限；(5) 5.07B参数+~10亿图像使普通研究组难以复现。我自己的观察包括：(6) 类内长尾（如纹身、严重遮挡、多文化服饰）的细分表现未单独披露；(7) Sapiens2主要面向RGB单图，未涉及多视角融合、视频时序或事件相机等其他模态扩展。
独立分析的弱点
独立分析可见以下弱点及改进方向：(1) 训练数据高度专精化人像——Humans-1B的'至少一名显著人物'约束使模型在非人图像上明显偏置，缺少与general-purpose模型的零样本迁移对比，改进方向为混合适量自然场景图像以维持通用性；(2) pointmap/normal/albedo的GT来自synthetic渲染，synthetic-to-real的domain差距未量化，改进方向为引入real-scanned人像数据集(如THuman、AGORA)；(3) 308-keypoint vocabulary与COCO/CrowdPose/Whole-Body 133等社区标准不完全对齐——研究者复用困难，改进方向为提供keypoint vocabulary映射表与迁移工具；(4) 5B参数+~10亿图像使普通研究组难以复现，改进方向为发布knowledge-distilled 0.1B/0.3B小型变体并提供ONNX/TensorRT推理格式；(5) 4K backbone仅做了seg/normal两个任务的后训练，改进方向为系统化4K后训练管线覆盖全部五任务。
未来方向
作者明确提出沿更高分辨率、更多任务、更强基础模型继续扩展。基于本文成果可延伸的研究方向包括：(1) 更高分辨率扩展——把分层架构推广到8K，对应agricultural inspection、远程医疗等需要厘米级精度的应用；(2) 视频时序建模——建立Sapiens3D-time，处理动作识别、视频avatar、动态化重建任务；(3) 多模态扩展——将图像骨干与语言模型联合训练，构造可接受文本指令的人像分析助手；(4) 扩散模型后端结合——Sapiens2-1B-4K的pixel-true normal可作Stable Diffusion类生成模型的几何条件信号，构造photos-consistent人像生成；(5) 真实世界三维重建——与Gaussian Splatting、NeRF结合，从单图获得可重新打光的三维avatar；(6) 跨文化与少数群体公平性——发布demographic-aware的评测基准；(7) 自适应推理——根据输入复杂度动态选择0.4B/1B/5B的cascade以降低mean inference cost。
复现评估
复现评估偏中等难度。开源情况：项目主页https://github.com/facebookresearch/sapiens2公开，但未明确所有checkpoint是否全部放出；附录披露关键超参(AdamW lr=1e-4 wd=0.05 500k iter, MAE:CLS:KoLeo=1.0:0.4:0.04, teacher EMA=0.992, 1024×768/4096×3072)。数据：Humans-1B为Meta专属未承诺公开；pointmap/normal/albedo 10K评测集为自建synthetic，pose/segmentation标注由Meta人工完成。算力：训练用A100 FSDP+bfloat16+fused AdamW，5B+500k iter需相当规模集群(估算~50-100张A100 80GB+≥2周)；单卡不可行；5B推理需≥24GB显存。复现分层：易——loss形式、数据管线、小模型；中——后训练head与评测；高难——5B端到端与Humans-1B重建。社区可在1B规模有效验证思想，5B全量依赖Meta权重发布。
论文图表
