← 返回 2026-08-24

基础模型时代的以人为中心智能：全景综述 Human-Centric Intelligence in the Era of Foundation Models: A Survey

Yang Chen, Tianqi Wang, Xiaorui Jiang, Yilei Man, Yihua Shao, Mengyuan Liu, Zhi Chen, Xiaofeng Cao, Qibin Zhao, Chi Harold Liu, Albert Y. Zomaya, Nicu Sebe, Jingren Zhou, Dacheng Tao, Song Guo, Jingcai Guo 📅 2026-08-18 👍 9 2026-08-29 18:30
世界模型 交互建模 人体感知与生成 以人为中心智能 具身智能 基础模型 综述
arXiv HuggingFace PDF

提出六层级人类情境分类法，系统梳理基础模型时代以人为中心智能的方法、数据与评测。

前置知识

基础模型（Foundation Model）

在大规模数据上预训练、可跨任务迁移的大容量模型，典型代表是大语言模型（LLM）、视觉语言模型（VLM）、扩散视频生成模型等。它们提供可复用的骨干网络、多模态接口和通用先验，下游任务通常通过微调（如 LoRA 参数高效微调）、指令微调或提示工程来适配。基础模型时代的关键特征是：大规模预训练、可复用骨干、跨任务跨领域的可迁移性。

整篇综述的核心论题就是基础模型范式如何重塑以人为中心的各个研究方向，全文按此视角重新组织文献。

参数化人体模型（SMPL/SMPL-X）

用低维参数（体型参数 $\?eta$、关节姿态参数 $\ heta$、表情参数等）显式表示可变形人体网格的统计模型。SMPL 覆盖裸体身体，SMPL-X 扩展到手部与面部，实现全身表达。给定参数即可前向计算顶点位置，因此'人体网格恢复'任务就是从图像/视频回归这些参数，是空间几何层的主流范式。

空间几何层的代表方法（SMPLer-X、SMPLest-X、SAM 3D Body 等）都以恢复 SMPL-X 参数为目标，理解该模型才能读懂网格恢复、化身建模的评测指标（MPJPE、PA-MPJPE、MPVPE）。

迭代生成架构（扩散与流模型）

不直接一步预测输出，而是从噪声初态 $y^{(0)}\sim p_0$ 出发，通过 $K$ 步迭代变换 $y^{(k+1)}=G_\theta(y^{(k)},\tau_k,x,c)$ 逐步逼近目标分布。扩散模型做反向去噪，流模型学习连续向量场搬运分布。代表设计包括 LDM、DiT、MM-DiT。生成质量高但推理需要多步采样，代价高于单步前馈映射。

这是综述归纳的四大计算架构范式之一（IGA），人体图像/视频/动作/交互生成的主流方法（CosmicMan、OmniAvatar、Kimodo 等）几乎都属此类。

自回归序列建模

把输出 $y=(y_1,\dots,y_T)$ 视为有序序列，将条件分布分解为 $p_\theta(y\mid x,c)=\prod_{t=1}^{T}p_\theta(y_t\mid y_{<t},x,c)$，逐 token 预测。LLM 与多模态大模型均属此类；在本文中，文本、离散化动作、人体运动、机器人控制信号都可被 token 化后用下一词预测统一建模，擅长捕捉长程依赖与变长结构化输出。

这是四大架构范式中的 SFA，运动-语言模型（MotionGPT、Being-M0）和人形控制（GPC）等大量工作依赖它，是理解'运动能否被 token 化'这一讨论的前提。

世界模型

学习'动作→环境状态转移'的预测模型：给定当前状态与候选动作，预测未来观测或潜在状态 $p(s_{t+1}\mid s_t, a_t)$，从而支持推演、轨迹评估与规划。区别于只做视觉上合理的视频续写，可行动的世界模型要求预测对干预可靠响应、能区分因果变化与无关视觉变化。

世界模拟层与第八章未来方向的核心概念；文中反复强调'感知保真度不等于决策效用'这一开放问题。

视觉-语言-动作模型（VLA）

将视觉感知、语言理解与动作生成统一在一个预训练模型中的具身智能架构，通常先在视觉-语言或人类行为数据上预训练，再在机器人数据上适配。代表如 GR00T N1（2.2B 参数、8.4K 小时数据）与 Being-H0 系列，目标是让单一策略跨任务、跨具身体执行指令。

具身代理层的两条主线——通用人形控制与人到机器人技能迁移——都以 VLA 式的规模化预训练为核心手段。

研究动机

以人为中心的智能研究长期处于碎片化状态：姿态估计、动作识别、人体运动与视频生成、人-物交互（HOI）等方向各自为政，各自的综述（如姿态估计、动作识别、HOI 专题综述）都只围绕单个任务组织文献，不同人类情境与方法论之间的内在联系基本无人梳理。更关键的是，除 HOI 综述外，这些综述的中心仍是传统深度学习范式，基础模型时代（大规模预训练、可复用骨干、多模态接口、跨任务迁移）并不是它们的叙事核心。近期唯一一篇尝试综述人类基础模型的工作覆盖面也较窄，主要停留在'人本身'而未延伸到交互、世界模拟与具身执行。与此同时，自动驾驶、辅助系统、数字人等应用恰恰需要跨越外观、几何、运动、交互、世界预测与动作执行的完整能力链，单点视角的方法论已经无法支撑这种整合需求，实践者在海量文献中也缺乏统一参照系。

本文的目标是本文要做该领域第一篇全谱系综述：首先建立一个'人类情境分类法'，把以人为中心的智能组织为六个相互关联的层级——视觉外观、空间几何、运动动力学、交互建模、世界模拟、具身代理，并以三个互补视角（可观察主体、动态行动者、情境化代理）贯通；其次总结方法论基础，包括五大数据信号族、四大计算架构范式以及七类训练机制与五类推理优化策略；然后在分类法指引下系统评述各层级代表性方法，并整理数据集、基准与评测指标；最后讨论可扩展、可信、物理落地、可部署的开放挑战，并公开持续更新的文献资源库，为后续研究提供一致框架与实用参考。

与已有工作不同的是，已有综述要么按任务（姿态、动作识别、HOI）、要么按架构或应用组织文献，本文的独特切入点是按'人类情境'（context，即建模人类时所覆盖的范围）来分层：把人依次视为可观察的主体（外观+几何）、动态的行动者（运动+交互）、情境化的代理（世界模拟+具身执行），形成一个从'看到人'到'预测人与世界共同演化'再到'把人类经验转化为可执行行为'的递进谱系。对跨层级方法，按主要建模目标与评测目标归属主层级。这一定位使它能够横向对比六个层级共享的数据族、架构范式与训练/推理策略，揭示传统任务视角看不到的方法论共性（例如同一套 SMA/SFA/IGA/HA 架构与指令微调、蒸馏机制如何贯穿感知与控制），这是以往任何单任务综述都无法提供的。

核心方法

可以把这篇综述想象成一张'以人为中心智能'的地图：先画地形分区（分类法），再标注各地通用的基建（方法论基础），然后逐区导览（六层级方法评述），最后附上补给点索引（数据与评测）。直觉上，作者认为'研究人'的方式取决于你把人放进多大的情境里：只在图像里看人，是视觉外观层；把人还原成 3D 身体结构，是空间几何层；追踪身体随时间的演化，是运动动力学层；把物体、场景、他人纳入建模，是交互建模层；预测人的行为如何改变世界状态，是世界模拟层；把人类经验转化为可执行的物理控制，是具身代理层。技术上，综述先用三章搭框架：第 2 章定义六层级与三个视角；第 3 章梳理五大数据信号族（视觉成像、空间结构、感知运动、无线测距、语言声学）、四大架构范式（单步映射 SMA：$y=F_\theta(x,c)$；序列分解 SFA；迭代生成 IGA；混合架构 HA）以及 7 种训练机制和 5 种推理优化；第 4–6 章按层级评述方法，每个方法标注发表 venue、模态、数据规模、模型规模、训练/推理机制与架构类别；第 7 章把数据集基准归为人体、动力学、交互、具身四组，并把指标归纳为重建、语义、生成、交互、效率五大族；第 8 章给出六大开放方向。

全文最核心的创新是'人类情境分类法'（human context taxonomy）及其带来的跨层级统一视角。与按任务或按架构切分的已有综述本质不同，它主张：六个层级不是并列的任务清单，而是建模范围递进扩张的连续谱——从可观察属性（外观、几何），到时间与关系（运动、交互），再到世界与行动（模拟、执行）；三个视角（可观察主体、动态行动者、情境化代理）把六个层级串成一个关于'人'的完整故事。基于这个分类法，综述做出一个统一判断：基础模型时代的特征不是模型更大，而是一组可跨层级复用的方法论迁移——可扩展的人类数据（合成数据、自我中心视频）、可复用先知（人群级预训练、摊销式前馈重建）、多模态接口（指令、语言对齐的运动/姿态 token）、可迁移能力（跨任务、跨模态、跨具身）。每个层级评述都以'Trend/Open Problem'框收尾，把分散进展提炼成层级内趋势（如化身建模'从单主体拟合到人群级先知'、运动建模'从 token 化到可迁移时间智能'），并暴露共性矛盾：语义合理性不等于度量精度，视觉规模不等于时间保真，预测保真不等于决策效用。

方法步骤详情

综述的推进分五步。第一步（Sec. 2）定义分类法：三个视角、六个层级及各层概念范围与代表任务，如外观层含通用感知/身份识别/可控生成，交互层按关系对象分为 HOI、HSI、社交交互。第二步（Sec. 3）梳理方法论基石：五大数据信号族及其采集机制与局限；四大架构范式的形式化定义——SMA：$y=F_\theta(x,c)$；SFA：$p_\theta(y\mid x,c)=\prod_{t=1}^{T}p_\theta(y_t\mid y_{<t},x,c)$；IGA：$y^{(k+1)}=G_\theta(y^{(k)},\tau_k,x,c)$；HA：多个机制 $F^{(m)}_{\theta_m}$ 的输出经 $C_\phi$ 融合；七种训练机制（从头训练、全参/参数高效/指令/奖励微调、蒸馏、任务头微调）与五种推理优化（语义增强、引导采样、迭代精化、偏好选择、检索增强）。第三步（Sec. 4–6）逐层评述方法，每项标注 venue、模态、数据规模、模型规模、训练/推理机制与架构类别。第四步（Sec. 7）按人体、动力学、交互、具身四组整理数据集与基准，并把指标归纳为重建、语义、生成、交互、效率五大族并附公式。第五步（Sec. 8）给出六大未来方向。

技术新颖性

与已有工作的区别体现在三点。其一，覆盖面：这是首个把视觉外观到具身代理六个层级连成全谱系的综述，此前的姿态估计、动作识别、运动/视频生成、HOI 综述都只覆盖单点，2025 年那篇人类基础模型综述（文中引文 [308]）范围也限于'人本身'。其二，组织轴：不按任务、不按架构，而按'人类情境'分层，并辅以统一的方法论坐标系（模态×数据规模×模型规模×训练机制×推理机制×架构范式），使跨领域的 Sapiens（感知）、SMPLest-X（几何）、Being-M0（运动）、GR00T N1（控制）可以在同一张表里比较其规模化策略。其三，资源工程：公开发布持续更新的人类中心 AI 文献与资源库，并配套五族指标的形式化汇总（Table 10 给出 MPJPE、FID、FVD、Contact F1、Success Rate 等数十个指标的公式与优化方向），这种'分类法+方法论坐标系+活资源'的组合在同类综述中是独一份。

Representative task families and selected works across the six human context levels.
Figure 3: Representative task families and selected works across the six human context levels.
Computational architecture paradigms.
Figure 5: Computational architecture paradigms.
Overview of visual appearance in human-centric intelligence.
Figure 6: Overview of visual appearance in human-centric intelligence.
Overview of spatial geometry in human-centric intelligence.
Figure 7: Overview of spatial geometry in human-centric intelligence.
Overview of kinematic dynamics in human-centric intelligence.
Figure 8: Overview of kinematic dynamics in human-centric intelligence.
Overview of interaction modeling in human-centric intelligence.
Figure 9: Overview of interaction modeling in human-centric intelligence.
Overview of world simulation in human-centric intelligence.
Figure 10: Overview of world simulation in human-centric intelligence.
Overview of embodied agency in human-centric intelligence.
Figure 11: Overview of embodied agency in human-centric intelligence.

实验结果

作为综述，其'结果'是跨层级综合出的规律性发现。第一，各层级呈现同构的基础模型化迁移：感知层 Sapiens 以 3 亿人体图像训练 0.3B–2B 参数 ViT 统一姿态/解析/深度/法向密集预测，Sapiens2 扩展到 10 亿图像、0.4B–5B 参数；几何层从 SMPLer-X 的 450 万实例扩展到 SMPLest-X 的 1000 万实例（687M 参数）；化身建模从单主体优化转向摊销前馈重建（LHM 30.1 万视频、SIGMAN 百万级资产 2B 参数）；运动数据从 HumanML3D 的 28.6 小时跃升至 OpenT2M 2.8K 小时、HuMo100M 500 万条，模型最大 13B（Being-M0）；动画层 OmniHuman-1.5 用 1.5 万小时，OmniAvatar/HuMo 达 14B–17B；控制层 GR00T N1 以 8.4K 小时训练 2.2B 参数通用策略；技能迁移层 DreamDojo 用 4.4 万小时自我中心视频。第二，规模不是万能药：Sapiens 表明人体专用数据与高分辨率建模不可替代，DAViD 证明合成数据可低成本训练深度/法向预测器，运动规模化依赖监督质量而非数据量，视频骨干变大不保证动力学可靠（身份漂移）；语义先知≠度量精度、通用语义≠接触约束、预测保真≠决策效用、人类观察≠机器人动作。第三，评测碎片化是最大短板，作者呼吁基准套件与结构化评测画像。

Representative methods for visual appearance and spatial geometry in human-centric intelligence.
Table 1: Representative methods for visual appearance and spatial geometry in human-centric intelligence.
Representative methods for kinematic dynamics in human-centric intelligence.
Table 2: Representative methods for kinematic dynamics in human-centric intelligence.
Representative methods for interaction modeling in human-centric intelligence.
Table 3: Representative methods for interaction modeling in human-centric intelligence.
Representative methods for world simulation and embodied agency in human-centric intelligence.
Table 4: Representative methods for world simulation and embodied agency in human-centric intelligence.
Representative datasets and benchmarks for renderable human geometry in human-centric intelligence.
Table 5: Representative datasets and benchmarks for renderable human geometry in human-centric intelligence.
Representative datasets and benchmarks for human kinematic motion modeling in human-centric intelligence.
Table 6: Representative datasets and benchmarks for human kinematic motion modeling in human-centric intelligence.
Unified notation for the evaluation metrics summarized in Table 10.
Table 9: Unified notation for the evaluation metrics summarized in Table 10.
Representative human subject resources in human-centric intelligence.
Figure 12: Representative human subject resources in human-centric intelligence.
Representative human dynamics resources in human-centric intelligence.
Figure 13: Representative human dynamics resources in human-centric intelligence.
Representative human interaction resources in human-centric intelligence.
Figure 14: Representative human interaction resources in human-centric intelligence.
Representative human embodiment resources in human-centric intelligence.
Figure 15: Representative human embodiment resources in human-centric intelligence.
查看结构化数据
任务指标本文基线提升
通用人体密集感知（姿态/解析/深度/法向） 训练数据规模 / 模型规模 Sapiens2：10 亿人体图像，0.4B–5B 参数 Sapiens：3 亿人体图像，0.3B–2B 参数 数据约 3.3×、模型上限约 2.5×，密集预测范围与精度进一步提升
全身网格恢复（SMPL-X） 训练实例数 SMPLest-X：1000 万实例，687M 参数 SMPLer-X：450 万实例，32M–662M 参数 语料规模翻倍以上，跨数据集迁移能力增强
文本到动作生成 运动数据规模 OpenT2M 2.8K 小时；HuMo100M 500 万条动作；Motion-X++ 1950 万帧 HumanML3D：28.6 小时 数据规模提升 2–3 个数量级，长序列与复杂指令覆盖显著扩展
音频驱动数字人动画 训练时长 / 模型规模 OmniHuman-1.5：1.5 万小时；OmniAvatar：14B 参数 早期管线式说话人头像模型 半身/全身一致性与表现力大幅提升，支持长时程生成
通用人形机器人控制 数据 / 参数规模 GR00T N1：8.4K 小时数据，2.2B 参数 单技能强化学习控制器（如 MaskedMimic 类） 从孤立技能走向可跨任务泛化的基础策略
人到机器人技能迁移 自我中心人类视频规模 DreamDojo：4.4 万小时；EgoScale：2.08 万小时 昂贵且狭窄的机器人遥操作轨迹数据 以人类视频为可扩展具身监督，下游操作性能随人类数据规模提升

局限与改进

作者明示的边界：范围上排除了人机交互（HCI）、面向人的语言建模与以人为中心 AI 的政策研究，六个层级虽 interconnected 但仍以视觉为默认入口；综述自评各层级的连接仍不完整——跨情境的人体一致性、物理约束、可执行行为迁移都未解决，这也是其第六章的出发点。我自己的观察：其一，层级归属规则（按主要建模目标与评测目标）在实践中相当主观，例如 InterPrior 做物理控制却被归入 HOI 层，跨层级方法的归类可能引发争议；其二，综述以定性叙述为主，缺少定量元分析——各层级的'数据规模 vs 性能'曲线、失败模式分布都没有被画出来，规模化的结论多依赖原文自报；其三，方法表格虽标注了数据/模型规模与训练推理机制，但同一层级内方法没有统一基准上的横向对比，读者仍需回原文核对指标；其四，该领域迭代极快（大量 2026 年 venue 引用），纸质定稿必然滞后，价值高度依赖其持续更新的项目页；其五，对失败案例与负结果的收录很少，'哪些路线走不通'这一对研究者同样关键的信息基本缺失。

独立分析的弱点

弱点一：广度与深度不可兼得——多数方法仅一两句话描述，工程师难以据此判断是否适用于手头任务。改进：为每层级配套深入阅读路线图，或在项目页按任务维护 leaderboard，把定性综述变成可操作的选型工具。弱点二：分类边界主观性强，如 InterPrior 做物理控制却归入 HOI 层、交互建模与世界模拟之间（EgoExo-WM 评测候选动作却归入世界模拟）界线模糊，不同读者可能得到不同归类。改进：采用多标签标注并给出归属置信度，公开标注协议接受社区修订。弱点三：缺乏定量综合——综述断言'规模不万能'，却从未跨研究汇总数据量、参数量与性能的关系，无法回答'多少数据才够'。改进：以 Table 1–4 的结构化字段为基础做回归/散点分析，产出各层级的经验 scaling 曲线。弱点四：评测碎片化被正确诊断，但综述本身没有提供哪怕一个最小可用的统一评测协议原型。改进：发布包含任务套件、指标实现与一致性检查的开源评测 harness。弱点五：资源覆盖偏向 CVPR/NeurIPS 等学术渠道，工业界量产系统仅通过零星预印本进入视野。改进：增加对产品化系统技术报告的追踪通道。

未来方向

作者提出六大方向：一是可扩展且可信的人类数据——建立区分数量与质量的数据 scaling law、真-合成混合的对照研究、贯穿预训练与适配的可追溯授权（provenance/consent）；二是统一的人类中心基础模型——在共享表示空间中联合预训练，使从可观察人体学到的知识能服务行为、交互与具身建模，判据是少适配即跨情境迁移且无负迁移/灾难遗忘；三是下一代人体表示学习的物理接地——把物理信息学习、可微仿真与生物力学测量内置到表示学习中，而非作为事后约束；四是以人为中心的世界模型与行动智能——联合预测动作后果与环境演化，文中提及 HumanCLAW 显示当前 VLM 难以追踪自己的身体与动作后果，ComBodied Agents 用'个人世界模型'比较不同干预下的人类轨迹；五是面向泛化与能力整合的评测——从孤立指标走向基准套件与结构化评测画像，把预测质量与规划/闭环表现挂钩；六是高效、模块化、可部署系统——用智能体化工具编排替代单体模型，处理路由可靠性、时延、隐私与误差传播。基于成果的延伸：跨层级迁移基准、人类数据授权合规基础设施、覆盖文化差异的社交交互基准、时延受限的端侧人体感知架构。

复现评估

这是综述，本身无需复现实验，其'可用性'体现为资源工程：论文公开了 GitHub 仓库（Human-Centric AI Resources）与持续更新的项目主页，配套 Table 1–8 提供每个方法的 venue、模态、数据规模、模型规模、训练/推理机制、架构类别及论文/主页链接，数据集表给出规模、主体数、采集来源与下载入口，可作为文献调研与选型的起点，使用门槛低。但若想复现其中任何单个方法，门槛差异巨大：感知/几何类（Sapiens 2 的 10 亿图像与最高 5B 参数、SMPLest-X 的 1000 万实例）需要大规模数据管线与多卡 A100 级算力；视频动画与世界模型类（OmniAvatar 14B、LOME 14B）通常基于闭源或大参数视频底座微调，复现成本极高；技能迁移类依赖昂贵的自我中心采集或仿真环境。对实践者的建议是：把本综述当索引用——先按分类法定位层级，再用表格筛选与自己数据/算力匹配的方法与数据集，最后回到原文核对统一指标（Table 10 提供了各指标的公式以便对齐实现）。

论文图表

Outline of the survey.
Figure 1: Outline of the survey.

综述结构总览图：顶部展示论文六大板块（Human-Centric AI 引言、Human Context 分类法、Preliminary 方法论基础、Main Body 六层级方法、Data & Metric、Future Trend）与对应章节号，底部图示六层级（外观、几何、动力学、交互、世界、具身）与评测主题（感知/生成/重建等）的关系。

一眼看清全文骨架与六层级、三大基础（数据/架构/优化）的对应关系，是阅读前的导航图。

Figure 2: Full-spectrum human context taxonomy for human-centric intelligence.

分类法核心图：横轴六个层级（Visual Appearance、Spatial Geometry、Kinematic Dynamics、Interaction Modeling、World Simulation、Embodied Agency），每层配示意图片与一句话定义（人长什么样/身体 3D 结构/如何运动/如何交互/如何预测世界/如何行动），并按三个视角（可观察主体、动态行动者、情境化代理）分组。

这是全文最重要的图，定义了组织所有文献的六层级分类法，理解它才能理解后续所有章节的编排逻辑。

Figure 4: Human-Centric Data and Signal Families.

五大数据信号族图示：视觉成像（外部/自我中心 RGB、红外热成像、事件相机）、空间结构（深度、法向、关键点骨架、SMPL-X、点云、3DGS）、感知运动（注视、惯性、动作轨迹、控制信号、触觉、生理信号）、无线测距（WiFi、雷达、激光雷达）、语言声学（文本、音频），每类配示例图像。

定义了领域的数据基建，理解各模态的采集方式与局限是理解'数据规模化'这一核心议题的前提。

Table 7: Representative datasets and benchmarks for egocentric procedural activity modeling in human-centric intelligence.

自我中心程序性活动数据集表：Ego4D（3.6K 小时/931 主体）、EPIC-KITCHENS-100（100 小时）、Ego-Exo4D（1.2K 小时/740 主体）、Nymeria（300 小时/264 主体）、EgoVid-5M（500 万视频）等 21 个资源，含 QA 与主动规划型基准。

自我中心视频既是交互理解也是具身迁移的数据源头，该表覆盖了当前最重要的第一人称资源。

Table 8: Representative datasets and benchmarks for transferring human experience to embodied agents.

人→机器人迁移数据表：EgoVerse（1.36K 小时/2K 主体）、EgoDex（829 小时）、OpenEgo（1.1K 小时/258 主体）、HRDexDB（2400 万帧跨具身抓取）、HandEdit（2 亿实例人-机器人编辑）等 11 个资源，标注模态与场景。

回答'用人类数据训练机器人有哪些数据可用、规模多大'，是评估具身迁移可行性的关键参考。

Table 10: Summary of representative evaluation metrics for human-centric intelligence.

全领域评测指标汇总表：按五大族组织——重建（MPJPE、PA-MPJPE、MPVPE、Chamfer、LPIPS）、语义（mAP、IoU、CMC、R-Precision、CLIP 相似度）、生成（FID、FVD、FGD、Diversity、1-NNA、Sync-C、Foot Skating、身份相似度）、交互（Contact F1、穿透深度、成功率、回报、MOS）、效率（FPS、延迟、FLOPs、显存），每项给出公式与含义。

这是全文最具工具价值的一张表：把分散在各任务论文里的指标统一成带公式与优化方向的速查手册。