TAIHRI：面向近距人机交互的任务感知3D人体关键点定位 TAIHRI: Task-Aware 3D Human Keypoints Localization for Close-Range Human-Robot Interaction

完整方法分六阶段。**Stage 1 数据准备**：从AMASS采样motion sequence，用SMPL-X在Blender渲染normal map，相机距离0.5-3m随机化；用SDXL把normal map合成photo-realistic图像；用SAM3过滤IoU<0.9的样本，用VitPose过滤2D reprojection error>15像素的样本，得到CloseHRI（约100万张）。再融合BEDLAMv1/v2、PDhuman数据集，过滤平均深度>3m的样本，最终训练集约120万张。**Stage 2 输入处理**：图像resize使焦距统一为 $f=1000$，prompt从prompt bank中50%采样+50%默认prompt（让模型定位1-6个关键点），相机内参 $(f, c_x, c_y)$ 作为文本token输入。**Stage 3 SFT**：Qwen3-VL 4B/2B微调，batch=4，lr=2e-5，5 epoch，token-level交叉熵损失。**Stage 4 RFT**：GRPO rollout size=8，KL系数 $\beta=0.01$，batch=32，lr=1e-6，5 epoch，奖励 $r=\lambda\exp(-\tau d) + (1-\lambda)\frac{1}{|\mathcal{V}|}\sum_{j\in\mathcal{V}}\mathbb{I}(d_j<\kappa)$。**Stage 5 推理**：图像+VLM编码→autoregressive生成关键点名+2D像素+3D voxel→反量化到metric camera坐标。**Stage 6 下游**：3D关键点可作为anchor做global mesh recovery，或直接喂给IK做机器人控制。

技术新颖性体现在四个层面。**层面一：任务感知范式**。SAM 3D Body等现有方法无差别输出全身22点，本文通过prompt动态选择1-6个task-relevant点，是首个把'任务条件'显式建模进3D关键点定位的工作。**层面二：近距场景适配**。通过焦距统一 + 主点random crop的intrinsic-conditioned augmentation（参考DepthLM），避免训出相机参数adapter的过拟合问题，让单一模型适配不同内参。**层面三：2D-as-CoT推理**。把2D keypoint作为3D推理的intermediate reasoning step，Table 3验证可带来33mm的G-MPJPE下降，这是把chain-of-thought从NLP迁移到3D vision的成功案例。**层面四：GRPO奖励设计**。奖励组合Huber-style平滑项 $\rho_\delta(d)$ 和PCK-style成功项 $\mathbb{I}(d_j<\kappa)$，比直接MSE更适合RL训练（Table 3显示用RMSE会导致G-MPJPE飙升至795.24mm，因为MSE对outlier敏感导致biased gradient）。这套奖励设计让TAIHRI在4B参数规模下超越235B的Qwen3-VL。

独立分析的核心弱点有四个。**弱点一：自回归生成延迟**。TAIHRI需要依次生成关键点名→2D→3D token，假设每个响应50-100个token，按Qwen3-VL 4B推理速度估算单帧约500ms-1s，远达不到机器人30Hz控制频率。改进方向：用teacher forcing+parallel decoding，或把多关键点的3D预测并行化。**弱点二：prompt bank覆盖面有限**。6000条交互指令虽多，但实际HRI场景的指令空间是开放的，遇到训练集外措辞（如'扶我起来' vs 'assist to stand'）可能退化。改进方向：引入instruction tuning或在prompt中加入few-shot example。**弱点三：close-range专项的代价**。模型在>3m范围未训练，对于机器人在大空间导航+局部操作的混合任务可能失效。改进方向：远-近混合数据训练或多尺度fusion。**弱点四：sim-to-real gap**。CloseHRI基于Blender+SDXL合成，合成图的纹理、光照、衣物褶皱与真实机器人相机捕获有差距，文中缺乏sim-to-real消融实验。改进方向：在真实场景中finetune或加domain randomization。**弱点五：缺少多人/遮挡处理**。真实HRI场景常涉及多人交互或物体遮挡，但训练集CloseHRI主要是单人在0.5-3m视角下的合成图，模型在多人场景下的关键点分配（'left elbow'对应哪个人）能力未验证。

未来研究方向可分两类。**作者暗示的方向**：(1) 扩展到包含手部22点+面部关键点的全身精细定位，支撑更精细的manipulation任务；(2) 把TAIHRI的3D预测直接作为机器人manipulation policy的input，构建end-to-end perception-action model；(3) 探索更大backbone（如Qwen3-VL 8B/32B）以扩展能力上限；(4) 把交互指令从prompt bank扩展到open-vocabulary。**基于成果可延伸的方向**：(1) 把discretized interaction space从单一cuboid扩展到multi-zone（如机器人的reach space + 安全区域 + 协作区）；(2) 把GRPO的pose-aware reward替换为下游任务reward（如抓取成功率、按摩接触力），实现真正的end-to-end optimization；(3) 引入temporal modeling，把单帧扩展到video-level的keypoint tracking，应对遮挡补全和motion prediction；(4) 探索TAIHRI的zero-shot generalization到不同机器人形态（mobile manipulator vs humanoid vs 灵巧手）；(5) 与HOI（human-object interaction）结合，理解人在操作工具时的3D姿态以辅助协作任务；(6) 把任务感知的注意力机制可视化，研究VLM是否真正学到了human anatomy的semantic grounding。

复现评估分四维。**代码与数据**：作者声明代码开源于https://github.com/Tencent/TAIHRI，但论文写作时仓库内容待确认；CloseHRI数据集未明确是否公开（仅说'to be released'，120万张SDXL合成图加多源数据集的体量可能涉及授权问题）。**算力门槛**：训练用4块NVIDIA H20 GPU（每块约96GB显存，H20是华为昇腾衍生品，主要在国内可获取），SFT 5 epoch + RFT 5 epoch，预计总训练时间7-14天。H20对海外研究者复现成本较高，理论上可用A100/H100替代但成本上升。**复现难度**：中高。技术栈涉及Qwen3-VL微调、GRPO实现、SDXL图像合成管线、VitPose+SAM3质量过滤、Blender渲染SMPL-X normal map等多个组件，每个环节都有调参空间，特别是intrinsic unification的resize规则需严格对齐。**潜在风险**：(1) GRPO的奖励权重 $\lambda$ 和阈值 $\delta, \kappa$ 未明确报告，文中仅给出框架；(2) VitPose的15像素过滤阈值也可能引入数据分布偏差；(3) 强化学习训练随机性较大，论文未报告多次运行的方差；(4) prompt bank的6000条指令未公开，复现者只能随机采样类似模板，效果可能下降。