SkinTokens：面向统一自回归绑定的紧凑学习表示 Skin Tokens: A Learned Compact Representation for Unified Autoregressive Rigging
用离散Token统一表示蒙皮权重，实现骨骼生成与蒙皮预测的端到端自回归绑定
前置知识
骨骼绑定（Rigging）
骨骼绑定是3D动画制作中的关键步骤，包括两个子任务：（1）骨骼生成——为3D模型创建骨架（skeleton），定义关节（joints）的位置和父子层级关系；（2）蒙皮权重预测——计算每个网格顶点受哪些骨骼影响以及影响程度，用一个 $N \times J$ 的权重矩阵 $\mathbf{W}$ 表示（$N$ 为顶点数，$J$ 为关节数）。在实际制作中，模型可能有超过 $10^5$ 个顶点和 $10^2$ 个关节，蒙皮矩阵包含超过 $10^7$ 个元素。目前这个过程高度依赖专业美术师手工完成，是3D内容生产的严重瓶颈。
这是本文要解决的核心问题，理解骨骼绑定的两个子任务及其传统流程，才能理解本文为什么要将它们统一建模
FSQ（有限标量量化）
FSQ（Finite Scalar Quantization）是一种无需可学习码本的向量量化方法。传统VQ-VAE通过可学习的码本将连续向量映射到离散token，但存在码本利用率低、训练不稳定等问题。FSQ则对每个隐变量维度分别量化到固定网格上的最近整数，例如维度配置 $[8, 8, 8, 5, 5]$ 表示每一维分别有8、8、8、5、5个量化等级，总码本大小为 $8 \times 8 \times 8 \times 5 \times 5 = 12800$。梯度通过直通估计器（Straight-Through Estimator）回传，训练简单且码本利用率极高。
FSQ是SkinTokens的核心量化技术，将连续的蒙皮权重压缩为离散token序列，理解其机制才能理解整个框架的可行性
GRPO（组相对策略优化）
GRPO（Group Relative Policy Optimization）是DeepSeek提出的强化学习算法，核心思想是对每个输入采样一组 $G$ 个输出，用组内奖励的相对排名作为优势函数（advantage），而非像PPO那样训练一个独立的critic网络。其目标函数通过clip比率和KL散度惩罚来稳定训练。这种方法更稳定，适合优化不可微的几何奖励。
GRPO是本文实现out-of-distribution泛化的关键技术，使得模型能够通过几何奖励自我校正生成逻辑
蒙皮权重的稀疏性
蒙皮权重矩阵 $\mathbf{W}$ 是极度稀疏的。实际上每个顶点通常只受不超过4个关节影响，因此非零元素最多只有 $4N$ 个。论文统计了三个主流数据集（VRoid Hub、Articulation 2.0、ModelsResource），发现平均稀疏率仅为 2%-10%。这种极端的类别不平衡使得标准损失函数（如MSE）被大量零值主导，难以有效学习非零权重区域。
稀疏性是本文提出离散表示的根本动机，理解这一点才能理解为什么直接回归蒙皮矩阵是病态问题
Dice Loss
Dice Loss源自医学图像分割领域，等价于F1-score的损失形式。与BCE不同，Dice Loss对正样本（非零权重）提供更大的梯度信号，在类别极度不平衡时能有效聚焦监督信号于关键区域。论文实验表明，去除Dice Loss会导致IoU从87.1%下降到82.2%。
Dice Loss是解决蒙皮稀疏性的关键损失函数，其梯度特性直接决定了模型能否准确重建活跃变形区域
研究动机
自动生成3D模型绑定面临多重挑战。首先，蒙皮权重的回归是一个病态的高维问题：对于一个有 $N=6247$ 个顶点和 $J=35$ 个关节的典型模型，蒙皮矩阵包含约 $22$ 万个元素，但其中只有不到10%是非零的（Articulation 2.0数据集的平均稀疏率为9.38%，VRoid Hub仅为2.43%）。用MSE等标准损失训练时，优化被大量零值主导，模型倾向于输出接近零的预测，无法准确捕捉活跃变形区域。其次，现有方法严重依赖几何辅助描述符（如测地距离），当网格是非水密的或由不相连组件组成时，这些描述符的计算不可靠。最致命的是，几乎所有现有方法都将骨骼生成和蒙皮预测解耦为独立模型——骨骼在不了解蒙皮的情况下生成，蒙皮针对固定（可能次优）的骨骼结构进行预测，两个任务之间缺乏信息交换，性能天花板受到严重限制。
本文的目标是本文的目标是建立一个统一的自回归框架TokenRig，将骨骼生成和蒙皮权重预测合并为单一的序列生成任务。具体而言：（1）设计一种紧凑的离散表示SkinTokens，将蒙皮权重从连续回归问题转化为token序列预测问题；（2）构建统一的自回归Transformer，生成交织骨骼参数和SkinTokens的单一序列，学习骨骼放置与表面蒙皮之间的复杂依赖关系；（3）引入强化学习微调阶段，通过精心设计的几何和语义奖励函数提升模型对复杂、分布外资产的泛化能力。最终实现SkinTokens相比SOTA方法98%-133%的蒙皮精度提升，以及TokenRig框架17%-22%的骨骼预测提升。
与已有工作不同的是，本文的独特切入角度在于认为蒙皮预测的瓶颈本质上是一个表示问题（representation problem）。现有方法将蒙皮建模为连续高维回归，但蒙皮权重的内在稀疏性和顶点的无序排列使得传统稀疏矩阵压缩技术无法适用。本文提出用FSQ-CVAE学习一种紧凑的离散表示，将每个骨骼的蒙皮权重压缩为短序列的离散token。这一表示的关键优势在于：（1）离散token天然适合自回归序列建模，使得骨骼和蒙皮可以统一在同一个Transformer中生成；（2）模型可以通过自注意力机制在预测每个骨骼的蒙皮时访问所有关节位置和骨骼类型，捕捉长程依赖；（3）统一框架使得强化学习微调成为可能，通过几何奖励注入领域知识，超越监督训练数据的分布限制。
核心方法
TokenRig的框架分为三个阶段。第一阶段训练一个FSQ-CVAE（有限标量量化条件变分自编码器），学习将每个骨骼的蒙皮权重压缩为紧凑的离散token序列（SkinTokens）。这个阶段的核心是利用蒙皮权重的内在稀疏性，通过Dice Loss聚焦于非零权重区域的重建。第二阶段训练一个统一的自回归Transformer（TokenRig），将完整的绑定表示为单一token序列：先生成所有骨骼参数，再生成对应的SkinTokens。这种序列结构使得模型在预测蒙皮时可以全局条件化于已生成的完整骨架。第三阶段使用GRPO强化学习微调，通过四个精心设计的奖励函数（体积关节覆盖、骨骼-网格包含、蒙皮覆盖与稀疏性、变形平滑性）来提升模型对复杂、分布外资产的泛化能力。
本文的核心创新在于将蒙皮权重从连续回归问题重构为离散token预测问题。这是一个根本性的范式转换：现有方法（如RigNet、UniRig）将蒙皮建模为对 $N \times J$ 稠密矩阵的连续回归，面临稀疏性类不平衡和高维病态优化的困境；而SkinTokens将每个骨骼的蒙皮影响压缩为 $T_D$ 个离散token（例如4-32个），使得整个绑定可以表示为一个token序列。这一表示的本质区别在于：（1）离散化绕过了直接高维回归的困难，将问题转化为更适合Transformer的序列预测；（2）FSQ-CVAE学习到的token具有语义意义——t-SNE可视化显示，不同骨骼类别的潜向量自然聚类（如Head、Hips、LeftLeg），说明编码器学到了身体部位概念的抽象表示；（3）统一序列表示使得自注意力机制可以在骨骼和蒙皮之间建立跨模态依赖，而解耦方法无法做到。
方法步骤详情
第一步：SkinTokens学习。使用VecSet架构的双编码器处理网格几何 $\mathcal{M}$ 和蒙皮权重 $\mathbf{W}^*$，网格编码器 $E_M$ 生成形状特征，蒙皮编码器 $E_W$ 生成潜权重特征 $\mathbf{L}_W$。通过FSQ将 $\mathbf{L}_W$ 离散化为SkinTokens $\mathbf{L}_D = \text{FSQ}(\mathbf{L}_W)$，配置为 $[8, 8, 8, 5, 5, 5]$（码本大小64000）。解码器结合形状特征和离散token重建蒙皮权重，使用嵌套dropout随机选择token前缀以提升鲁棒性。损失函数为BCE + MSE + Dice Loss的加权和，重点是Dice Loss对稀疏权重提供更强梯度。训练采用重要采样策略，解码器看到均匀采样点和非零权重区域的密集采样点混合。第二步：统一自回归建模。骨骼层级被序列化为token序列，坐标通过均匀量化离散化。SkinTokens序列紧跟其后，每个骨骼对应 $T_D$ 个token，按规范顺序拼接。TokenRig基于Qwen3-0.6B架构，使用分组查询注意力（GQA）和旋转位置编码（RoPE），自回归生成完整的骨骼+蒙皮序列。第三步：GRPO微调。对每个输入网格采样 $G=24$ 个输出，计算四个奖励的加权和，训练800步（学习率 $10^{-6}$）。体积关节覆盖奖励将网格体素化为 $196^3$ 的体素网格，用指数核鼓励关节分布在整个体积内；骨骼-网格包含奖励惩罚骨骼穿出网格表面；蒙皮覆盖与稀疏性奖励确保每个顶点至少受一个骨骼影响且不超过4个；变形平滑性奖励用LBS算法评估随机姿态下的边长失真。
技术新颖性
本文的技术新颖性体现在三个层面。首先，SkinTokens是首个为蒙皮权重设计的离散紧凑表示，通过FSQ-CVAE将稀疏的 $N \times J$ 蒙皮矩阵压缩为每个骨骼仅 $T_D=4$ 至 $32$ 个token的序列，实现183.74倍的压缩比（相比FP16基线），同时保持87.1%的IoU重建精度。其次，TokenRig是首个将骨骼生成和蒙皮预测统一在单一自回归模型中的框架，通过交织序列表示使得自注意力可以在两个模态之间建立依赖关系，突破了以往解耦方法的性能天花板。第三，GRPO微调阶段引入了四个专为绑定任务设计的奖励函数，特别是体积关节覆盖和变形平滑性奖励，将几何推理注入生成过程，使得模型能够成功绑定翅膀、尾巴、角等非标准解剖结构——这些是纯监督方法经常失败的地方。与使用DPO的方法（如Auto-Connect）不同，GRPO不需要昂贵的偏好数据标注，可以直接优化不可微的几何约束。
实验结果
本文在多个数据集和多个指标上进行了全面评估。在骨骼生成方面，TokenRig（4 skin tokens + GRPO）在ModelsResource数据集上将J2J误差从UniRig的3.390降至2.893（下降14.7%），在Articulation 2.0上从3.115降至2.485（下降20.2%）；B2B误差在ModelsResource上从1.890降至1.547（下降18.2%），在Articulation 2.0上从1.926降至1.463（下降24.0%）。在蒙皮预测方面，改进更加显著：TokenRig在ModelsResource上的L1误差为0.0163（RigNet为0.0573，提升约251%），Precision达79.2%（RigNet为62.4%），Recall达89.1%（RigNet为59.9%）。在Articulation 2.0上，L1误差为0.0150（RigNet为0.0431，提升约187%），Motion Loss为0.0209（RigNet为0.0915，提升约338%）。消融实验证实：去除Dice Loss导致IoU从87.1%降至82.2%；去除随机关节删除增强使J2J误差从2.857升至3.077；GRPO微调在标准指标上保持或略微提升，但在复杂OOD资产上显著改善——成功为翅膀、尾巴、角等结构生成骨骼和蒙皮。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 骨骼生成（ModelsResource） | J2J (Joint-to-Joint Chamfer Distance) | 2.893 | UniRig: 3.390, Puppeteer: 3.841, RigNet: 3.901 | 相比UniRig下降14.7%，相比RigNet下降25.8% |
| 骨骼生成（Articulation 2.0） | J2J (Joint-to-Joint Chamfer Distance) | 2.485 | UniRig: 3.115, Puppeteer: 3.033, RigNet: 7.376 | 相比UniRig下降20.2%，相比RigNet下降66.3% |
| 骨骼生成（ModelsResource） | B2B (Bone-to-Bone Chamfer Distance) | 1.547 | UniRig: 1.890, Puppeteer: 2.475 | 相比UniRig下降18.2% |
| 蒙皮预测（ModelsResource） | Skin L1 Error | 0.0163 | RigNet: 0.0573, UniRig: 0.0381, Puppeteer: 0.0321 | 相比RigNet提升约251%，相比Puppeteer提升约49% |
| 蒙皮预测（Articulation 2.0） | Skin L1 Error | 0.0150 | RigNet: 0.0431, UniRig: 0.0297, Puppeteer: 0.0278 | 相比RigNet提升约187%，相比Puppeteer提升约46% |
| 蒙皮预测（ModelsResource） | Precision | 79.2% | RigNet: 62.4%, UniRig: 65.8%, Puppeteer: 64.4% | 相比最佳基线UniRig提升13.4个百分点 |
| 蒙皮预测（Articulation 2.0） | Recall | 89.2% | RigNet: 54.6%, UniRig: 73.5%, Puppeteer: 75.1% | 相比最佳基线Puppeteer提升14.1个百分点 |
| 蒙皮预测（ModelsResource） | Motion Loss | 0.0158 | RigNet: 0.0789, UniRig: 0.0312, Puppeteer: 0.0279 | 相比Puppeteer提升约43% |
| SkinTokens重建（VRoid Hub） | IoU @ epsilon=1e-2 | 87.1% | 去除Dice Loss: 82.2% | Dice Loss贡献4.9个百分点IoU提升 |
局限与改进
尽管本文取得了显著进展，仍存在几个值得关注的局限性。作者在论文中承认，FSQ-CVAE的离散量化相比连续潜变量VAE在极端挑战性蒙皮场景中仍存在性能差距——有限的量化等级（$[8,8,8,5,5,5]$）可能无法完全表达极其精细的权重梯度。此外，当前框架完全基于学习到的先验自动生成绑定，而专业制作通常需要遵循特定的拓扑标准（如Mixamo模板或自定义骨骼层级），缺乏用户交互引导的能力。从独立分析的角度来看，GRPO微调虽然改善了几何有效性，但800步的训练（学习率 $10^{-6}$）可能不足以充分利用奖励信号，尤其对于高度复杂的多肢体资产（如六足生物或机械结构），奖励函数的设计也局限于四类，未涵盖动力学合理性（如物理约束）。此外，数据增强虽然模拟了拓扑缺陷，但真实生产环境中的网格问题（如自交叉、退化面、纹理坐标缺失）远比训练中模拟的更加多样化。
独立分析的弱点
本文存在几个值得改进的弱点。首先，FSQ-CVAE的离散量化会引入信息损失，论文提到连续潜变量VAE在极端场景下可能表现更好，但未给出具体对比数据。改进方向可以探索连续token表示（如Autoregressive Image Generation without Vector Quantization中提出的连续自回归方法），或者混合离散-连续表示，在保持序列建模优势的同时减少量化误差。其次，GRPO微调仅使用了800步，奖励函数也仅包含四类几何约束，缺乏对动画物理合理性的建模——例如，骨骼运动应遵循关节活动范围限制，蒙皮变形应保持体积守恒。未来可以引入物理模拟器作为奖励源，或使用可微渲染的像素级损失。第三，模型对非标准拓扑的处理仍有不足，论文Figure 8显示GRPO能为翅膀、尾巴生成骨骼，但面对更复杂的结构（如多头生物、可变形机械臂）可能仍会失败，需要更丰富的训练数据或更强的归纳偏置。
未来方向
基于本文成果，可以从多个方向延伸研究。作者提出的一个重要方向是扩展自回归模型以接受用户指定的拓扑模板或交互引导，将TokenRig从自动绑定器转变为灵活的艺术家协作工具——这在专业制作中极为重要，因为绑定需要遵循特定的骨骼命名和层级规范。另一个方向是将SkinTokens表示应用于动画编辑和风格迁移：由于蒙皮权重被压缩为离散token，理论上可以通过token空间的插值或编辑来实现绑定风格的混合。此外，当前方法仅处理静态绑定，未来可以扩展到动态绑定——例如为同一个模型生成多套绑定（不同风格的动画需要不同的骨骼结构），或为布料、软体等非刚性材质设计类似的token表示。最后，结合大规模3D生成模型（如CLAY、TripoSG），将TokenRig集成到端到端的文本到可动画3D资产管线中，是一个极具应用价值的方向。
复现评估
本文的复现条件较为友好。论文提供了项目主页（https://zjp-shadow.github.io/works/SkinTokens/），但未明确说明代码是否开源。在数据方面，使用的三个数据集（Articulation 2.0、VRoid Hub、ModelsResource）都是公开数据集，可以直接获取。算力方面，FSQ-CVAE训练400k步（batch size 320），TokenRig训练300k步（batch size 160），基于Qwen3-0.6B架构（约6亿参数），预计需要多卡GPU集群训练数天。GRPO微调仅需800步，算力需求较低。关键的复现难点在于：（1）数据增强管线的实现细节（结构扰动的概率和强度、几何变换的具体参数）对最终性能有显著影响（消融实验证明每个增强模块都不可或缺）；（2）FSQ的维度配置 $[8,8,8,5,5,5]$ 的选择需要平衡压缩率和精度；（3）GRPO的四个奖励函数的权重设置（$w_{vj}=5, w_{vk}=w_{sc}=w_{mo}=1$）需要仔细调优。总体而言，有经验的3D深度学习团队应该能够复现本文结果。
论文图表
统计三个主要数据集（ModelsResource、VRoid Hub、Articulation 2.0）的蒙皮权重稀疏性。ModelsResource平均顶点数16930、关节数96、活跃权重28393个、稀疏率仅2.43%；Articulation 2.0平均顶点数6247、关节数34、活跃权重12655个、稀疏率9.38%。数据证实蒙皮矩阵极度稀疏（小于10%活跃权重），直接motivates SkinTokens的设计。
量化了蒙皮权重的稀疏性问题，为SkinTokens的设计提供了数据支撑
比较不同FSQ码本配置的压缩性能。$[8,8,8,5,6]=15360$ 配置的利用率达99.6%，压缩比208.23倍；$[8,8,8,5,5,5]=64000$ 配置利用率为86.2%，压缩比183.74倍。以Articulation 2.0为例，存储一个平均网格（6247顶点）的蒙皮权重需要12494字节（FP16），而SkinTokens表示仅需64字节。
量化展示了SkinTokens的压缩效率，验证了离散表示的存储优势
使用J2J、J2B、B2B三个Chamfer Distance指标评估骨骼生成质量。TokenRig（4 skin tokens + GRPO）在两个数据集上全面超越所有基线。在ModelsResource上：J2J为2.893（UniRig: 3.390），B2B为1.547（UniRig: 1.890）。在Articulation 2.0上：J2J为2.485（UniRig: 3.115），B2B为1.463（UniRig: 1.926）。
骨骼生成的核心定量评估表格，全面证明TokenRig的优越性
使用L1误差、L1方差、Precision、Recall和Motion Loss五个指标评估蒙皮预测质量。TokenRig在所有指标上达到SOTA。在ModelsResource上：L1为0.0163（RigNet: 0.0573），Precision为79.2%（RigNet: 62.4%），Recall为89.1%（RigNet: 59.9%），Motion Loss为0.0158（RigNet: 0.0789）。
蒙皮预测的核心定量评估表格，展示了SkinTokens表示在蒙皮质量上的巨大提升
评估Dice Loss对重建质量的影响。去除Dice Loss后，IoU从87.1%降至82.2%（VRoid）、从91.1%降至88.2%（ModelsResource）、从84.0%降至80.9%（Articulation 2.0）。Mask Accuracy也出现下降，表明模型倾向于欠分割。
消融实验证明Dice Loss对处理稀疏蒙皮权重的关键作用
分析三个数据增强模块对骨骼预测精度的贡献。去除任何模块都会导致误差上升：去除non-uniform scaling使J2J从2.857升至3.030，去除sub-tree dropping升至3.019，去除joints deleting升至3.077（ModelsResource）。随机关节删除的影响最大，确认模拟拓扑缺陷对鲁棒泛化至关重要。
消融实验验证了数据增强策略的重要性，为复现者提供了关键实现细节