REALM：面向具身反应式倾听的由粗到细生成框架 REALM: A Coarse-to-Fine Generative Framework for Embodied Reactive Listening
延迟感知门控融合加表情子空间随机细化，让AI倾听者反应及时、能自然眨眼，并可部署上真机器人
前置知识
倾听头生成（Listening Head Generation）
对话中说话者讲话时，生成倾听者的非语言反馈（点头、眨眼、微笑、视线移动等）面部动作序列。与说话头生成不同，倾听者大部分时间静止，只在会话线索处间歇性反应，任务条件通常是说话者音频与倾听者自身历史动作，输出为逐帧面部系数。
本文的全部模型设计、数据集（ViCo/L2L）与指标都围绕这个任务展开，理解任务特性才能理解为何需要延迟先验与随机细化。
3DMM与Blendshape系数
3D形变模型把人脸表示为一组语义化系数：表情用非刚性blendshape权重（如ViCo用64维、L2L用50维），头姿用6D旋转平移。生成模型不再输出像素，而是在该低维系数空间中预测序列，可通过PIRenderer渲染回图像，也可映射到机器人执行器。
论文的表情/姿态二分（x_t与r_t）、由粗到细分解、以及到Ameca机器人的重定向都建立在系数表示之上。
ALiBi注意力偏置
Attention with Linear Biases（Press等，2022）在softmax注意力分数上直接减去与键-查询距离成正比的线性惩罚$m_h|i-j|$，替代位置编码，使Transformer具备长度外推能力。
本文把ALiBi的距离矩阵平移一个延迟量$\tau$（即$-m_h|(t-j)-\tau|$），改造出跨模态的反应延迟先验，这是方法的第一核心创新。
FiLM特征级调制
Feature-wise Linear Modulation（Perez等，2018）用条件输入预测逐特征的缩放$\gamma$与偏移$\beta$，对目标特征做$\gamma\odot x+\beta$仿射变换，是轻量的条件注入手段。
细化模块中音频经FiLM参数$(\gamma_t,\beta_t)$控制随机噪声的均值偏移与方差尺度，是'音频条件随机残差'的实现关键。
Fréchet Distance与FID系列指标
Fréchet Distance（FD）衡量生成分布与真实分布的距离；FIDfm计算逐序列3DMM系数的平均Fréchet距离反映帧级空间保真度，FIDΔfm则对相邻帧系数差分计算，专门惩罚不自然的帧间抖动，衡量时序动态真实性。
论文最亮眼的结论（FIDΔfm从8.71降到3.91）正是靠这类指标体现的，读懂指标含义才能判断改进到底发生在哪个层面。
LSGAN对抗训练
Least-Squares GAN把标准GAN的交叉熵损失替换为最小二乘损失，判别器对真样本输出趋近1、对假样本趋近0，训练更稳定。本文用时间卷积判别器同时判别表情序列及其帧间速度。
细化阶段的随机残差之所以能恢复眨眼等真实微观动态而非高频噪声，靠的正是这一对抗目标，理解它才能复现第二阶段训练。
研究动机
倾听者反应生成要求AI在对话中做出点头、眨眼、微笑等非语言反馈，但现有方法存在两大痛点。其一是时机错配：倾听者的反应往往滞后于说话者线索数百毫秒，且说话者活跃时倾听者未必动作，而现有跨注意力机制默认在同一时间步对齐音视频，难以建模这种延迟与不同步。其二是确定性过平滑：同一对话语境对应多种合理反应（可微笑、可挑眉），L1等重构损失会把多模态输出平均成'平均脸'——消融实验显示去掉细化模块后表情FIDΔfm高达12.51，眨眼率误差10.50 BPM，几乎不产生眨眼；UniLS虽平滑（FIDΔfm 4.48）但L1高达25.50，呈现静态精度与动态连续性的取舍困境。此外，把3DMM系数落到真实机器人还需跨越潜空间与机械动作空间之间的严重域差（伺服惯性、弹性皮肤非线性、执行器限位）。
本文的目标是本文目标是构建音频驱动的反应式倾听生成框架REALM，同时解决两个建模挑战：第一，融合说话者音频与倾听者历史动作时，显式引入以名义反应延迟$\tau$为中心的软对齐先验，并用可学习门控自适应平衡'外部说话者证据'与'自身运动连续性'，让反应既及时又不盲目跟随声学能量；第二，把动作分解为稳定的粗轨迹与仅限表情子空间的音频条件随机残差，用受控随机性恢复眨眼、微笑等局部微观动态而不扰动头部姿态；最终将生成系数经确定性重定向与标定部署到Ameca人形机器人，并以25人MOS用户研究验证物理表现力。
与已有工作不同的是，已有工作或用自回归预测（L2L、ARIG）、扩散模型（Wang等）或非自回归Transformer（ListenFormer）建模倾听动作，随机性要么覆盖整个动作空间，要么依赖离散运动码本。REALM的独特切入有三点：(1) 把ALiBi相对位置偏置改造为'平移ALiBi'，在注意力分数上直接加$-m_h|(t-j)-\tau|$延迟惩罚，把时间对齐知识作为归纳偏置注入而非让模型从零学起；(2) 延迟先验与门控$g_t$分工明确——先验解决'何时取证据'，门控解决'证据用多重'；(3) 随机性经投影矩阵$P_x$限制在非刚性表情子空间，刚性姿态保持粗预测不变，实现稳定性与多样性的解耦，并给出从系数到机器人执行器的完整安全落地链路。
核心方法
直觉上，一个好的AI倾听者需要两件事：在对的时间做出反应，以及在反应中保留'人味'的微观变化。REALM据此采用由粗到细的两阶段生成。技术上，任务形式化为$p_\theta(m_t|A_t,H_t)$，每帧动作$m_t=[x_t;r_t]$由表情$x_t$与头姿$r_t$拼接。输入为Wav2vec 2.0编码的说话者音频窗口与倾听者前$W=16$帧历史：先经'反应式门控融合'模块，用平移ALiBi跨注意力提取延迟对齐的说话者上下文$c^\tau_t$，并用门$g_t$与历史状态凸组合得联合上下文$z_t$；随后粗解码器（4层Transformer解码器+LSTM）回归基础轨迹$\tilde{m}_t$；再由细化模块（膨胀时序卷积+FiLM调制+通道注意力+自注意力）在表情子空间注入音频条件随机残差$\Delta x_t$；最后经逆运动学映射、Savitzky-Golay平滑与相对标定驱动Ameca机器人。
核心创新是'延迟先验+自适应门控+子空间受限随机细化'的组合。式(1)定义注意力权重$\pi^{(h)}_{t,j}\propto\exp(q^{(h)\top}_t k^{(h)}_j/\sqrt{d_h}-m_h|(t-j)-\tau|)$（$j\le t$），使$t$帧反应优先关注$t-\tau$附近的说话者表征，实验表明$\tau=8$帧（约267ms）最优；关键在于$\tau$只是软先验中心而非硬性反应延迟，内容注意力仍可按语境偏移对齐位置。门控$z_t=[(1-g_t)h_t;g_tc^\tau_t]$决定两路信息的相对权重，推断时门值峰值与515个真实反应起始帧的中位偏移为0帧。与已有方法的本质区别：扩散或离散码本方法把随机性施加于全部动作维度，本文用$\hat{m}_t=\tilde{m}_t+P_x\Delta x_t$把随机性严格约束在表情残差$\Delta x_t$上（$P_x$保留姿态分量），姿态$\hat{r}_t=\tilde{r}_t$按构造不变——粗阶段专注轨迹精度，细阶段专注局部动态。
方法步骤详情
第一步，编码：Wav2vec 2.0提取音频特征，倾听者历史窗口$W=16$帧编码得$E_A,E_H$（隐维128、4头注意力）。第二步，延迟对齐融合：按式(7)计算带因果掩码与$-m_hD$偏置的跨注意力得$C_{fused}$。第三步，反应门控：$g=\sigma(W_2\mathrm{GELU}(W_1C_{fused}))$，融合$Z=[(1-g)\odot E_H;g\odot C_{fused}]$。第四步，粗解码与第一阶段训练：损失为重构项加速度正则（权重1.0）与边界约束（权重5.0），后者防止轨迹漂出生物运动包络，训练120轮、学习率$10^{-3}$。第五步，冻结粗网络，训练细化模块80轮（学习率$2\times10^{-4}$）：膨胀卷积编码粗表情得$z^c$，音频调制器输出$[\gamma,\beta]$，加噪$z^r=z^c+\beta+\gamma\odot\epsilon$（$\epsilon\sim\mathcal{N}(0,I)$），经通道注意力与时序自注意力输出表情残差$\Delta x_t$，损失为$L_1$加LSGAN对抗项（权重0.5，判别器同时判别表情序列与帧间速度）。第六步，物理落地：$q_t=Wc_t+b_0$逆运动学映射（55维输入），Savitzky-Golay滤波（窗口5帧）防伺服抖动，相对标定$\hat{q}_t=q_0+(\tilde{q}_t-\tilde{q}_{ref})$只传递相对机械中位的位移，最后按执行器限位截断并限速。
技术新颖性
新颖性体现在三个层面的'改造'而非'堆砌'。其一，ALiBi原为Transformer长度外推设计的线性距离偏置，本文将其距离矩阵平移$\tau$并配合因果掩码，改造成跨模态反应延迟先验；消融显示单独加平移注意力SA即可把姿态rPCC从0.026降到0.018。其二，细化路径的随机性来源是隐空间高斯噪声$\epsilon$，经FiLM参数$(\gamma,\beta)$由音频调制、经通道注意力按肌肉群敏感度重加权、再经时序自注意力保证全局连贯——附录D证明这种'结构化噪声'生成的眨眼时长273.56ms接近真值292.01ms，而无约束噪声会给出633.33ms的'僵尸式'长闭眼。其三，与扩散模型相比整网仅1.50M参数、0.02G FLOPs，约为ListenFormer（6.13M）的1/4，两阶段课程训练让随机容量只用于表情维度，避免全空间扰动导致的姿态漂移。
实验结果
在ViCo与L2L上REALM全面领先：ViCo Dtest表情/头姿L1为11.58/6.52（ListenFormer 11.92/7.04），域外Dood表情L1仅13.76、表情FD 1.47（基线分别为17.72–27.15与1.72–5.71），泛化优势显著。帧间动态指标提升最大：Dtest表情FID$\Delta$fm从8.71降至3.91（约55%），L2L从13.41降至6.50；rPCC两数据集均最低。消融显示：细化模块单独使用即把表情FID$\Delta$fm从12.51压到4.11，全模型3.91；门控加平移注意力组合给出最低姿态误差（L1 6.52、FD 1.01）。延迟分析表明$\tau=8$帧（约267ms）全面最优，12帧时姿态rPCC恶化到0.045。门控峰值与515个真实反应起始帧中位偏移0帧，且高门值帧对应更高的真实运动速度（$p=3.2\times10^{-5}$）。眨眼分析：REALM眨眼时长273.56ms贴近真值292.01ms，速率误差7.40 BPM，远优于无细化与无调制噪声。Ameca用户研究（N=25）：自然度4.4、同步4.2、恰当4.2、偏好4.0全部第一（$p<0.01$）。模型仅1.50M参数，单张RTX 5090可训练。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| ViCo Dtest 表情帧间动态真实感 | FIDΔfm (×100) | 3.91 | ListenFormer 8.71 | 降低约55% |
| ViCo Dtest 点级精度 | L1 (×100) 表情/头姿 | 11.58 / 6.52 | ListenFormer 11.92 / 7.04 | 表情降2.9%，头姿降7.4% |
| ViCo Dood 域外泛化（分布真实感） | 表情 FD | 1.47 | L2L 1.72（基线最优）至 UniLS 5.71 | 较最优基线降14.5%，较最差降74% |
| L2L 表情动态真实感 | FIDΔfm (×100) | 6.50 | ListenFormer 13.41 | 降低约51.5% |
| L2L 点级精度 | L1 (×100) 表情/头姿 | 9.67 / 2.41 | ListenFormer 10.32 / 2.57 | 表情降6.3%，头姿降6.2% |
| Ameca机器人感知用户研究 | MOS 总体偏好（1-5分，N=25） | 4.0 | ListenFormer 3.6 | +0.4（Wilcoxon p<0.01），自然度4.4/同步4.2/恰当4.2均第一 |
| 眨眼微观动态结构正确性（ViCo） | 眨眼时长误差 Δms（GT 292.01ms） | 18.45（平均时长273.56ms） | 无细化模块 74.65；无调制噪声 341.32 | 相比无调制噪声时长误差缩小94.6% |
局限与改进
作者承认的局限：(1) REALM基于离线对话窗口运行，尚不支持流式人机交互，缺少对时序信息访问与端到端延迟的显式控制；(2) 名义延迟$\tau$是所有个体共享的全局先验，无法刻画个体间反应速度差异；(3) 物理部署依赖针对Ameca定制的重定向管线，迁移到其他形态机器人需重新设计形态感知映射并验证执行器限位。我的补充观察：ViCo Dtest上RLHG的姿态FD（0.72）仍低于REALM（1.01），ListenFormer的表情方差（0.142）比REALM（0.133，GT 0.144）更贴近真值，说明刚性分布与全局运动幅度上并非全面领先；定量评测全部在系数空间进行，未提供数字人渲染后的感知评测；ARIG与Wang等扩散方法因官方代码缺失未能复现对比，最强竞争对手缺席；用户研究仅25人、每人5段序列，统计功效有限；LSGAN对抗训练也引入了GAN常见的调参与稳定性负担。
独立分析的弱点
(1) 离线窗口机制阻碍实时交互：真实人机对话要求亚秒级响应，而窗口化推理的端到端延迟未报告。改进方向：改用严格因果的音频特征与流式解码器，量化并优化首帧延迟。(2) 全局共享$\tau$过于粗糙：不同个体与话题节奏下反应延迟差异很大，$\tau=12$帧（400ms）设置已导致姿态rPCC恶化到0.045。改进方向：让$\tau$成为由韵律、语义或说话者身份条件化的动态量，甚至对每个注意力头学习独立的$\tau_h$。(3) 随机性完全由音频驱动，但倾听反应还取决于对话语义与人格——同一句话可以点头也可以皱眉，纯声学条件无法消解此歧义。改进方向：引入文本/语义条件或风格码控制反应'性格'。(4) 重定向管线强依赖人工设计的耦合矩阵$W$与逐执行器限位表（Table 7），跨平台扩展成本高。改进方向：学习形态感知的统一映射或基于仿真的sim2real自动校准。(5) 系数空间指标与人的感知可能脱节，Dtest姿态FD劣于RLHG提示分布级指标仍有改进空间，可补充渲染视频级的感知评测协议。
未来方向
作者提出的方向：面向流式人机交互扩展REALM，显式控制时间信息访问并保证端到端延迟；开发情境依赖的延迟先验以替代全局$\tau$；构建形态感知映射使框架跨机器人平台泛化。基于本文成果可自然延伸：其一，把延迟先验与门控机制迁移到倾听者的身体姿态与手势生成，实现全身反应式倾听；其二，细化模块可替换为流匹配或扩散头，对比其与轻量FiLM噪声方案的感知收益与算力代价；其三，引入双人双向闭环建模，让倾听者反馈反过来影响说话者语音与动作，逼近真实对话的相互塑造；其四，在条件均值偏移$\beta_t$上接入语义或情感标签，实现可控的反应风格与人格；其五，把眨眼结构分析（Table 8的PIRenderer渲染+MediaPipe关键点管线）推广为通用的微观表情解剖学正确性评测协议，弥补系数空间指标的不足。
复现评估
复现条件较好。代码与训练脚本以压缩包形式随补充材料提供，GitHub仓库为github.com/lipzh5/REALM，演示视频见youtu.be/Tf5mpd5S8VQ。数据集ViCo（483段视频、76倾听者、67说话者）与L2L（72小时训练、95分钟测试、6个身份）均公开。训练成本极低：模型仅1.50M参数、0.02G FLOPs，单张RTX 5090、batch size 512、共200轮（粗阶段120轮学习率$10^{-3}$+细化阶段80轮$2\times10^{-4}$）。附录B完整给出损失公式、模块配置（隐维128、4头注意力）、数据表示（ViCo 64D表情+6D位姿、L2L 50D+6D、窗口$W=16$）与指标定义；附录C给出机器人耦合矩阵与执行器限位表；附录A/D给出门控与眨眼分析协议。整体复现难度中等偏易：数字侧照搬附录即可复现主表结果；机器人侧需用FaceVerse V2重新提取52维blendshape并重训练模型，且需要Ameca硬件才能复现用户研究，普通实验室难以验证具身结论。
论文图表
三联动机图：(a)响应时序——倾听者反应可滞后于说话者线索出现；(b)行为连续性——说话者活跃程度与倾听者动作幅度不必成比例，说明需要自适应加权说话者证据与自身历史；(c)运动动态——整体运动轨迹可与眨眼等短暂局部表情事件共存，说明需要在粗预测之外补充表情细化。
一张图概括论文要解决的两个核心建模挑战——时机对齐与局部随机动态，是理解后续方法设计动机的起点。
在ViCo Dtest与Dood上对比RLHG、DSPN、L2L、ListenFormer、UniLS与REALM，涵盖L1、FD、FIDfm、FIDΔfm、rPCC、var六类指标的表情/头姿双列。REALM取得最低L1（Dtest 11.58/6.52）、最低FIDΔfm（3.91）与最低rPCC（0.009/0.014），域外指标全面领先；但Dtest姿态FD（1.01）逊于RLHG（0.72）。
主结果表，量化支撑'点级精度+动态真实感'双重优势，同时揭示个别未夺冠的指标，是评价结论的第一依据。
对门控融合GF、细化模块RM、平移注意力SA三组件的8种组合消融。SA单独使用把姿态rPCC从0.026降到0.018但令表情FD升到0.68（过反应）；GF+SA组合给出最低姿态误差（L1 6.52、FD 1.01）；RM单独使用把表情FIDΔfm从12.51压到4.11，全模型达3.91；由于RM只改表情，所有姿态指标完全由粗阶段决定。
清晰划定了三个组件各自的作用边界，是理解'谁贡献精度、谁贡献动态、谁贡献对齐'的关键表格。