SCALE：基于自不确定性的视觉-语言-动作模型自适应感知与执行 SCALE: Self-uncertainty Conditioned Adaptive Looking and Execution for Vision-Language-Action Models

SCALE的完整执行流程如下：1）在时间步t，首先使用前一步的不确定性偏差$\Delta u_{t-1}$计算视觉注意力温度$\gamma_t = \kappa \tanh(\Delta u_{t-1})$，其中$\kappa$控制温度范围；2）使用$\gamma_t$调制视觉编码器$f_\phi$的自注意力，得到视觉表示$v_t$；3）对于K个动作token，自回归解码每个token：计算logits $\ell_k^t$，得到概率分布$p_k^t$；4）计算自不确定性$u_k^t = D_{KL}(p_k^t || q_{low}) - D_{KL}(p_k^t || q_{high})$；5）根据不确定性调整采样温度$\tau_k^t = T_0 \cdot \sigma(u_k^t)$，其中$T_0$是基础温度；6）从温度缩放的分布中采样动作token；7）聚合token级不确定性得到步骤级不确定性$u_t = \frac{1}{K} \sum_{k=1}^K u_k^t$；8）更新EMA $\bar{u}_t = \alpha \bar{u}_{t-1} + (1-\alpha)u_t$；9）计算不确定性偏差$\Delta u_t = u_t - \bar{u}_t$用于下一步。

SCALE的技术新颖性体现在多个层面：1）自不确定性度量的创新：不同于仅衡量分布分散程度的方法（如熵、Self-certainty），SCALE通过双参考分布同时捕获分布不确定性和top-1决策置信度，这对VLA至关重要，因为贪心解码选择top-1动作执行；2）协同调制机制：SCALE是首个同时调制视觉感知和动作解码的VLA推理方法，实验显示两者结合的增益超过单独增益之和（10.6% vs 8.6%）；3）时序上下文引入：通过EMA和偏差检测，视觉调制响应场景复杂度变化，而非仅使用瞬时不确定性；4）概率解释：$\sigma(u_k)$可解释为不确定假设的后验概率，为方法提供理论基础；5）单次前向传播：整个流程仅需一次前向传播，计算效率与基础模型相同。

基于独立分析，SCALE存在以下可改进的弱点：1）自不确定性度量的局限性：当前度量基于输出logits，可能无法捕获模型内部表示的不确定性，改进方向包括结合中间层特征或注意力分布；2）视觉调制粒度：当前在视觉编码器层面统一调制所有层的注意力温度，可能对不同层有不同需求，改进方向包括逐层自适应调制；3）时序建模简单：EMA假设不确定性变化平滑，可能无法快速响应突变，改进方向包括引入变点检测或更复杂的时序模型；4）动作空间探索：当前仅通过温度缩放调整采样，可能无法探索远离当前分布的动作，改进方向包括结合基于能量的探索或课程学习；5）跨模态不确定性：当前视觉和动作的不确定性独立计算，改进方向包括建模跨模态不确定性的相互作用。

作者提出和基于成果可延伸的未来研究方向包括：1）多模态不确定性融合：将自不确定性扩展到语言指令和本体感觉等其他模态，实现全面的多模态自适应；2）主动感知集成：结合主动视觉（如主动相机控制）与自不确定性，实现更全面的自适应感知；3）层次化不确定性：在不同抽象层次（如物体、场景、任务）建模不确定性，实现层次化的自适应；4）在线自适应：利用自不确定性信号进行在线学习或元学习，持续改进模型；5）安全约束：将不确定性与安全约束结合，在不确定时采取更保守的动作，提高人机协作安全性；6）理论分析：深入分析自不确定性与任务成功率、探索-利用权衡的理论关系。

SCALE的复现性较好：1）代码开源：作者在GitHub（https://github.com/snumprlab/scale）公开了代码；2）数据可用：使用的基准测试（LIBERO、SIMPLER-WidowX、LIBERO-PRO）均为公开数据集；3）算力需求：基于现有VLA骨干网络（OpenVLA、π0-FAST、SpatialVLA），无需额外训练，仅需推理时计算；4）复现难度：方法相对简单，核心公式易于实现，但需要注意不同VLA骨干的token化差异；5）文档完整：论文提供了详细的实现细节（附录G）、超参数设置（附录L）和敏感性分析，便于复现。主要挑战可能在于不同VLA骨干的代码库差异和硬件环境配置。