先看再做：增强视觉基础表征用于视觉语言动作模型 Look Before Acting: Enhancing Vision Foundation Representations for Vision-Language-Action Models

DeepVision-VLA的方法包含以下关键步骤：（1）**多分辨率输入**：将当前图像观测（256×256）输入VLA视觉编码器（SigLIP2-Large, 0.3B），同时将高分辨率图像（512×512）输入Vision Expert（DINOv3-H, 0.8B）；（2）**浅层视觉分析**：在VLA骨干网络的浅层（如Layer 4-19）计算动作token到视觉token的注意力图 $A^\ell \in \mathbb{R}^{N_a \times N_v}$，对动作token维度取平均得到每层注意力图 $m^\ell = \frac{1}{N_a}\sum_{i=1}^{N_a} A^\ell_{i,:}$，聚合多个浅层得到最终注意力图 $m = \frac{1}{|\mathcal{L}_s|}\sum_{\ell \in \mathcal{L}_s} m^\ell$；（3）**视觉剪枝**：将注意力图插值到Vision Expert的高分辨率尺寸 $\tilde{m} = \mathcal{I}(m) \in \mathbb{R}^{N_d}$，使用Top-K操作保留最重要的视觉token $\mathcal{S}_K = \text{TopK}(\tilde{m}, K)$；（4）**VL-MoT融合**：将Vision Expert的最后16层QKV表征投影到LLM隐藏维度，与VLA深层的QKV拼接计算共享注意力 $Q=[Q_E; Q_Z], K=[K_E; K_Z], V=[V_E; V_Z]$，然后分割输出回两个分支各自处理；（5）**动作解码**：经过深层增强后的动作token隐藏状态通过两层MLP解码器映射到机器人动作空间。

本文的技术新颖性体现在以下方面：（1）**层级视觉衰减现象的发现**：首次系统分析了多种VLA模型（OpenVLA、π0、QwenVLA-OFT）在不同动作生成范式（自回归、流匹配、并行解码）下的视觉信息处理过程，发现深层视觉敏感性衰减是普遍存在的现象，为VLA模型设计提供了新的理论见解；（2）**VL-MoT架构设计**：不同于简单的特征拼接或对齐，VL-MoT通过共享注意力机制实现Vision Expert与VLA深层的直接信息交换，同时保持各自独立的处理路径，减少特征干扰。特别是，本文选择Vision Expert的最后几层特征（而非前几层或均匀采样），因为这些深层特征编码了高级语义和物体中心表征，更适配VLA的任务相关特征；（3）**AGVP策略的双向协同**：AGVP利用VLA浅层可靠的动作-视觉注意力来指导Vision Expert的特征剪枝，形成了"浅层分析→深层增强"的闭环设计，既提高了计算效率（只处理Top-K token）又增强了任务相关性；（4）**多分辨率输入策略**：Vision Expert处理512×512高分辨率图像，VLA处理256×256标准分辨率图像，通过AGVP的注意力插值实现跨分辨率对齐，使Vision Expert能够捕获更精细的物体细节。

本文的弱点分析如下：（1）**Vision Expert的通用性不足**：本文仅使用DINOv3-H（0.8B）作为Vision Expert，未探索其他视觉基础模型（如SAM-2、DINOv2、CLIP等）的适用性。不同任务可能需要不同特性的视觉专家，例如语义分割任务可能更适合SAM，而精细操控可能需要更强的空间表征。改进方向：设计自适应的Vision Expert选择机制，或融合多个视觉专家的互补特征；（2）**AGVP的注意力图质量依赖**：AGVP使用浅层动作到视觉的注意力图来识别任务相关区域，但注意力图可能在复杂场景（多个相似物体、遮挡、动态背景）中产生噪声。改进方向：引入更鲁棒的显著性检测方法，如结合深度信息或时序一致性约束；（3）**固定层数的特征注入**：本文固定使用最后16层DINOv3特征注入最后16层VLA，未探索动态层数选择或自适应注入策略。不同任务的视觉复杂度不同，可能需要不同深度的特征注入。改进方向：设计可学习的层数选择机制或门控策略；（4）**缺乏与输入端增强方法的对比**：消融实验主要对比了不同的融合方式，但未与视觉提示、辅助视觉目标等输入端增强方法进行充分对比，难以评估深层融合相对于输入端增强的优势程度。

基于本文成果，未来研究可以向以下方向延伸：（1）**多Vision Expert融合**：探索融合多个不同特性的视觉基础模型（如DINOv3的空间表征 + SAM的分割能力 + CLIP的语义理解），构建更全面的视觉增强框架；（2）**动态特征注入**：设计自适应的特征注入机制，根据任务复杂度和视觉场景动态调整注入层数和特征量，平衡计算效率和性能；（3）**扩展到更复杂任务**：将DeepVision-VLA应用于双臂协调、长时间序列规划、动态环境中的操控等更复杂的场景，验证方法的通用性；（4）**理论分析深化**：深入研究VLA模型中视觉信息衰减的根本原因，探索是否可以通过架构设计（而非额外注入）来根本解决这一问题；（5）**轻量化设计**：设计更高效的Vision Expert融合方式，减少额外参数和计算开销，使方法更适合实际部署；（6）**时序视觉增强**：将AGVP的注意力分析扩展到时序维度，利用历史帧的视觉信息增强当前帧的视觉表征，提高动态场景中的操控稳定性；（7）**与其他VLA范式的结合**：将VL-MoT框架应用于不同的VLA架构（如π0的扩散策略、OpenVLA的自回归范式），验证框架的通用性。

本文的复现评估如下：（1）**开源情况**：论文未明确说明代码和模型是否开源，但提供了详细的架构描述和训练配置，理论上可以复现。项目主页（https://deepvision-vla.github.io/）可能提供更多资源；（2）**数据可用性**：预训练数据来自公开数据集（Open X-Embodiment、DROID、RoboMIND），共400K+轨迹，数据获取可行。RLBench仿真环境是公开的。真实世界数据采集需要Franka Research 3机械臂和Intel RealSense D455相机，硬件门槛较高；（3）**算力需求**：训练使用8块NVIDIA H20 GPU，预训练1个epoch，微调300个epoch。DINOv3-H（0.8B）+ Qwen3-VL（4B）的模型规模对算力要求较高，但相比更大规模的VLA模型（如RT-2的55B）仍在可接受范围；（4）**复现难度**：中等偏高。主要挑战包括：多分辨率输入的实现、VL-MoT共享注意力的正确实现、AGVP的注意力插值和Top-K操作、以及多数据集的预处理流程。消融实验的详细描述有助于理解各组件的贡献。