明智行动：培养智能体多模态模型中的元认知工具使用能力 Act Wisely: Cultivating Meta-Cognitive Tool Use in Agentic Multimodal Models

方法分四块。**奖励定义**。$R_{acc}=\lambda_a R_{ans}+\lambda_f R_{fmt}$（$\lambda_a=0.9, \lambda_f=0.1$），$R_{tool}=1/(T+1)$ 若答案正确否则为0；$T$ 是工具调用次数。**优势计算**。$\hat A_{acc}$ 在G条rollout做标准GRPO归一化；$\hat A_{tool}$ 先筛出正确答案集 $Q$，仅 $|Q|\geq 2$ 时对子集做GRPO归一化、否则置零——这是关键。**策略更新**。$L_{HDPO}=w_{acc} L_{GRPO}(\hat A_{acc})+w_{tool} L_{GRPO}(\hat A_{tool})$，$w_{acc}=1.0, w_{tool}=0.15$，KL=0。**数据策展与训练**。SFT三道过滤：沙箱执行、pass@8=1剔除、Gemini元认知打分；RL prompt做pass@8 $\in (0,1)$ 筛选；backbone为Qwen3-VL-8B-Instruct。

技术新颖性体现在四方面。第一，**机制新颖**：现有方法（DeepEyesV2/Thyme/Pixel-Reasoner）几乎全部使用scalarized reward + GRPO，作者用方差展开和泰勒展开证明效率信号被正确性方差渐近吞没（公式5），且有效权重 $w_{eff}$ 随数据分布漂移，调整 $\alpha$ 不可行。第二，**架构新颖**：HDPO用'条件优势估计'把'统计基线'从'全组均值'换成'正确答案子集均值'，是GRPO家族中首次用语义边界重塑统计基线的方法。第三，**现象新颖**：这套设计自然涌现'先做对再省力'的隐式认知课程——$|Q| < 2$ 时 $w_{tool}$ 通道自动停摆；$|Q|$ 增大后效率信号平滑增强，不需要任何手工调度。第四，**数据工程新颖**：三阶段SFT策展（沙箱执行→pass@8基线过滤→Gemini元认知打分）和RL prompt的pass@8 $\in (0,1)$ 筛选，是当前工具增强MLLM领域最严格的数据质量控制流程。

独立审视后有五条值得改进的弱点。第一，**效率奖励设计粗糙**：$R_{tool}^i = 1/(T_i+1)$ 把'少调用'压成单调反比，但实际工具调用是分类型的（代码、裁剪、文本搜索、图像搜索的延迟差异可达10倍以上），统一惩罚权重既不合理也不公平；改进方向是按工具类型分别设计reward shaping。第二，**条件优势的硬阈值**：$|Q| \geq 2$ 在训练中段会带来梯度'跳变'；改进方向是引入软门控 $A_{tool}^i \leftarrow \sigma(\beta(|Q|-2)) \cdot A_{tool}^i$。第三，**数据策展的依赖性**：pass@8 $\in (0,1)$ 过滤用base model做评估，对'base model能答出多少'高度敏感；改进方向是引入难度先验无关的curriculum。第四，**$w_{tool}=0.15$ 的泛化性**：最优权重在0.10–0.20狭窄波动；改进方向是用$w_{tool}$ 与平均正确率挂钩的自适应调度。第五，**缺乏失败模式分析**：未报告Metis在哪些类型题上仍会盲调用、哪些题上过度克制。

作者在5.Conclusion提出三个隐含方向：扩展到更开放/长horizon环境、long-horizon场景下'工具调用决策链'是否需要分层。基于此可延伸出六个值得研究的方向。第一，**多模态工具组合**：Metis的工具是独立调用的，未来可探索'工具规划图'——对复杂题先决定工具调用顺序再执行，类似Chain-of-Tools。第二，**元认知的可解释性**：把'决定不用工具'作为可解释信号输出，如生成'我不需要工具，因为图中6号球衣+USA标识已足够识别LeBron James'。第三，**动态权重学习**：当前$w_{tool}$是固定超参，未来可用meta-learning让policy在不同domain自动学习各自最佳$w_{tool}$。第四，**多智能体元认知**：把Metis扩展为多agent版本。第五，**跨域迁移**：未在医疗影像、遥感、自动驾驶等垂直域验证HDPO有效性。第六，**与reasoning model融合**：未来可探索与DeepSeek-R1/QwQ这类'长链推理'骨干结合，让HDPO的'工具克制'嵌入到完整reasoning trace中。

复现评估分四方面。**开源情况**：项目主页 https://Accio-Lab.github.io/Metis、GitHub https://github.com/Accio-Lab/Metis、HuggingFace https://huggingface.co/Accio-Lab/Metis-8B-RL 全部公开。**数据可获得性**：SFT数据来自DeepEyesV2、V-Interaction、Thyme、OpenMMReasoner等公开数据集；RL prompt来自V-Interaction、Thyme等；LLM判分用Gemini-3.1-Pro。**算力需求**：8张NVIDIA Blackwell B200 GPU；SFT 2 epoch + RL（batch 128、G=16）粗估在B200上需3–7天；用8张A100/H100做近似复现预计需要1.5–2倍时间。**复现难度**：HDPO核心创新点在reward design与data curation层，模型架构不变（Qwen3-VL-8B + GRPO），实现难度中等偏下。该工作具备良好的可复现性。