知道何时不该回答：视觉语言模型中的选择性不遵从 Knowing What Not to Answer: Selective Non-Compliance in Vision-Language Models

完整流程如下。（1）图像采样：从 MS COCO 与 Open Images V7 各半采样，train/validation/test 分别 1,300/300/1,500 个图像级实例，GPT-5 与 Gemini-2.5-Flash 两生成器均分（每格 325/75/375）。（2）单查询生成：按五类模板各生成针对单一不遵从条件的 QA，如假前提要求『只改动一个字符或相邻数字的最小偏差』。（3）复合查询构造：把单查询中的不遵从短语自然嵌入一条新的、针对图像中另一个可回答属性的查询。（4）可回答对照构造：将不遵从成分改写为可回答形式，保持查询结构不变。（5）过滤：先用 LLM 做查询-答案一致性、任务定义符合性检查，可回答样本单独过滤；测试集再经 MTurk 人工验证（要求工人复制粘贴不遵从片段、token 重叠低于 0.2 判为无效，并混入 10% 可回答诱饵题淘汰不可靠工人），仅保留双重通过者。（6）评测：GPT-5-mini 按任务细则判查询级不遵从、组件级不遵从、事实准确性三个 PASS/FAIL 指标；640 条输出人工校验，总体一致率 94.8%。（7）SFT：8 张 NVIDIA RTX A6000，冻结视觉编码器；Qwen2.5-VL-3B 用 AdamW、学习率 $5\times10^{-5}$ 训练 3 轮，InternVL3-2B 用学习率 $2\times10^{-5}$、权重衰减 0.05；数据为 1,000 复合 + 100 可回答 + 100 单查询。（8）GRPO：100 条数据（80 复合 + 20 可回答，与 SFT 不相交），GPT-5-mini 计算奖励（$\lambda=0.3$），每输入采 4 个回复做组内相对优势，学习率 $5\times10^{-6}$、$\beta=0.01$、30 轮，按验证奖励选最优 checkpoint。

技术新颖性体现在四个层面。基准层面：此前不存在同时覆盖查询级与组件级、且跨五类不遵从来源统一构建的 VLM 基准；最接近的工作如 HaloQuest（视觉幻觉）、MM-SafetyBench（安全）、UPD（不可解问题检测）都只在单一失败模式的孤立查询上评测，KoNA 的配对三联体设计使跨条件、跨任务的受控比较成为可能。评测层面：提出了把『选择性』本身作为评测对象的三指标体系，组件级不遵从指标要求纠正/拒答/存疑与正确作答同时成立，比已有的召回率、F1 类指标更贴近真实交互。训练层面：用仅 100 条 GRPO 数据和 LLM 裁判奖励实现行为塑形，并把 λ=0.3 的事实性惩罚作为显式权衡旋钮；附录 J 证明这一两阶段策略在总数据量受控的条件下优于全数据 SFT（Answerable Average 0.62→0.70 / 0.65→0.71）。分析层面：论文不仅报告总体分数，还给出单-复合落差这一新诊断量，并把四个现有基准改写成复合查询版本，验证了『复合查询放大失败』这一现象的普适性（如 InternVL3-78B 在 MM-SafetyBench 上从 0.88 跌至 0.05）。

独立分析的弱点如下。其一，模板化数据分布：所有测试查询由两个商业模型按固定模板生成，句式与不遵从触发词高度规律，模型可能依赖表层模式而非视觉证据，改进方向是引入人工撰写查询、真实对话日志或对抗性改写来增加表面多样性，并报告对句式扰动的鲁棒性。其二，评测与奖励均依赖 LLM 裁判：判分标准（尤其组件级『同时满足』要求）的细则解释会影响分数，作者也观察到 GPT-5-mini 倾向按更严格的次要标准给 FAIL；改进方向是为部分任务设计程序化可验证的判分（如假前提的正确值抽取比对），或将裁判与规则系统加权融合。其三，GRPO 数据量极小（100 条）且规模曲线在 100–150 条即饱和，说明奖励信号是瓶颈而非数据量，改进方向是训练专门的奖励模型或引入过程级（组件级分解）奖励，而非依赖每次调用 GPT-5-mini。其四，只在 2B/3B 模型上验证，而基线显示 72B/78B 模型从行为引导提示获益更大，微调与提示的收益在更大模型上是否叠加未知。其五，超参 λ=0.3 由试点实验选定，缺少敏感性分析，不同应用对『过度拒绝 vs 错误回答』的权衡不同，应报告 λ 扫描曲线。其六，事实性提升并未解决视觉接地错误（纠正时看错字），改进方向是在奖励中加入接地定位信号或结合视觉定位监督。每个弱点都有清晰的实验路径，说明该框架仍有较大提升空间。

作者提出的方向包括：把任务形式化与评测框架扩展到音频模型、图像生成模型等其他模态与模型类别；构建跨任务、跨模态、跨规模的更全面不遵从基准。基于本文成果还可以自然延伸：第一，把选择性不遵从纳入完整的对齐流程（如 RLHF、Constitutional AI），使其成为预训练后对齐的标准维度而非事后微调补丁；第二，用组件级过程奖励或 DPO 变体替代单一标量奖励，直接针对『哪个成分该拒』建模，可能进一步压低 Answerable 损失；第三，研究复合查询难度与模型规模的 scaling 关系——数据显示闭源模型单-复合落差更小，值得系统刻画；第四，把三联体配对设计迁移到 agent 场景（工具调用中部分子任务失败时的选择性处理）和多轮对话（用户后续追问中的前提维护）；第五，训练独立的『可回答性/前提错误检测器』在推理时辅助 VLM 分解查询成分，以非微调方式提升小模型；第六，将拒答校准与不确定性估计文献连接，用 conformal 方法给出带置信的拒答阈值；第七，针对视觉接地类纠正错误，引入带定位标注的纠正数据或接地一致性奖励。

复现条件总体良好。代码与数据集已在 GitHub 公开（https://github.com/mz-kim/KoNA），含 9,300 对 QA 的完整三联体数据、五类任务的生成与过滤 prompt（附录 L 逐一给出）、评测 prompt 和训练超参。图像来自公开的 MS COCO 与 Open Images V7（OOD 测试用 CC3M），生成依赖 GPT-5 与 Gemini-2.5-Flash 的 API，主要成本为 API 费用与测试集 MTurk 人工验证（作者限定 HIT 通过率 >98%、历史完成 >10,000 的工人）。训练在 8 张 RTX A6000 上完成，仅涉及 2B/3B 模型、SFT 3 轮加 GRPO 30 轮（视觉编码器冻结），对学术实验室属于可负担规模；超参披露完整（Qwen2.5-VL-3B 学习率 $5\times10^{-5}$、InternVL3-2B 学习率 $2\times10^{-5}$，GRPO 学习率 $5\times10^{-6}$、$\beta=0.01$、每输入采 4 个回复、$\lambda=0.3$）。评测基于 lmms-eval 与 vLLM（贪心解码、最大 2,048 token），裁判为 GPT-5-mini 并附人工 640 条的一致性校验。复现风险主要有二：LLM API 版本迭代可能导致生成数据与裁判打分漂移，以及 GRPO 奖励对裁判措辞的敏感性；建议复现时固定 API 版本并复跑论文中的交叉裁判一致性检查。总体难度中等，最费力的环节是数据重生成与人工验证，若直接使用发布数据则只需单机多卡即可复现训练结论。