视觉-语言模型的跨描绘装配指令对齐：基准测试与机理分析 Benchmarking and Mechanistic Analysis of Vision-Language Models for Cross-Depiction Assembly Instruction Alignment

步骤 1：数据筛选。从 IKEA Manuals at Work 36 款产品中剔除 ≤2 步骤的 4 款（任务约束）与 3 款数据质量问题（pahl 空白图、sundvik 重复图、grubban 标注不一致），保留 29 款、97 段视频、2,569 帧。步骤 2：文本描述生成。用 Claude Opus 4.6 对 132 张示意图沿 8 个维度（部件、动作、工具、空间、结果、警告、紧固件、箭头）独立生成结构化描述，平均长度 952 字符；交叉验证 96.2% 与真实部件清单一致；后处理用正则替换清除 23 条「step N」跨步骤引用以防泄漏顺序。步骤 3：题目构造。所有题目由时序标注确定性地生成：每步从标注段均匀采样 4–8 帧；T1/T4 用相邻步骤示意图作 4 选 1 干扰项，迫使模型做细粒度匹配；T2 配匹配或相邻步骤图形成 53/47 正负二分类；D1 配同步骤/不同步骤视频形成 47/53 二分类；D2 选 3 张连续步骤图，枚举 4 种排列中正确 1 种与 3 种排列作干扰（仅连续三元组，避免粗粒度部件匹配）。步骤 4：三种 alignment strategy。Visual：仅示意图+视频；Visual+Text：示意图后追加文本描述，系统提示词补充「text is supplementary annotation」；Text Only：删除所有示意图、只保留文本描述并改写系统提示词。步骤 5：评测。所有 17 个开源模型在单卡 H200（141GB）以 bfloat16 精度、greedy 解码（max_new_tokens=1024）零样本评测，解析率 94.1%，无法解析按错答处理；Gemini 模型仅跑 Visual、走 Google AI Studio API。步骤 6：三层机理分析。Layer 1 对 113 对步骤，用 forward hook 提取 ViT 最后一层与 projector 后特征，mean-pool 成向量 $\mathbf{z}_d, \mathbf{z}_v \in \mathbb{R}^d$，分别算 CKA、训练 logistic 探针预测视频帧对是否同步骤、在 2,546 帧库中做余弦检索 R@1/R@10。Layer 2 对 100 道 T1，在 Visual 与 V+T 下提取 LLM 最终层最后输入 token 隐藏状态 $\mathbf{h}_{\mathrm{last}}\in\mathbb{R}^d$ 与按模态平均的 $\bar{\mathbf{h}}_m$，用 cosine 相似度 $s_m = \cos(\mathbf{h}_{\mathrm{last}}, \bar{\mathbf{h}}_m)$ 量化示意图像素影响度。Layer 3 对 Qwen3-VL-8B 的 6 个均匀分布解码层（{0,7,15,23,31,35}/36），抽取最后 token 的 32 头注意力 $a_m^{(l)}=\sum_{i\in I_m} a_i^{(l)}$，按模态聚合后跨层跨头平均，量化 V+T 是否把注意力从示意图/视频抢到文本上。

技术新颖性体现在三方面。第一，把 cross-depiction 问题从静态物体识别升级为「时空程序性+双向匹配」，并明确提出 depiction gap 概念，给出系统基准。第二，benchmark 设计引入 anti-shortcut：相邻步骤作负例迫模型做细粒度区分、文本后处理防顺序泄漏、option 顺序随机化平衡位置偏置（17 模型聚合 T2 49% A 率、D1 52% A 率），是少数兼具严谨统计性质与生态效度的 VLM 评测。第三，三层机理探针首次把 CKA（结构层）、cosine 相似度（表征层）、注意力份额（信息流层）联合用于同一问题的归因，并在 Qwen3-VL-8B 上同时观测到隐藏状态 -59% 与注意力 -52% 的「同向坍缩」，给出「text 不仅是补充、还会主动抢走视觉处理资源」的强证据，这是过往 NOTICE、Hidden Life of Tokens 等单层机理工作无法达到的多层级一致性论证。

独立分析的可改进弱点有四处。第一，文本描述质量瓶颈：当前用单一模型 Claude Opus 4.6 生成 132 条描述，平均 952 字符偏长且含少量顺序泄漏（已正则清理但仍可能影响 Text Only 数值），可改用多人复核或 ensemble 标注提升一致性。第二，ViT 表征零共享的修复未在论文中给出实证：CKA ≈ 0 与 R@1 < 5% 表明预训练 ViT 从未见过「示意图↔视频」配对，仅靠 LLM 端无法补救；建议在 projector 前增加 schematic-real 对比学习 adapter、或引入第二阶段跨描绘预训练，并提供 pre/post 探针对比验证。第三，D1 视频辨别硬上限意味着 backbone 对装配场景的时序结构不敏感，建议加时序感知的视频采样（如关键帧对比 + 步骤级时序位置编码），并提供 vanilla vs 加时序感知的对照实验。第四，alignment strategy 选择缺乏自动化路由机制，目前只能人工根据子任务选 Visual/T，仅 27.5 个产品 × 6 任务 × 17 模型的策略网格导致每个 cell 样本数偏低；可训练一个轻量 router（基于子任务类型+模型族+输入特征预测最佳 strategy），并发布成下游工具。

作者明确提出的方向包括：(1) 把 benchmark 扩展到 IKEA 之外的其他装配领域（汽车、电子、医疗器械），验证 depiction gap 是否普遍存在；(2) 引入 L2/L3 任务：错误检测（用户用错螺丝型号）、空间指令、零件 ID 验证、实时对话、主动干预；(3) 增加闭源模型覆盖与多模态对齐策略；(4) 探索更细粒度的视觉编码器改进，如 schematic-to-real 对比预训练与 adapter tuning。基于论文成果可延伸的方向还包括：(a) 用 Layer 1 的 CKA 与 R@K 作为评测指标筛选预训练 ViT，把视觉编码器挑选从「家族经验」变成「表征度量驱动」；(b) 把 Layer 2 的 cosine influence score 与 Layer 3 的 attention share 联合训练一个轻量可解释「模态贡献度计」，用于部署时监控 VLM 是否在「走视觉路径」还是「偷懒走文本」；(c) 借鉴 D1 反向利用 video discrimination 作为辅助训练信号，对抗性增强 ViT 的程序性表征；(d) 把相邻步骤负例思路迁移到 multi-step planning 与 embodied AI 评测，构造真正的程序性负例库。

复现性整体较高。项目页 https://ryenhails.github.io/IKEA-Bench/ 提供 benchmark 数据集与示例；论文附录 B 详述数据筛选、题目构造、文本生成 prompt、正则清洗规则与 per-product 统计（Table 7/Table 8），附录 C 给出 19 个模型在三种 strategy 下的逐项结果（Tables 9–13）、parse rate、API 配置、5 个代表模型的策略效应（Table 14），附录 D 给出 ViT hook、token 分类、CKA、logistic 探针、attention extraction 的完整实现细节。开源模型在单卡 H200（141GB）、bfloat16、greedy（max_new_tokens=1024）即可复现；闭源 Gemini 走 Google AI Studio API 复现门槛低。作者承诺数据集与代码在项目页发布，没有量化预训练成本（论文未涉及）。需要警惕的复现陷阱：(1) Qwen 家族用 tile-based ViT、InternVL 需去掉 CLS token 后再 mean-pool，否则 Layer 1 数值偏差较大；(2) GLM-4.1V-9B 与 Qwen3.5 需 SDPA 而非 Flash Attention 2，attention 实现错选会导致数值漂移；(3) Layer 3 的 GQA 扩展（8 KV → 32 Q）必须显式 repeat-interleave 并在 float32 算 softmax，否则长序列（11K token）下数值不稳定。整体复现难度为中等，对熟悉 VLM 内部 hook 与 attention 机制的研究者约需 1–2 周。