Game2Real-Bench：玩具游戏能否揭示并迁移到真实世界视觉推理 Game2Real-Bench: Do Toy Games Reveal and Transfer to Real-World Visual Reasoning?
1400样本游戏-真实对齐基准：游戏与真实推理性能强相关(r=0.935)，但游戏示例迁移因能力而异
前置知识
视觉语言模型 (VLM)
视觉语言模型是同时接收图像与文本输入、以文本形式输出的大规模多模态模型，通常由视觉编码器（或编码器-free 的视觉 token 化模块）与大语言模型骨干组成。它能完成图像描述、视觉问答、多图对比等任务，其「视觉推理」指超越识别物体类别，理解对象间关系、约束交互与状态变化的能力。
本文的全部实验对象就是 25 个 VLM（Qwen3-VL、InternVL3.5、Gemma4、GPT-5.6-Sol 等），要读懂模型在各能力组上的得分差异，必须先理解 VLM 的输入输出形态与典型失效方式。
程序化生成与可验证求解
指用可执行的任务生成器从预定义配置范围中采样问题状态，同时渲染图像、生成问题并独立计算标准答案；再配一个确定性求解器/验证器，通过约束求解、几何变换、状态模拟或图搜索等手段程序化地校验答案的正确性、唯一性或最优性。这样无需人工标注就能规模化产出带可靠真值的样本。
Game2Real-Bench 的 1000 个游戏样本和 Game2Real-Dataset 的 23893 个样本全部由「生成器+验证器」流水线产出，这是论文声称评测可靠、数据可扩展的根基。
上下文学习 (ICL) 与 one-shot 迁移
上下文学习指不改模型权重，只在推理时把少量「输入-答案」示范拼进提示词，从而引导模型行为。one-shot 即只给一个示范。本文把一个已解答的玩具游戏样例（图像+规则+问题+最终答案）作为示范，前面拼上真实世界目标问题，观察真实任务得分如何变化，以此度量「游戏到真实」的迁移。
论文第二个核心问题「解好的游戏样本能否帮助真实任务」完全通过 one-shot ICL 实验回答，涉及 168 个示范样本、3 个随机种子和 4 个被测模型。
Pearson 与 Spearman 相关系数
Pearson 相关 $r$ 度量两组数值的线性关联，计算为 $r = \frac{\sum_m (G_m-\bar{G})(R_m-\bar{R})}{\sqrt{\sum_m (G_m-\bar{G})^2}\sqrt{\sum_m (R_m-\bar{R})^2}}$；Spearman 相关 $\rho$ 则把分数换成各自排名后再算相关，衡量排序是否保持一致。本文以 25 个模型为观测点，把每个模型的玩具游戏总分与真实世界总分配对计算这两个系数。
$r=0.935$、$\rho=0.935$ 是论文的头号结论——游戏评测能反映真实推理的模型级排序，理解这两个系数的含义才能正确解读该结论及其边界（模型层面而非题目层面）。
Thinking 模式（测试时扩展推理）
指让模型在给出最终答案前先生成较长的中间思考链（如 段或 API 的 reasoning token），用额外的推理时计算换取准确率。代价是延迟和 token 消耗，收益因模型规模与基础视觉能力而异。
论文用 thinking/非 thinking 对照分析推理预算的价值：四个模型全部提升，但 GPT-5.6-Sol 提升 41.5 分而小模型仅提升约 6 分，这揭示了「推理算力红利」与基础视觉能力的关系。
研究动机
现有视觉推理评测分成两条互不对话的路线。一条依赖真实世界数据：MMMU、MME-RealWorld 等保留了自然场景的复杂性，但标注昂贵、答案验证依赖人工、题目常混入外部知识；BLINK、BabyVision 等虽揭示了模型在基础视觉技能上的短板，却难以程序化地规模化扩展。另一条依赖程序化生成的玩具任务：CLEVR、Game-RL、VBVR-Pro 等可以低成本生成大量样本并程序化验证答案，但其简化的视觉环境让人怀疑——在合成图片上考出来的感知、空间、约束能力，究竟是不是真实场景照片、视频、多视角观测所需要的那种能力？此前的工作（如 Game-RL 用游戏训练提升推理、VBVR-Pro 展示对外部基准的迁移）只能通过外部基准的聚合分数间接推断这层关系，从未有人把两种设置放在同一框架下逐模型、逐能力地直接对照。核心疑问悬而未决：玩具游戏测出的能力与真实世界视觉推理是否对应？解好的游戏样例又能否作为有用的示范迁移过去？
本文的目标是本文要构建一个把玩具游戏与真实世界任务显式连接起来的评测框架 Game2Real-Bench，具体目标有三：第一，按「共享推理需求」而非视觉相似性，把 18 个玩具游戏任务与真实样本对齐到四个能力组（细粒度感知、空间推理、约束推理、序列规划），形成 1000 游戏样本 + 400 真实样本共 1400 条的评测集；第二，用这 25 个 VLM 的成对得分量化两个设置在模型层面的性能对应关系，回答「游戏能否揭示真实能力」；第三，通过受控的 one-shot 上下文学习实验回答「游戏示范能否迁移到真实任务」，并同步发布近 24K 可验证样本的 Game2Real-Dataset 支撑后续训练研究。
与已有工作不同的是，本文的独特切入是把「游戏-真实关系」本身作为研究对象，而不是把游戏仅当作又一个测试集或训练数据源。技术上它做了三件前人没做的事：（1）显式的机制级对齐——每个真实样本都带一个主游戏任务标注，连接依据是推理操作（视觉证据、空间操作、约束、状态转移）而非画面风格，例如 Cube Net 的 2D 展开图与 IKEA 装配说明书都被归入「二维规格到三维构型」的同一种空间解释需求；（2）双向受控对照——游戏评测集与数据集用不相交的随机种子和布局独立生成，用语义指纹和图像哈希去重，保证相关性分析不被数据泄漏污染；（3）迁移效应的隔离测量——固定 400 个真实目标题与评测器，仅改变随机分配的游戏示范（3 个种子），把示范带来的净效应 $\Delta_{m,c}$ 分能力干净地测出来。
核心方法
直觉上，如果玩具游戏与真实任务锻炼的是同一种推理肌肉，那么同一个模型在两边得到的分数排序就应该一致，且解好的游戏例题应该像「例题」一样帮到真实考试。沿着这个直觉，论文搭了三阶段流水线。阶段一（任务设计）：围绕四能力组织任务空间，设计 18 个玩具游戏任务和 65 个 QA 族，QA 族规定每个任务的记号、坐标系与输出约定（如 Rolling Cube 问滚转若干步后顶面/正面符号，Hexakai 要求报告指定格子的数字）。阶段二（程序化生成与验证）：每个任务配一个可执行生成器，从配置范围采样结构参数（拓扑、约束、路径、状态转移）与表现参数（渲染方式），联合产出图像、问题和由独立求解器算出的真值；再由确定性验证器做正确性、唯一性、最优性检查与元数据完备性检查，产出 23893 条的 Game2Real-Dataset，并用不相交种子独立生成 1000 条评测样本。阶段三（真实世界策展）：从 11 个公开数据源挑出或重构 400 条真实样本，每条记录其主游戏任务标注，经自动一致性检查与人工复核后入库。
核心创新是把两个视觉域按「共享推理需求」焊接在一起，并证明这种连接有经验效力。与已有工作的本质区别在于：CLEVR 类合成基准只用合成场景自测自证；Game-RL、Play to Generalize 关心的是游戏训练能否带来外部增益，用聚合分数间接推断；而 Game2Real-Bench 首次在同一能力框架内同时给出演化对齐的游戏评测与真实评测，用模型级配对相关（$r=0.935$）直接回答对应性问题，再用受控 one-shot 实验回答迁移性问题。此外，答案完全由程序生成和验证——图像由生成器渲染、真值由独立求解器重算或与可执行规则核对，彻底绕开了人工标注的噪声与成本，使 23893 条训练级数据可以按需扩展。
方法步骤详情
第一步，任务设计：确定四能力组——细粒度感知（Missing Tiles、Hidden Object、Dot Shape、Color Swap）、空间推理（Cube Net、Cylinder Coloring、Block Counting、Rolling Cube）、约束推理（Hexakai、Tapa、Battleship、Block Island、Pipe）、序列规划（Laser、KeyPath Quest、Growing Trail、Mancala、Rush Exit），共 18 任务 65 QA 族，覆盖开放式与单选两种题型。第二步，实例生成：生成器采样有效问题状态，结构参数控制拓扑/约束/路径/状态转移，表现参数控制视觉编码，同时保留用于验证与去重的结构化元数据。第三步，程序化验证：验证器用约束求解、几何变换、状态模拟、图搜索或转移重放重算结果；要求唯一解的任务显式检查替代解，允许多解的任务保留全部可接受答案，要求最优的任务与求解器最优解比对；最后过一遍记录完整性、图像有效性、答案空间一致、多图对齐等共享检查。第四步，真实策展：从 GQA、OmniSpatial、SPair-71k、Visual-Jigsaw、CAPTURe-real、All-Angles-Bench、IKEA Manuals at Work、SpatiaLQA、SSI-Bench、VisualTrans、ReasonMap 共 11 个源构建 400 条（每能力 100 条），其中 246 条保留原始 QA、72 条轻改、32 条由标注新构（27 条 SPair-71k 关键点匹配 + 5 条 IKEA 装配状态），50 条 SpatiaLQA 恢复了官方动作-内容与前置条件图。第五步，评测：25 个模型全部零样本、统一任务指令，开源模型走 VLMEvalKit 官方权重，专有模型走 API；游戏侧按 QA 族的答案模式归一化输出并由确定性评测器打分，真实侧沿用源基准评测器或统一标准。第六步，one-shot 迁移实验：从 Game2Real-Dataset 取 168 条已验证样本（14 个任务各 12 条）作示范池，对 400 个真实目标按种子 $s\in\{11,23,37\}$ 随机各分配一个示范并保证四能力各 100 次，示范以「用户回合给游戏图+规则+问题、助手回合只给验证过的最终答案」的角色感知对话拼入，四个 Qwen 模型共用同一批分配，得分对 3 个种子取平均后与零样本基线相减得 $\Delta_{m,c}$。
技术新颖性
技术新颖性体现在四点。（1）对齐原则本身：以推理需求的机制对应（如「隐藏立方体的 2D 投影还原」对应 CAPTURe-real 的真实场景计数）取代视觉相似性，这是把合成-真实关系做成可分析对象的前提。（2）可靠性工程：每任务独立求解器 + 数据级共享检查 + 语义指纹与图像哈希去重，杜绝评测集与数据集重叠；附录还公开了每条真实样本的构造来源（如 IKEA applaro 例子精确到 8 帧的秒级时间戳与裁剪时间带防泄漏）。（3）统计严谨度：相关性分析明确以 25 个模型为观测单位（$r=0.9345988$、$\rho=0.9346154$），并用 10000 次 paired bootstrap 给出置信区间、等能力加权、仅开源模型子集、11 源逐一剔除（leave-one-source-out，$r$ 保持在 0.928–0.966）等多重敏感性检查——这种透明度在基准论文中少见。（4）迁移实验的控制变量设计：目标题、评测器、模型配置全部固定，只随机化示范分配，使 $\Delta_{m,c}$ 可以干净归因于游戏示范本身。
实验结果
发现一：基准很难且区分度强。GPT-5.6-Sol 以 69.8% 的总分居首，Gemini-3.1-Pro-Preview 59.6%、Claude-Opus-4.8-thinking 53.7%；开源最强是 Qwen3.8-27B 的 52.6%，22 个开源模型中 16 个低于 30%。玩具游戏侧普遍比真实侧更难：最佳专有与最佳开源模型在感知/约束/规划上的差距达 16.3、39.0、20.4 分，而真实侧差距被压缩。发现二：游戏-真实强对应。25 个模型的游戏总分与真实总分的 Pearson $r=0.935$、Spearman $\rho=0.935$（均 $p<0.001$），排序基本保持；该结论对加权方式稳健（等能力加权 $r=0.935$，95% CI $[0.903,0.974]$；仅 22 个开源模型 $r=0.960$；等权 11 源 $r=0.964$；剔除 SpatiaLQA 后 $r=0.946/0.933$；逐一剔除任一源后 $r\in[0.928,0.966]$），但对答案格式敏感：仅 164 条非单选题时 $r$ 降到 0.857（按样本均值）甚至 0.766（按能力均值）。发现三：能力结构随设置改变。序列规划是最稳定强项（25 个模型中 15 个在游戏侧、17 个在真实侧将其排为最高分能力）；细粒度感知在游戏侧平均最弱、在真实侧反而靠前；约束推理则持续困难并保持专有-开源鸿沟。发现四：one-shot 迁移有选择性。约束推理平均提升 4.89 分（Qwen3.5-9B 从 24.32% 升至 39.94%，三个种子增益 14.56–16.64 分，但 Qwen3.5-4B 反而下降）；细粒度感知平均下降 4.92 分且四个模型无一幸免；总平均下降 1.34 分，只有 Qwen3.5-9B 整体转正（+1.49），Qwen3.8-27B 几乎持平（-0.33，内部是约束 +2.67 与规划 -3.33 的抵消），2B/4B 模型三个种子全部为负。发现五：thinking 全面有效但红利悬殊：GPT-5.6-Sol 从 28.27% 暴涨到 69.8%（+41.53 分），Gemma4-31B-it +11.09、Qwen3.5-2B +6.23、Step3-VL-10B +5.95，说明推理预算的价值依赖基础视觉能力。发现六：失败模式可归为三类——空间结构误解（Block Counting 无法从 2D 投影恢复隐藏方块与柱状结构）、关系推理不一致（Hexakai 中 Gemini-3.1-Pro 擅自改变约束线归属、Qwen3.8-27B 未验证关系就删候选）、状态更新不可靠（Mancala 中 Qwen3.8-27B 连续追踪多步后在满足条件时漏掉捕获更新）。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 25 个 VLM 整体评测（1400 样本） | Overall 平均分 (%) | GPT-5.6-Sol 69.8（基线开源最佳 Qwen3.8-27B 52.6） | 次优专有模型 Gemini-3.1-Pro-Preview 59.6；16/22 开源模型 <30 | 较次优 +10.2 分；较开源最佳 +17.2 分 |
| 游戏-真实性能对应（25 模型层面） | Pearson r / Spearman ρ | 0.935 / 0.935（p<0.001；仅开源模型 r=0.960） | 无先验对照（首次直接测量） | 多重稳健性检查后保持 0.928–0.966 |
| 约束推理 one-shot 游戏示范迁移 | 真实侧平均变化 (百分点) | +4.89（Qwen3.5-9B：24.32%→39.94%，+15.62） | 零样本（无示范） | +4.89；9B 模型三个种子均 +14.56~+16.64 |
| 细粒度感知 one-shot 游戏示范迁移 | 真实侧平均变化 (百分点) | −4.92（4 个模型全部下降） | 零样本（无示范） | 无（一致负迁移），总分平均 −1.34 |
| Thinking 模式增益（GPT-5.6-Sol，1400 样本） | Overall 变化 (百分点) | +41.53（28.27%→69.80%） | 非思考配置 28.27% | +41.53；对比 Gemma4-31B-it +11.09、Qwen3.5-2B +6.23 |
局限与改进
作者明确承认三点局限：任务覆盖有限——18 个玩具任务与 400 条真实样本不足以覆盖自然环境中的全部视觉推理；迁移设置单薄——只做了 one-shot 上下文学习，未探索多示例、监督微调或强化学习路径；相关性只是模型层面的一致，不能证明两个设置依赖相同的内部推理过程。我的补充观察：（1）对齐是不完全的，Table 9 显示 18 个任务中只有 14 个找到真实世界对应（Hexakai、Pipe、Laser、Rush Exit 无真实样本），主标注也只是「主要需求」而非一一对应，因此 0.935 的相关反映的是全套件的总体对应，不能推断单个任务链接的预测力；（2）组成敏感性不可忽视，去掉连续评分的 SpatiaLQA 或只看 164 条非单选题时相关掉到 0.766–0.857，说明结论对评分口径有一定依赖；（3）玩具游戏更难的解释（受控规则需精确满足）没有被直接验证，也可能部分源于严格的输出格式与解析；（4）真实侧每能力只有 100 条样本，细粒度感知的非单选子集仅 12 条且全部来自 GQA，能力级结论的统计功效有限；（5）one-shot 使用随机分配而非能力匹配检索，测得的是随机示范的净效应，无法区分格式线索与任务内容的贡献。
独立分析的弱点
弱点一：相关性的归因模糊。0.935 的模型级相关可能部分由模型通用能力/规模驱动——强模型在哪边都强，未必说明游戏任务「测到了」真实推理的同一种内部过程；改进方向是做行为级对照（同一模型在配对题目上的逐步推理轨迹比较）或表征分析，验证共享推理需求的内部实现。弱点二：玩具游戏的「更难」可能是伪信号。游戏侧要求严格遵循 QA 族的记号、坐标与输出约定，低分可能混入大量格式失败而非推理失败；改进方向是报告格式合规率与「格式修正后」的推理得分，或对输出做宽容解析。弱点三：负迁移机制未拆解。细粒度感知一致下降 4.92 分，但论文只推测是「无关示范引入干扰上下文」，未区分是长上下文稀释注意力、任务规则串扰还是输出格式误导；改进方向是消融示范的角色（只给答案 vs 给规则 vs 给图像）与示范能力匹配度。弱点四：one-shot 随机分配离实用还有距离。现实中人们会检索相似例题；论文自己指出这是与「能力匹配选择」比较的基线，后续应实现基于嵌入检索或能力匹配的示范选择并对比。弱点五：约束推理增益的可推广性存疑。增益集中在 2B/9B/27B 三个 Qwen 模型且种子间波动明显（Qwen3.5-9B 的整体变化范围 $[-1.09,+3.14]$），未在专有模型上重复该实验。
未来方向
作者提出的方向：扩展任务类型与视觉设置，保持游戏-真实对齐原则；把 Game2Real-Dataset 的近 24K 样本用于多示例提示、监督微调与强化学习，系统研究游戏到真实的训练式迁移；深入研究两个设置中共享推理需求如何被内部表示和使用（行为对应分析）。基于成果可自然延伸的：一是「验证器即奖励」的 RL 训练流水线——18 个任务都带确定性求解器，天然适合 GRPO 类可验证奖励训练，然后直接在 400 条真实样本上测泛化；二是检索增强的示范选择（用嵌入在 168+ 池中选能力匹配或结构相似的示范），检验能否把约束推理的 +4.89 扩展到感知与规划；三是把四能力分解做成诊断工具，定位模型微调后的具体退化；四是扩充真实侧规模与非单选题比例，降低当前 0.766–0.857 的格式敏感性区间；五是跨模态扩展，把状态转移类任务（Mancala、Rush Exit）接到视频输入上考察时序状态跟踪。
复现评估
复现条件较好。开源情况：基准、数据集、生成器、验证器与代码均在 GitHub（QingAnLiu/Game2Real-Bench）公开；附录给出了完整的任务清单（Table 2：65 QA 族、23893 样本、每任务开放/单选样本数与图像数）、真实样本来源与构造方式（Table 5）、IKEA 例子的帧级时间戳（Table 6）、one-shot 对话模板（Figure 7）与全部提示词约定。数据：评测集 1400 条（1000 游戏 + 400 真实）与训练级 23893 条游戏样本随代码发布，游戏侧真值由程序生成无需人工；真实侧样本源自 11 个公开数据集，需自行下载源数据并按论文的保留/改写规则重建（附录 C 给出评分规则）。算力：被测开源模型 2B–35B，单张 A100/H100 即可推理大部分模型，30B 级需多卡；专有模型走 API（会产生费用）。统计细节透明：相关系数精确到 $r=0.9345988$、$\rho=0.9346154$，bootstrap 固定种子 20260925、10000 次重复，one-shot 用种子 $\{11,23,37\}$。主要门槛在于 25 个模型的完整评测矩阵（含 thinking 双配置）的推理成本，以及真实侧部分样本（IKEA 视频、SpatiaLQA 图）的源数据获取与重建工作量。总体属于中低难度的可复现基准工作。
论文图表
