世界模型需要多少次曝光？在测试时学习未见过的游戏机制 How Many Exposures Does a World Model Need? Learning Unseen Game Mechanics at Test Time
预训练世界模型经约80次曝光即掌握八成新游戏机制，测试时训练使智能体效率分数翻三倍
前置知识
世界模型
学习环境动力学 $p_\theta(o_{t+1} \mid o_{t-h+1:t}, a_{t-h+1:t})$ 的神经网络，能从历史帧和动作预测环境的下一状态，从而支持在想象中规划与训练策略。典型代表如 DreamerV3，在潜空间中预测并在解码后重建帧；通常需要与环境交互 $10^4$ 到 $10^8$ 步才能学好一个环境，之后模型参数即被固定。
本文的全部问题都围绕世界模型展开：测量的对象就是世界模型对新游戏机制的预测准确率，WARC 本身是一个像素空间世界模型，而 WARC-Agent 则用它来排序探索动作。
测试时训练
在推理阶段用自监督损失对测试输入本身做梯度更新后再预测的范式。模型先对当前输入做出预测，再用这条输入的真实目标（如下一帧）更新参数 $\theta_{t+1} = \theta_t - \eta \nabla_\theta \mathcal{L}$，使权重携带刚刚见过的新证据。在 ARC 静态谜题上，对每个谜题的示范对做测试时训练已是标准做法（VARC）。
WARC 的核心机制就是沿游戏流做逐转移的在线测试时训练——每次转移先预测再更新全部参数，论文中大部分消融实验都在回答这种更新为什么、以及如何让机制学习变快。
ARC-AGI-3
ARC Prize 推出的交互式游戏基准，用确定性程序定义的回合制游戏衡量智能体与人类的动作效率（RHAE，相对人类动作效率分数，0-100 尺度）。每帧是 $64\times64$ 网格、16 种颜色，动作是最多 5 个按键或点击某个格子；状态只在智能体行动时改变，游戏近乎完全可观测，分为 25 款公开游戏和 110 款 Kaggle 隐藏游戏。
它是本文唯一的实验平台：MechEval 从它的 20 款公开游戏程序中标注机制，WARC 在其人类录像上预训练，封闭循环实验和 Kaggle 提交也都发生在这个基准上。
游戏机制与曝光
机制是“一个动作或交互如何改变环境的一部分”的条件规则：机制 $m$ 把状态上的二元条件 $c_m$ 与对受作用对象的改变 $e_m$ 配对，每当 $c_m=1$ 就触发；全部触发机制的效果按程序顺序叠加成转移函数 $T(s_t,a_t) = s_t \oplus \bigoplus_{m\in\mathcal{M}_t} e_m$。一次触发就是一次曝光，与模型无关。
机制是本文的原子分析单元，曝光是横轴坐标：整篇论文的学习曲线、EtC 指标和“多少次曝光才够”的回答都以这两个概念为地基。
EtC（达到标准的曝光数）
借用人类与动物学习研究中的 trials-to-criterion：定义为学习曲线从第 $k$ 次曝光起、其后每次出现的准确率都保持在 80% 以上的首个 $k$。若机制在其最后一次出现时准确率仍低于 80%，则记为未达标（n.r.），其 EtC 取该最后一次曝光数。它衡量预测何时变得可靠，而非平均有多准。
EtC 是表 1 等主结果的核心汇总指标，WARC 的 EtC 中位数为 74 次曝光、未达标率 18.8%，与各基线的对比全靠它来量化。
VARC
在 ARC-AGI-1/2 静态谜题上做测试时训练的视觉 Transformer：把谜题当作图像到图像的翻译任务，从输入网格逐格预测输出网格的 16 色，每个谜题配一个学习得到的任务 token 来条件化网络，对新谜题训练网络和新 token 后作答。
WARC 直接继承 VARC 的 Transformer 骨干（宽度 512、10 个块、8 个头、$2\times2$ patch），但把逐谜题 token、批量测试时训练改造成无 token、逐转移在线更新，表 6 逐项列出了两者的差异。
研究动机
现代世界模型通常在与环境交互 $10^4$ 到 $10^8$ 步之后才能学会该环境的动力学，随后参数即被冻结——DreamerV3 这类模型基智能体正是如此。但智能体进入一个全新环境（例如一款从未见过的游戏）时，只能从极少量交互中摸索规则，还要在没见过的局面、物体和关卡上预测动作的效果，这与“每个环境都收集海量交互再训练”的常规流程完全冲突。研究这种小样本适应 regime 有两个空白：其一，现有方法在“预测什么、如何利用新证据”上差异巨大——有的从近期转移推断上下文向量（如 CAVIA），有的把更新摊销进超网络或专家混合，有的对模型做测试时梯度步（AdaJEPA 等）——却从未在统一协议下比较过；其二，缺乏孤立衡量“适应本身”的指标，Ying 等人已呼吁按适应效率评估世界模型，但常用指标如智能体回报把模型学习与探索、规划搅在一起。更实际的问题是：在 ARC-AGI-3 这类 $64\times64$、16 色网格游戏里，直接复制上一帧就能猜对 98.8% 的格子，因为绝大多数格子根本不变；而整局平均又会被高频机制主导，低频但关键的规则完全被淹没。
本文的目标是本文要回答一个非常具体的问题：一个在其它游戏上预训练过的世界模型，需要对一个新机制见多少次“曝光”（该机制触发并改变环境的次数），才能可靠地预测它的效果？为此论文设立三个递进目标。第一，构建 MechEval：一个直接嵌入 ARC-AGI-3 游戏程序内部的标注器，为 20 款公开游戏中的 69 种重复机制逐步记录“何时触发、改变了哪些格子”，使预测评分只落在机制真正改变的格子上，并按曝光次数为每个机制单独追踪学习曲线。第二，搭建 WARC（World model for ARC-AGI-3）：一个 35M 参数的视觉 Transformer 世界模型，在其它游戏的人类录像上预训练，沿游戏流对每次转移做全参数测试时训练，作为研究“什么让适应变快”的测试床，并借此比较梯度更新与循环状态、全参数更新与 LoRA 等设计选择。第三，把 WARC 放进一个固定的图探索器构成 WARC-Agent，检验“机制预测学得更快”能否转化为封闭循环游玩中更高的官方效率分数 RHAE。
与已有工作不同的是，本文最独特的切入是把“经验”重新定义成模型无关的曝光次数。机制 $m$ 在第 $t$ 步的曝光数为 $k_m(t) = |\{u < t : m \in \mathcal{M}_u\}|$，即此前它触发过的步数，这个量不依赖任何模型，因此不同方法可以在完全相同的 $k$ 下公平比较。评分也只落在该机制本次真正改变颜色的格子集合 $C_m(t)$ 上：这既排除了“复制上一帧”就能拿到 98.8% 全帧精度的作弊空间，又避免整局平均被高频机制主导。真值不是从帧里推断的，而是给游戏程序植入日志直接读出——每步哪些机制触发、每个机制对象的哪些格子变色——从源头消除标注噪声。与两条相关路线相比，定位也很清晰：理论式智能体和语言模型智能体把规则显式恢复成程序代码，而本文问的是“神经世界模型要多少曝光才能预测出这些规则”；已有的世界模型评测要么看视觉保真度、要么按试验预算看回报，本文则借用动物学习实验中的 trials-to-criterion 思想，为每个机制画出“准确率随曝光”的学习曲线，把动力学学习从探索和目标推断中干净地剥离出来。
核心方法
先说直觉：要让模型在几十次曝光内学会一条新规则，需要两件事同时成立——预训练给它一个“先验库存”，让它见过足够多相似机制，新规则只需对已有知识做小幅修改；以及每看到一条新证据就立刻更新参数，让权重像循环状态一样携带整条流上学到的一切。技术上，WARC 基于 VARC 的视觉 Transformer：把最近 $h=3$ 帧（$64\times64$、16 色）与动作联合切分成 $2\times2\times3$ 的 3D patch（每个 token 在时间上覆盖同样格子），逐格输出 16 色分布 $p_\theta(o_{t+1}\mid x_t)$，用负对数似然 $\mathcal{L}(\theta) = -\log p_\theta(o_{t+1}\mid x_t)$ 训练；当前动作通过自适应层归一化调制每个块，点击还向被点击 patch 中的四个格子各加一个可学习向量。预训练使用其它 16-17 款游戏的人类录像（9 万到 12.3 万条转移，每条录像增广成 51 份：旋转、翻转与颜色置换，动作随帧变换），20 款游戏分三折、每折留出待评估游戏。测试时模型先预测下一帧，再对这条转移做 20 步梯度更新 $\theta_{t+1} = \theta_t - \eta\nabla_\theta\mathcal{L}(\theta_t;\, o_{t-h+1:t+1}, a_{t-h+1:t})$，更新数据是最近 10 条转移加随机抽的 20 条旧转移及其旋转增广，所有参数都被更新。
核心创新有两层。评测层面：MechEval 把“学会了机制”操作化为“在该机制改变的格子上准确率达到并保持 80% 以上”，以模型无关的曝光数为横轴、以游戏程序日志为真值，逐机制、逐曝光地评分——这与用整帧精度或智能体回报评估有本质区别，后续的跨录像迁移实验进一步用它区分“学到规则”与“记住转移”。模型层面：WARC 沿游戏流做“先预测、后训练”的在线测试时训练，每次转移后全参数更新 20 步，并回放旧转移防止遗忘。关键区别在于：VARC 给每个静态谜题配一个任务 token 并在其示范对上批量训练若干轮，而 WARC 没有任何任务标识——新游戏的一切知识都存进权重本身，权重扮演了测试时训练层文献中“内层模型权重作为循环状态”的角色；相比只推断上下文向量（CAVIA）或只在潜空间适应的方法，全参数梯度更新让一条新规则可以修改模型的任何部分。实验证明这是快速学习的必要条件：每 5 条转移才更新一次会在前 4 次曝光上损失 10.5 个百分点，而不更新的 GRU 循环状态只能让 16% 的机制达标。
方法步骤详情
第一步，标注机制：作者先从游戏代码和屏幕转移用自然语言写出 107 条机制的码本，逐一与程序和录像核对得 81 条，再剔除 3 条从不触发、2 条从不变可见格子、7 条在中位录像中触发少于 3 次的机制，得到 69 条被评分机制；给程序植入日志后，每步记录触发的机制集合 $\mathcal{M}_t$ 及每个机制对象的变色格子，双机制共享格子的归属有明确规则（最终仅 0.03% 的变色格子落在所有区域之外）。第二步，定义指标：曝光数 $k_m(t) = |\{u<t : m\in\mathcal{M}_u\}|$（含变化不可见的触发）；机制准确率 $acc_m(t) = \frac{1}{|C_m(t)|}\sum_{g\in C_m(t)} \mathbb{1}[\hat{o}_{t+1}(g)=o_{t+1}(g)]$；EtC 为学习曲线从此恒不低于 80% 的首个 $k$。第三步，评测协议：所有模型沿相同 279 条人类录像重放相同动作、在每次更新前先预测，模型用完即弃；20 款游戏分三折，每折用在其余两折游戏上预训练的模型评估。第四步，WARC 测试时训练：每条有效转移（不跨重置、换关、结束）后做 20 步梯度更新，minibatch 为 8，数据来自最近 10 条转移加随机 20 条旧转移，每条转移连同其 3 个旋转共 31 份副本（按键重标注、点击坐标随帧旋转），Muon（二维权重）+AdamW 恒定学习率 $3\times10^{-4}$，优化器状态跨更新保留。整个配方在 MechEval 之外的 5 款公开游戏上按事先固定的规则逐一挑选。
技术新颖性
技术新颖性体现在三个层面。评测方法论上：已有世界模型评测要么扩展自视觉保真度（物理理解、机制一致性），要么像 ScratchWorld 只对动作改变的字段计分、AutumnBench 在无奖励交互后评估预测与规划，Ying 等按试验预算评估却未隔离适应本身；MechEval 首次把“逐机制逐曝光”的学习曲线与程序级真值结合，并把动物学习的 EtC 引入世界模型领域作汇总指标。模型设计上：把 VARC 的“逐谜题 token + 批量 TTT”改造成“无 token + 逐转移在线 TTT + 回放”，用权重充当循环状态——这与把适应摊销进超网络、上下文向量或混合专家的路线正交，也与 AdaJEPA 只在规划环内更新、其它工作只在残差模块中更新的做法不同。实验发现上：论文给出了几个此前未被量化的结论——预训练的游戏多样性比每游戏录像数更重要（超过 2 条/游戏后收益甚微）、更新频率主要决定前 4 次曝光的学习速度（贡献 10.5 点）而非最终上限、LoRA rank 64 可以替代全参数更新（总体仅差 1.4 点且前 4 曝光反而 +3.8 点）、带更新的 GRU 最终能追平 WARC（70.0% vs 69.1%）。这些量化结论对测试时适应与持续学习研究都有直接参考价值。
实验结果
按实验逐一展开。MechEval 主实验（表 1、图 2）：WARC 全曝光平均机制准确率 69.1%，五分之四（81.2%）的机制达到 80% 准确率标准并保持到录像结束，其中一半在约 80 次曝光内达标（EtC 中位数 74），未达标机制仅 18.8%，误编辑率 0.11%；冻结的 WARC（只有预训练、无更新）只有 18.4%，仅 10 条机制达标。把某机制的转移从更新缓冲中剔除（更新次数不变）后，其准确率回落到冻结水平，说明增益来自机制自身的转移而非对游戏整体的泛适应。基线方面：情景检索 32.9%（16 条达标），说明大多数机制无法靠查表预测；从头训练 35.0%、EtC 105、一半机制未达标且误编辑率 1.15%；GRU 循环状态不更新仅 24.0%（16% 达标）；DreamerV3 更新后仍只有 25.9%、EtC 114、未达标 90.8%，误编辑率高达 3.07%。泛化实验（图 3、4）：在一条录像上适应后无需更新即可预测游戏其它录像中的同一机制，未见过的按键预测在 10-19 次曝光时升到约 80%、点击约 70%，但第 2 关（适应录像未到达）的点击只有约 40%；定性上，一次新的向上移动后 WARC 能预测首次向左移动，看过两个瓷砖后能预测点击第三个新瓷砖。副作用：学会移动后，被墙挡住的首次移动会被预测为穿墙（该保持不变的格子只有 58% 保持，冻结版为 89%）。消融（表 2、图 5）：去掉预训练全曝光掉 34.1 点、前 4 曝光掉 28.2 点且误编辑率飙到 1.15%；每 5 条转移才更新一次在前 4 曝光掉 10.5 点；LoRA rank 64 与全参数相当；只更新最后两块或只更新调制层分别掉 4.6/9.4 点；预训练游戏数越多精确帧误差越低，但每游戏录像超过 2 条后收益甚微。封闭循环（表 3、图 6）：WARC-Agent 把图探索器的 RHAE@1000 从 0.149 提到 0.455（约 3 倍），冻结版只有 0.181，即测试时训练把分数再乘 2.5；过第一关的运行比例从 31.6% 升到 46.0%；oracle 世界模型再翻约 3 倍到 1.392，说明分数同时受世界模型与动作选择器制约。Kaggle 隐藏游戏公共榜最终得分 0.20。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| MechEval 机制预测（69 机制，全曝光平均准确率） | mechanic accuracy (%) | WARC 69.1% | WARC (frozen) 18.4%；情景检索 32.9%；WARC (scratch) 35.0%；DreamerV3 25.9% | 较冻结版 +50.7 个百分点，较最强基线 +34.1 个百分点 |
| MechEval 达标曝光数 | EtC（中位数，曝光次数，越低越好） | 74 | WARC (frozen) 114；情景检索 109；WARC (scratch) 105；DreamerV3 114 | 约一半机制在约 80 次曝光内达标，未达标率从 85.5% 降到 18.8% |
| MechEval 未达标机制比例 | n.r. (%) | 18.8% | WARC (frozen) 85.5%；DreamerV3 90.8%；WARC (GRU) 84.1% | 未达标比例降至约五分之一 |
| MechEval 预测误编辑率 | false-edit rate (%) | 0.11 | DreamerV3 3.07；WARC (scratch) 1.15 | 低约 28 倍（相对 DreamerV3） |
| 封闭循环游玩（25 款公开游戏，10 种子，前 1000 动作） | RHAE@1000（官方动作效率分数，0-100 尺度） | WARC-Agent 0.455 | 图探索器单独 0.149；Graph+WARC (frozen) 0.181；从零 CNN (StochasticGoose) 0.099 | 相对探索器约 3 倍（配对区间 +0.27 [0.10, 0.48]，相对冻结版 2.5 倍） |
| 封闭循环过第一关比例 | L1@1000 (%) | 46.0% | Graph 31.6%；Graph+WARC (frozen) 34.4%；Random 10.4% | +14.4 个百分点（相对探索器） |
| Kaggle ARC-AGI-3 竞赛（110 款隐藏游戏） | 公共榜分数（RHAE） | 0.20 | 无（隐藏游戏基线不公开） | — |
| oracle 世界模型上限分析 | RHAE@1000 | oracle 1.392（WARC-Agent 0.455） | Graph 0.149 | oracle 约为 WARC-Agent 的 3 倍，说明动作选择器仍是瓶颈 |
局限与改进
作者承认的局限：MechEval 只覆盖 20 款公开游戏的第 1、2 关，且仅限变化可归因到单个物体的游戏（另外 5 款因关节重叠或整关被画成单个精灵而排除）；只在人类录像到达过的局面评分，因此“达标”弱于一般意义上的规则掌握；完全不为游戏目标建模，而目标每关变换一次、不属于被评估的重复机制；封闭循环中的动作选择器是手工设计且跨条件共享，所以结论只关乎世界模型而非完整智能体；即使换成 oracle 世界模型，探索器仍在 5 款游戏上一关都过不了；所有结果来自单一基准的确定性、离散 $64\times64$ 游戏，逐转移权重更新在连续或随机动力学下是否同样有效未经验证；Kaggle 隐藏游戏不公开，0.20 的成绩与公开游戏上的结论可能相去甚远。我补充的观察：其一，k=0 时包括 WARC 在内的所有模型准确率都只有约 3.7%，说明预训练没有带来任何“零样本规则迁移”，80% 标准下 74 次曝光的中位数相对人类也仍然偏高；其二，逐转移 20 步全参数更新使每个动作耗时 0.74 秒，9 小时预算下单游戏只够约 380 个动作（1000 步时 46% 过关，砍到 380 步降为 40%），计算开销直接侵蚀智能体的行动预算；其三，学习曲线在“对当前录像而言全新的局型或关卡”处会骤降再恢复，计数器类机制因进度条移动不规律、3 帧窗口难以解析而系统性偏差，说明权重知识对分布漂移和输入歧义仍然脆弱。
独立分析的弱点
第一，早期曝光冷启动：k=0 时 WARC 只有 3.7% 的机制准确率，与所有基线一样几乎从零学起，说明预训练形成的不是可组合的机制原语，而是一般化的动力学先验；改进方向是把机制显式模块化（检索式机制库、按机制描述生成参数的超网络），追求一两次曝光即迁移。第二，计算成本：0.74 秒/动作中大部分花在 20 步梯度更新上，直接压缩了封闭循环的行动数；LoRA 在前 4 次曝光反而 +3.8 点，暗示更廉价的参数化更新值得深挖，或用元学习把适应摊销成单次前向。第三，穿墙幻觉：模型学到动作效果却没有学到“接触与阻挡”的物理约束，首次被挡的移动中 42% 的该不变格子被误改；可在训练中加入接触机制的对比样本，或把接触预测作为辅助任务。第四，泛化不均衡：同关卡内新位置新方向的按键预测约 80%，但跨关卡（第 2 关）的点击只有约 40%，说明布局变化下的泛化远弱于位置变化；可引入布局不变增强或物体中心的表示与评分。第五，评测覆盖：MechEval 依赖“变化可归因单物体”，排斥了 5 款公开游戏，只看前两关、只限 69 条人工标注机制；扩展到自动机制发现、更多关卡乃至程序生成的新游戏会显著提高基准的外部效度。第六，探索器瓶颈：20% 的“本可过关的决策点”探索器选了别的动作（它按新颖度排序并以 0.2 概率随机行动），5 款游戏连 oracle 世界模型也过不了——世界模型再好也需要目标推断与规划模块配合。第七，长时程遗忘未刻画：更新缓冲只有约 30 条转移加增广，机制学习曲线在全新局型处骤降再恢复，但数百条转移后旧机制是否被遗忘、回放预算如何随游戏规模缩放，论文没有给出数据。
未来方向
作者明确提出的方向：把 MechEval 式评分推广到其它环境——机器人仿真器等只要能记录“哪些机制触发、各自改变了什么”即可按同样协议评分；用它给语言模型智能体写出的程序化世界模型（OPINE-World、Tycho 一类）逐机制打分，比较代码式与神经式规则学习的曝光效率；让智能体把在玩中学到的世界模型当作模拟器，测试候选动作或向目标滚出规划。基于本文成果可以延伸的：其一，把逐转移梯度更新与循环状态结合——表 8 显示更新后的 GRU（70.0%）能追平 WARC（69.1%），两者的互补机制与最优混合方式尚不清楚；其二，在更大、更多样的游戏集合上预训练并拟合“机制学习曲线随预训练规模”的缩放律（图 5 已显示游戏数持续降低精确帧误差）；其三，把测试时训练推广到连续控制与随机动力学，检验恒定学习率逐转移更新是否仍稳定；其四，把 WARC-Agent 的新颖度探索换成基于模型的值估计或目标条件规划，缩小与 oracle 的 1.392 差距；其五，研究机制间的组合与干扰，例如用更大的回放缓冲或参数保护（EWC 类）刻画长期遗忘；其六，把 EtC 式“曝光效率”作为通用指标推广到视频世界模型与具身智能体的在线适应评估，让“学得多快”成为与“学得多好”并列的标准维度。
复现评估
复现条件总体较好。代码、Kaggle notebook、预训练与测试时训练代码及模型权重已开源，地址为 third-intelligence/WARC；MechEval 的标注与评分器承诺发布。基准数据是 25 款公开游戏的 279 条人类录像（共 29,893 条转移、49,596 个评分出现），可从 ARC-AGI-3 公开环境重放并经程序日志校验（只保留帧与录像完全一致的片段）。算力方面：预训练每折在 6 块 RTX PRO 6000 GPU 上需 13-20 小时、共三折；测试时训练与全部评测单 GPU 即可完成，Kaggle 提交在 1 块 GPU 上 9 小时内跑完（每游戏约 280 秒）。协议高度确定：游戏本身是确定性程序，模型沿固定录像重放，三折划分与用于调参的 5 款游戏固定，结果报告了 3 个测试时种子（WARC 种子间差异在 0.3 点内）与 2,000 次分层自助重采的 95% 置信区间。复现难点主要在细节照抄：预训练 51 份增广副本与测试时 31 份副本的构造、动作随帧旋转与按键重标注、Muon+AdamW 混合优化器及恒定学习率 $3\times10^{-4}$、“最近 10 条 + 随机 20 条”的回放构成，都集中在附录 C/D；若要为新游戏自行标注机制，需按作者的码本流程并配双评分者（与作者类目一致性 $\kappa\approx0.77$）。综合评估属于中等偏易的开源复现，单卡实验室即可完成全部核心实验。
论文图表
左半：WARC 先在多款游戏的录像上预训练（上），进入新游戏（下）后由最近三帧加动作预测下一帧，随后更新权重，持续沿游戏流在线学习。右半：MechEval 对每个触发的机制，在更新之前对该机制改变的格子给预测打分；曝光 $k$ 计数该机制此前的出现次数，准确率从某个 $k$ 起持续不低于 80% 即为达标（图中示例在第 5 次曝光达标）。
这张总览图同时交代了论文的两大贡献：WARC 的“先预测、后更新”在线测试时训练流程，和 MechEval 的逐机制逐曝光评分协议，是理解全文框架的入口。