自回归马赛克：探测纯文本语言模型的二维空间推理能力 Autoregressive Mosaics: Probing 2D Spatial Reasoning in Text-Only Language Models
AM-Bench将空间组合与代码表达分离：纯文本LLM仅编码通用布局，具体画面生成时才逐步确定
前置知识
自回归生成
大语言模型逐 token 生成文本，每一步都以已生成的前缀为条件。写代码画图时，模型按顺序产出一条条绘图语句，后面的语句只能看到前面已写下的内容，无法回头修改。这一机制决定了“先规划后执行”与“边写边定”是两种可被实验区分的行为模式。
论文的核心问题正是：模型是在生成代码前就形成了完整布局计划，还是在自回归过程中逐步决定每个形状的位置。最后的因果干预实验直接检验这一点，是理解结论的关键。
线性探针（linear probe）
在冻结的语言模型上训练一个简单线性映射（如岭回归），从模型内部激活（残差流）中解码某个目标变量（如画布占用网格）。若探针能预测目标，说明该信息以线性可读的形式存在于表示中；但可解码只说明信息存在，不等于模型在使用它。
实验 3 用线性探针检验模型生成前是否编码了布局计划，是论文回答“内部表征是否存在”的核心工具；后续因果干预又补上了“是否被使用”这一环。
交并比与 PIoU
IoU 衡量两个区域的重叠程度，等于交集面积除以并集面积，取值 $[0,1]$。本文的 PIoU 是按参考部件逐一计算 IoU 再取平均：$\text{PIoU} = \frac{1}{n}\sum_{i=1}^{n}\frac{|R_i \cap \hat{G}_i|}{|R_i \cup \hat{G}_i|}$，且在连续坐标上用精确多边形裁剪计算面积，与画布分辨率无关。
翻译任务用 PIoU 做光栅化前的符号化评分，通过阈值 $\tau_{trans}=0.6$，是排除“布局差只是因为代码写得差”这一替代解释的控制手段。
VLM-as-judge
用视觉语言模型按评分细则给生成图像打分以替代人工。本文用两个独立评委（Qwen2.5-VL-7B 与 InternVL3-8B）在提示保真、形状、颜色、空间、完整性 5 个维度打 0–5 整数分，并用 350 对图像、2 名人工标注者验证评委与人类判断的一致率。
布局任务的提示是欠指定的，不存在参考几何，只能靠 VLM 评委打分；评委的可靠性、系统性偏差（两评委相差约 0.9 分但排序一致）直接决定结论强度。
数据污染（data contamination）
预训练语料中大量包含某种格式（如公开的 SVG 标记），模型可能只是检索记忆过的模式而非真正零样本推理，导致评测分数虚高、高估真实能力。
论文特意设计自定义 6 原语画布 API 而不用 SVG，并在实验 2 中实证 SVG 会因训练暴露虚高布局分数（平均 +0.37），这是全文评测设计的关键考量。
决定系数 $R^2$ 与 $\Delta R^2$
$R^2$ 表示回归模型解释目标方差的占比，0 为不优于均值预测，可为负。本文用 $\Delta R^2$ 表示基于激活的探针相对文本基线（TF-IDF）多解释的方差，用以排除“探针只是在读提示词信息”的混淆；另用 split-half 可靠性给出探针可达的上限。
实验 3 的核心指标就是 $\Delta R^2$，它把“编码了布局”与“只是编码了提示隐含的布局”区分开，是解读内部表征结论的钥匙。
研究动机
纯文本训练的 LLM 有时能写出画出可辨识图像的程序——GPT-4 被“画独角兽”时输出了可辨认的 TikZ 图。但这背后有两种截然不同的可能：模型内部真的构建了二维空间布局表征，还是仅仅把空间描述翻译成代码？现有评测把多个因素纠缠在一起：识别类基准（DORI、VRUBench、3DSRBench）需要图像输入，只测识别不测生成；生成类评测只看最终输出，无法区分“模型不会空间组合”“不会用指定编程语言表达布局”和“输出媒介本身限制了表达”三种失败。更麻烦的是，现代 LLM 在预训练中见过海量公开 SVG 标记，还被微调做过 SVG 生成，直接用 SVG 评测空间推理可能测的是记忆检索而非零样本布局组合，分数会被系统性抬高。
本文的目标是本文要构建 AM-Bench 基准，把空间组合能力与空间表达能力分离，并回答三个递进问题。其一，模型在布局任务上的差异究竟是不是代码能力造成的——用翻译任务作控制组：把完整几何以行列网格语言写进提示，只考“把已知布局写成代码”。其二，输出媒介（程序化画布代码 vs 原生 SVG）是否主动约束了模型能表达什么。其三，模型在写下任何绘图代码之前，残差流中是否已存在粗略布局计划，生成过程中是否真的使用它——把分析从行为层面推进到表征层面。
与已有工作不同的是，独特切入是三层分离设计。第一，翻译/布局双任务对照：所有模型都近乎满分通过翻译（中位 PIoU=1.0）之后，布局分数的方差才能干净地归因于空间组合而非代码能力，这是此前 SGP-GenBench、ASCII/平面图类基准都没做过的解耦。第二，为规避数据污染，作者自创了一个预训练中不存在的 6 原语画布 API，并反向利用 SVG 消融量化记忆化带来的虚高。第三，方法学上从行为走向表征：用模型自己对同一提示全部有效生成的平均占用图（共识占用）作为连续回归目标，解决欠指定提示没有唯一真值的问题；再把目标分解为“其他 7 个模型的共识”（共享成分）与残差（特异成分），区分提示隐含的通用布局与模型自己将画的具体画面；最后用纯文本坐标替换做行为层面的因果检验。
核心方法
直觉上，问“LLM 脑中有没有画面”不能只看画得好不好：画得差可能是不会构图（组合失败），也可能是画不出来（表达受媒介限制）。AM-Bench 把一幅图像定义为“自回归马赛克”：模型写一小段 Python 程序，用 6 个原语（fill、set_pixel、rect、circle、line、poly）配合算术、迭代和数学在 $24\times24$ 画布上渲染，光栅化用 Bresenham 直线、中点圆填充和多边形填充，并限定 30 种命名颜色以防颜色分词成为混淆因素。在此媒介上跑两个任务：翻译任务（控制组）把每个形状的位置、大小、颜色用行列网格语言完整写进提示且不给真实物体名，正确答案近乎逐句转录，用精确面积 PIoU 在光栅化前的连续坐标上打分，与分辨率无关；布局任务（目标）只给物体名和粗略外观（如“德国国旗”），由两个 VLM 评委按 5 个维度打 0–5 分。围绕它们设计三个实验分别检验行为输出（Exp 1）、媒介影响（Exp 2）与内部表征（Exp 3）。
核心创新是“翻译-布局”任务对的逻辑：翻译任务相当于发给模型一张文字版完整图纸，通过它（阈值 $\tau_{trans}=0.6$ 在看到任何分数前预定，随机放置基线均值仅 0.072、95% 分位 0.253）即可证明代码能力不是瓶颈，之后布局分数的差异才可解释为组合能力的差异。第二个关键创新在探针目标：欠指定提示 admits 许多合法布局，单次生成的占用图并非良定义真值（模型自身共识对单参考的平均预测只有 0.688，对文本基线 0.625，8 个模型中 4 个差距不足 0.05），作者改用该模型对同一提示全部有效生成的逐格平均占用作为连续目标；再将目标拆成“其余 7 个模型的留一共识”（共享成分）与相减后的残差（特异成分），从而把“提示隐含什么”与“这个模型要画什么”在解码层面分开。这与 Othello-GPT 式世界模型探针一脉相承，但加上了容量控制、控制任务和可靠性上限。
方法步骤详情
第一步，提示集：布局任务 150 条，分 T1 元素/T2 图标/T3 组合三层 × 5 子类，由 Claude Opus 5 合成并人工把关；翻译任务 145 个参考几何（另有 100 个按部件数 3→16、最小特征 0.15→0.045 等四难度轴程序构建的压力参考与 13 个手绘图标，仅用于两模型试点）。第二步，生成：8 个开源模型各对每条布局提示采样 11 次（1 确定性+10 随机），共 13,200 次，98.0% 可执行渲染，其中 7.4% 为平凡均匀填充；翻译 13,920 次。第三步，评分：翻译在光栅化前的连续坐标上按精确面积 PIoU 打分，附过度涂画惩罚 $\text{PIoU}_{pen}=\text{PIoU}\times(1-\text{过度涂画比例})$；布局由 Qwen2.5-VL-7B 与 InternVL3-8B 按提示保真/形状/颜色/空间/完整性 5 维打 0–5 分（≥3.0 通过），并以 350 对人工标注验证（两标注者 α=0.60，评委与人类一致率 82.4%/76.7%）。第四步，媒介消融（Exp 2）：同提示分别用画布代码与原生 SVG 生成，SVG 统一从矢量源重光栅化为 24×24，剥离渲染保真度差异，评委提示改为媒介中立版。第五步，探针（Exp 3）：对 145 条提示各做一次前向，取全部层（33–65）与 3 个 token 位置的残差流，经标准化+PCA+岭回归预测 6×6 共识占用图，超参只在训练折内选择，报告外折 $R^2$ 与相对 TF-IDF 基线的 $\Delta R^2$，配置换/嵌入层对照、split-half 上限与 BH 校正。第六步，行为因果检验：在第一条绘图语句后截断生成，把模型自己的下一条语句坐标改到未用区域（中位 9px）或将要填充的区域（中位 4px），另有空追加与原样追加两对照，731 条生成 × 每臂 9 次续写共 26,316 个续写，比较续写率与剂量效应。
技术新颖性
技术新颖性有四点。其一，首次把“代码绘画”评测拆成表达（翻译）与组合（布局）两个可分别测量的量：SGP-GenBench 直接给 SVG 打分、ASCII/平面图基准测别的平面结构，都不做此分离；PRISM 虽区分“能跑”与“空间正确”，但未提供组合能力的控制组。其二，用自定义、预训练中不存在的原语词汇规避数据污染，并反向把 SVG 消融变成污染效应的量化实验：分辨率匹配后 8 个模型全部提升、6 个单独显著，CodeLlama 34B 最大（+0.76），与其 SVG 训练暴露假设一致。其三，探针方法学严谨：连续共识目标、split-half 可靠性上限（0.883–0.978）、置换与嵌入层对照、嵌套交叉验证防选择泄漏、prompt 聚类 bootstrap，以及对“探针只是读提示”的显式排除（$\Delta R^2$ 相对文本基线）与共享/特异分解。其四，行为因果检验的干预设计极干净：新坐标在数字字面量的源偏移处拼接，原语类型、大小、颜色、参数个数、空白与引号风格逐字节保留，1462 次替换中剥离数字后与原语句完全相同，保证只有位置不同。
实验结果
实验 1：8 个模型全部通过翻译任务（中位 PIoU=1.000，13,920 次尝试中 98.1% 越过 0.6 阈值，随机基线仅 0.072），证明代码能力不是瓶颈；但布局分数差异巨大：GLM-4 32B 最佳（J1 3.57/J2 4.33），CodeLlama 34B 最差（1.75/2.87），两评委排序完全一致（Spearman ρ=1.0）但绝对分差约 0.9。意外发现 T2/T3 倒置：组合类反而好于图标类（J1：2.69 vs 2.45；J2：3.52 vs 3.43），Gemma 2 27B 倒置最强（J1 Δ=−0.90），归因于 24×24 分辨率装不下图标精细结构；平凡均匀填充率 CodeLlama 34B 在 T1 达 26.9%；1E 颜色分区最易（3.93），2C 日常物体最难（1.97）。实验 2：换原生 SVG 后所有模型涨分，分辨率匹配后池化 Δ=+0.37（95% CI [0.26,0.47]），CodeLlama 34B 最大 +0.76、Qwen2.5-Coder 32B 仅 +0.09，说明绝对分数受媒介与训练数据暴露影响，但模型相对排序保持。实验 3：8 个模型生成前残差流均可线性解码出显著高于文本基线的布局（平均 ΔR²=+0.164，范围 +0.130 至 +0.205，p_FDR≤0.0004），但共享/特异分解显示仅共享成分可解码（R²=0.550/0.573）、特异成分 ≤0.005（上限 0.883–0.941）——模型只编码提示隐含的通用布局，不编码它将画的具体画面。行为因果干预：把已完成形状的坐标移到未用区域使 GLM-4 32B 续写率从 43.8% 升至 84.6%（Δ=+0.415）、Gemma 2 27B 从 2.5% 升至 41.2%（Δ=+0.387），且 4px 小位移效应（+0.084/+0.155）显著弱于 9px，呈剂量效应——生成中模型增量追踪文本几何状态而非执行预先固定的计划。附录 DINO 分析还发现逐 token 熵与局部结构一致性跨模型强相关（ρ=0.93），Llama 3.1 8B 与 CodeLlama 34B 所有层级轮廓系数为负，存在概念坍缩。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 布局任务（VLM 评委均分，0–5） | 双评委 5 维均分，≥3.0 通过 | 最佳 GLM-4 32B：J1 3.57 / J2 4.33 | 最差 CodeLlama 34B：J1 1.75 / J2 2.87 | 头尾相差约 1.8 分；两评委排序完全一致（Spearman ρ=1.0）但 J2 系统性宽松约 0.9 分 |
| 翻译任务（代码表达控制组） | 精确面积 PIoU，阈值 0.6 | 8 模型中位 PIoU 均为 1.000，98.1% 尝试通过 | 类型与数量匹配的随机放置：均值 0.072，95% 分位 0.253 | 所有模型远超阈值与随机基线，证明代码能力非布局差异的瓶颈 |
| 输出媒介消融（150 条布局提示） | VLM 均分差 Δ（SVG − 画布，24×24 分辨率匹配） | 池化 +0.37（95% CI [0.26, 0.47]） | 自定义画布代码媒介（原生未匹配对比为 +0.49） | 8/8 模型方向一致，6/8 单独显著；CodeLlama 34B 最大 +0.76，与其 SVG 训练暴露假设吻合 |
| 生成前布局可解码性（Exp 3 阶段一） | ΔR²（残差流探针 − TF-IDF 文本基线） | 8 模型平均 +0.164（+0.130 至 +0.205，p_FDR≤0.0004） | TF-IDF 文本基线（置换对照 −0.036 至 +0.002） | 共享成分 R²=0.550/0.573，特异成分 ≤0.005（上限 0.883–0.941）：只编码通用布局而非具体画面 |
| 行为因果干预（Exp 3 阶段二） | 坐标移位后的代码续写率变化 Δ | GLM-4 32B +0.415（43.8%→84.6%）；Gemma 2 27B +0.387（2.5%→41.2%） | 原样追加自身语句（null asis）与空追加对照 | 均 p_FDR=0.0007；4px 小位移仅 +0.084/+0.155，剂量效应排除伪影 |
| pass@10（布局任务，附录） | Pass@k：有效∧非平凡∧VLM≥3.0 的通过率 | 最强三模型 0.92–0.93，T3 达 0.96 | Gemma 2 9B 0.66、CodeLlama 34B 0.69 | 即使允许 10 次采样，模型间差距依旧显著，且 T3 上差距最大（模型在组合题上最分化） |
局限与改进
作者承认的局限：仅评测 8 个开源模型（8B–34B），四家族各取两尺寸出于可用性而非受控 scaling 设计，更大或闭源模型未测试；24×24 马赛克只是空间能力的必要条件探针，不覆盖深度、遮挡与自我中心连续性；VLM 评委引入方差（排序一致且经人工验证，但 α=0.60 仅中等）；实验 3 的干预只改生成代码文本而非内部激活，不能确证解码表征在驱动行为（需激活补丁）；数值分词混淆未直接排除，只有翻译满分的间接证据；压力阶梯与图标集仅两模型试点，周期性难度轴未测试；145 个参考中 17 个因歧义被简化，其上分数略低（14B：0.96 vs 1.00）。我的补充：150 条提示由 Claude Opus 5 合成，可能带生成模型风格偏置；24×24 分辨率本身可能系统性压制 T2 图标得分，高分辨率下 T2/T3 倒置是否消失未验证；两评委均为 7–8B 级 VLM，对块状像素图的感知偏差未做敏感性分析，与人类约 1/5 的分歧率限制绝对分数可信度。
独立分析的弱点
第一，媒介与能力仍纠缠：Exp 2 证明换媒介分数整体上移，但论文没有给出“无污染且表达力强”的理想媒介——自定义 6 原语 API 因只文档化填充形式，导致 5 个含未填充轮廓的图标只得 0.731、其余 8 个满分 1.000，说明词汇设计本身就能造成大起大落；改进方向是对多套原语词汇做交叉消融。第二，探针只在生成前做一次前向，无法刻画计划随生成的演化；行为干预又只动文本不动激活，两者只是间接证据链——应做激活补丁直接干预解码表征并观察输出。第三，VLM 五维整数打分粒度粗，两评委绝对分差约 0.9，跨论文比较几乎不可能；应扩大人工标注做评委校准或改用成对比较。第四，共享/特异分解与因果干预都只覆盖两个最强模型（731 条生成），“模型只编码通用布局”在其余 6 个上未验证；moved-used 条件 4px 位移与目标块重叠 64–69%，实为弱操纵。第五，GLM-4 32B 有 21.3% 生成带代码注释（会预告下一条原语，构成前视混淆），虽做了去注释分层，但提示评测协议对模型行为习惯敏感，需更系统排查。
未来方向
作者提出的方向：把基准扩展到更广的空间类别并加入更大规模的多标注者人工验证；将压力测试阶梯（含新的周期性档）与图标集推广到全部 8 个模型；引入更多输出媒介设计，配合留出罕见组合与匹配规模蒸馏基线的严格记忆化控制；用激活补丁在表征层面直接检验内部空间规划；扩展到 3D，例如 SceneScript 式结构化语言媒介。基于本文成果可延伸的方向：一是“计划何时形成”的动态探针——在每条语句生成后解码占用图，绘制布局从通用到具体的收敛轨迹，为增量构建假设提供表征侧证据；二是利用“特异成分不可解码”的发现研究生成前布局是如何被采样随机性选定的，可能催生可控布局注入（在生成前把目标布局写入激活）或多样性可控的图像码生成；三是把媒介消融框架推广到 HTML/CSS、LaTeX TikZ、Graphviz 等其他可能被记忆的格式，刻画“格式先验 vs 空间能力”的量化曲线；四是用同一基准对比纯文本 LLM 与视觉语言模型，检验视觉预训练是否真正改善 2D 组合而非只是识别。
复现评估
复现条件较好。作者承诺公开全部代码（执行器、评测流水线、翻译打分器、DINO 分析与实验脚本）、所有提示与生成结果。模型均为开源权重（8B–34B），但 Gemma 2 27B/9B、CodeLlama 34B、Llama 3.1 8B 为受限许可，需接受协议下载；评委 Qwen2.5-VL-7B 与 InternVL3-8B 单卡 BF16 即可（约 1.7–2 秒/图）。计算量中等：布局 13,200 次 + 翻译 13,920 次生成 + 26,316 次干预续写，逐模型加载，单张 A100 级 GPU 数天内可完成。统计纪律严格：所有随机操作显式传种子、同硬件逐位复现，翻译压力测试、零基线与实验 3 重跑完全复现已报数字；BH-FDR 校正、prompt 聚类 bootstrap（10,000 次重采样）、嵌套交叉验证、split-half 上限、置换与嵌入层对照齐备。注意点：旧版 MLP 探针路径跨 CPU/GPU 不保证逐位一致（差异 <0.01）；Qwen2.5-Coder-14B 的熵值为 teacher-forcing 事后计算；VLM 评委对提示模板敏感，须使用附录 A.2 的逐字系统提示与评分细则。总体难度中等偏低：无需训练任何模型，只有岭回归探针与轻量分析。
论文图表
图标集失败案例分析：不含未填充轮廓的图标模型能精确复现；含轮廓环把手的图标（如剪刀、咖啡杯）模型画成实心圆盘。原因并非推理失败，而是系统提示只文档化了填充形式的原语。
揭示评测媒介词汇设计本身会制造失败模式：5 个含轮廓的图标得分 0.731、8 个不含的满分 1.000，说明“指令说了什么”与“工具能做什么”同样重要。
八模型的逐 token 生成熵对局部结构距离散点图：秩相关 0.93，线性拟合 R=0.80，每个点标注其对趋势的残差（Gemma 2 27B 最负、CodeLlama 34B 最正）。
关键的方法学警示图：表面上“画得一致”大部分由采样确定性解释而非空间可靠性，提醒读者不要把 DINO 一致性直接当布局能力读。