汇聚而非放行：注意力如何将潜变量带入可言说形式 Gathered, Not Admitted: How Attention Brings a Latent Variable into Verbalizable Form

第一步，基准构造：每实例一段 FLORES-200 文本加共享算子表（如 Finnish→W、Japanese→K），五条指令对应五臂，全部强制选择打分，并维护五条设计不变量（标签对称、标签不入段落、强制选择、按带前导空格的延续形式评分、单 token 性按 tokenizer 过滤——本文 tokenizer 下数字非单 token，故数值潜变量不可用）。第二步，进入效应：200 个语义实例上做以实例为单位的配对 bootstrap（10000 次），得 flexible−control 的 $\Delta R_z=+0.0891$、$\Delta M_z=+2.79$ 而准确率差恰为 0；同设计的 flexible−supplied 对比在 phi-4、Llama-3.1-8B、gemma-4-31B 上重跑。第三步，可得性：残差流查询位置上跨四臂联合训练的多项式探针，层选择只在内训练划分上做。第四步，传输测量：把供体激活补进目标臂，读出固定在补丁上方 3–5 层，按残差流/注意力/MLP 分解，$n=120$、四个供体配对、Benjamini–Hochberg 在每配对内部校正。第五步，行为窗口：式 (2) 的干扰项受控反事实率 $\hat\Delta=\mathbb{E}[\mathbb{1}\{a=s_d\}]-\mathbb{E}[\tfrac{i}{|D|}\mathbb{1}\{a=s\}]$ 沿深度扫描（$n=150$），并列报告任务准确率以识别 wholesale 复制；再用“早层安装、固定晚带读出”直接测存活。第六步，跨架构：gemma-4 上按分数深度重扫；Llama-3.1-8B 作为天花板不足的反例。第七步，必要时性（对多达 32 条同臂校准记录的留一均值消融）与中介（投影掉静态透镜方向 $J_\ell^\top W_U[z]$，配随机方向、对手概念均值、最差对手、正交化四重对照）。第八步，同一批 80 个试验上比较三个组件的读出位移与行为效应（§8 的方法学警告）。

四项新颖性。(1) 可见度与可得性的解耦本身是概念贡献：需求把 $R_z$ 抬高 +0.0891 而行为准确率纹丝不动，且同一个探针在所有臂上都能读出 z——“更可见”不等于“才变得可得”，这直接反驳了准入叙事的前提。(2) 因果增量而非机制平移：注意力搬运内容是已知的（Geva 2023、Todd 2024、Gurnee 2026 的 relay heads），本文的增量在于需求依赖——上下文逐字相同、变量从未被点名，传输量却随任务问法改变；对照臂的窗口峰值浓度只有 flexible 臂的约七分之一（4.2× 对 30.3×，区间不重叠）。(3) 窗口两条边界都是测出来的而非断言的：下缘是存活失败（L33 安装的值到固定读出带已完全消失 +0.0048，L36 约剩一半，L39 起饱和），上缘是破坏（L48 后准确率塌至 0.17–0.21，供体符号被整体复制）；窗口在混合注意力的 64 层 Qwen（可解释格 0.56–0.66）与 62 层稠密的 gemma-4（唯一可解释格恰在分数深度 0.60）落在同一相对深度。(4) 方法学：规范不变性论证证明任何以 $J_\ell$ 为矩阵、非零次齐次的量都随模型不可检测的重参数化移动（$\tilde J_\ell=(a_{L-1}/a_\ell)J_\ell$），据此淘汰了一个候选检查点；供体配对种子敏感性（单配对多报 7–64% 的显著成分，且不稳定者几乎全是单个头）与标签对称守卫都是补丁文献首次报告。

弱点一：机制证据几乎全压在一个混合注意力架构的单检查点上；L39/H15 由数据筛选而来（尽管有 n=25 筛选池对 n=55 留出集的确认划分——反事实 +0.400→+0.364、中介 +0.120→+0.218，留出集反而更强）。改进：在 gemma-4 稠密模型上配自拟合透镜重复中介与消融，作者已给出组件级分解接口（其 L37 分解显示连该架构上也没有组件能复现整流的 +0.170）。弱点二：无法区分“注意力输出携带全部”与“部分”，因为独立补丁效应在非线性网络中不可加；改进方向明确——用路径补丁（Goldowsky-Dill 等）把注意力→MLP→读出的路径分解。弱点三：“下缘是再推导”只是倾向性解释：补丁段落尾部十二个 token 的干预自身不传输（+0.0007–0.0025）也无增量，作者自记为死结；真正检验需要覆盖整段的重写式干预或可控长度段落。弱点四：三种读出的深度峰值相差约十五层（$R_z$ 峰在 L26、$L_z$ 峰在 L41，达 +3.50 对 +1.22），两读出剖面相关仅 r=0.581——单读出的深度结论不可信，应把非饱和读出定为深度类主张的默认并预先注册。弱点五：设计依赖天花板准确率与单 token 化答案，数字型潜变量在此 tokenizer 下不可评（" 7" 为两个 token），算术类任务整体被排除；改进是重构模板使答案为字母符号或改用多 token 分段评分。弱点六：探针是线性多项式且跨臂原始迁移很低（control→automatic 仅 0.213，去均值后才 0.675），说明各臂占据激活空间不同区域，探针读出的“z”未必是任务级抽象而可能与词法/脚本特征相关；改进是用反事实配对训练探针并报告概念级而非 token 级解码。

作者指出的方向：定位真正设定传输量的“路由门”——汇聚层注意力质量的 demand 敏感性（中位数比 1.90×）是最近似门控的证据，可沿注意力模式与头分解继续追；从段落到查询位置的“写电路”未定位（未找到任何传输变量的段落片段）；把窗口结构推广到更多潜变量与更多架构，尤其 MoE（作者因 router 混杂主动排除了 MoE 候选）。基于本文成果可延伸的：其一，把 §8 的“读出位移≠使用”落成安全审计协议——Prosvirnin 等用每层 top-k J 空间 token 评危险识别，本文主张任何此类分数前必须加因果步骤，这可直接改造其评测流水线；其二，静态透镜方向 $J_\ell^\top W_U[z]$ 的投影是零训练干预，可测试其作为 steering 向量的潜力并与 McKenzie 等的内生抵抗研究对撞；其三，在第二个检查点上构造准确率匹配的 supplied 臂，首次给出干净的 2×2 分解（作者称“不便宜”但可行）；其四，追踪任务把汇聚摊到 L39 与 L48（线性注意力层）而语言任务集中于单头 H15——“任务复杂度如何决定汇聚的头级集中度”值得专门研究（Gupta 等已在别的模型类中观察到头主导随复杂度移动）；其五，与 J 空间思维链（Wu 等 2026）对撞：若推理在 J 空间进行，本文的汇聚窗口是否构成信息瓶颈；其六，下缘的存活失败提示“早写晚读”的失败模式，可量化残差流中值的半衰期并连接到过平滑/归一化衰减的文献。

可复现性工程化程度在同类论文中罕见地高。代码 MIT 许可开源（github.com/parsa-mz/innerj）；论文声明每个数字都由命令行入口写入磁盘 JSON/JSONL 工件、无一转录，附带审计命令逐字核对文中数值与工件树，头部数字从工件重推导。五个检查点全部公开并给出精确 HF revision（如 Qwen3.6-27B@6a9e13bd）与透镜文件 SHA-256（27B 透镜 3,303,032,772 字节）；基准生成器、五条设计不变量及其守卫测试、四臂/五臂数据集（1954 条记录，354 条五臂完整）随工件发布。因 FLORES-200 有共享许可约束，发布记录中段落被替换为语言码+行号，但一条命令可在固定 revision 逐字节重建（重建件为 FLORES 派生品，CC BY-SA 4.0）。三个透镜为作者自拟合（闭式 Jacobian 估计：每 prompt 512 次反传、每反向 8 个输出维度、120 条 wikitext 段落、fp32 存储），两个用已发布透镜——其中旗舰 27B 透镜不带配置与收敛痕迹，作者如实指出并因此让复刻自拟合。无文本解码、全强制选择，随机性（实例划分、供体配对种子 0–3、bootstrap 10000 次）全部固定并声明。算力：bf16 下 27B 模型约需 54GB 显存（单张 A100/H100 80GB 可跑），透镜拟合与逐组件补丁扫描的反复前向/反传是主要开销；在 8B–9B 模型上复现进入效应门槛低得多。综合：数据代码充分、随机性可控、审计机制严格，主要难度在 27B 级算力与透镜拟合工程细节，属中高难度但完全可行的复现。