共享符号而非向量：跨语言模型的免训练事实通信 Share the Symbol, Not the Vector: Training-Free Fact Communication Across Language Models
发送方只传共享词表的词索引，接收方用自己的词向量把事实写入隐状态，免训练实现跨模型通信
前置知识
残差流与隐状态（hidden states）
Transformer 每一层在每个 token 位置上维护一个向量，所有层通过加法更新共享的同一条向量通道称为残差流。所谓「把事实写入模型」就是在某一层的某个位置上，给这个向量加上（或替换成）一个新向量，之后的层照常计算。
SYNC 的全部操作对象就是接收方的隐状态：构造词方向、在指定层写入事实、缓存写入后的前缀，都发生在残差流上。不懂隐状态的层级结构就无法理解「写在哪一层」为何如此关键。
词方向与均值差方向（word direction）
对某个词 $w$，把同一段输入中该位置的词换成中性填充词 unknown，两次前向传播得到隐状态之差，再在 12 个通用语境上取平均，得到该词在该层的方向向量 $d_{\ell,w}$。这是激活转向文献（ActAdd、CAA）中经典的 difference-in-means 构造，纯前向传播、零训练。
SYNC 的「字典」就是 221 个符号在每层的这种方向。理解它是「词替换填充词的隐状态差」才能明白为什么它免训练、可复用，以及为什么多 token 词（如地名）会出问题。
相对深度（relative depth）
写入层的序号除以模型总层数，得到 0 到 1 之间的相对位置。0.2 附近是「浅层/早期」，0.4–0.6 是中层，0.8 是深层。不同模型层数不同，相对深度用于跨模型统一描述写入位置。
本文最重要的实验发现是写入位置决定接收方能否使用事实：早期（0.2）写入在大多数接收方上有效，中层（0.4–0.6）写入普遍失败。所有关键结论都围绕相对深度展开。
KV 缓存与前缀复用
Transformer 推理时会把已处理 token 的 key/value 存进 KV 缓存，后续 token 只需追加计算。SYNC 先把「中性前缀 + 写入事实」处理一次存为缓存，之后每个问题各复制一份缓存追加提问，两个问题读的是同一条消息。
这解释了实验设计的公平性（两个世界的问题共享同一消息）和实现细节：缓存的 key/value 必须携带事实信息，这正是「晚期写入失败」诊断（恢复早期层中性 KV 后效果消失）的验证对象。
四答选择性使用测试（four-answer success）
每个场景由两个「世界」构成：两个物体各带两个属性，第二个世界交换其中一个属性、保留另一个。接收方在每个世界中要答对两个属性问题（共四答）才算成功。例如交换糖果颜色后，「哪个是红的」答案必须变，「哪个是甜的」答案必须不变。
这个指标专测「选择性使用」而非简单复述：接收方必须既反映被改的事实、又保持未改的事实，排除了模型靠先验猜答案的可能。无消息时成功率为 0（同一输入无法给出两个不同答案）。
符号清单与索引通信（shared inventory）
双方共享一个固定的 221 个英文词的清单（主实验）或 275 个地名的清单（Countries 任务），通信内容只是词在清单中的下标和所属物体的分配。索引与任何一方的 tokenizer 无关，每个接收方自己维护「索引 → 本模型词方向」的字典。
这是全文标题「共享符号而非向量」的落点：跨模型传递的是离散的符号身份，而非连续向量，从而绕开了学习翻译器、共享 tokenizer 等假设，是免训练跨架构通信的关键。
研究动机
多智能体系统让语言模型分工协作，协作的前提是智能体之间能传递信息——一个智能体收集的证据、得出的结论必须能被其他智能体使用。目前主流做法是自然语言文本通信，而近期一系列工作开始探索直接交换模型内部状态：Ramesh & Li (2025) 的激活通信直接组合隐状态，Cache-to-Cache (Fu et al., 2026) 学习投影与融合模块来对接两个模型的注意力缓存，XKV 训练接收方感知的缓存翻译器。问题在于，这些方法要么需要训练跨模型翻译器（意味着配对数据、微调成本、每次换模型要重训），要么依赖结构兼容性假设（LatentMAS 的免训练共享只在兼容架构间成立），要么假设共享 tokenizer（CIPHER）。异构模型家族之间——比如 Qwen 发给 Mistral、Gemma 发给 gpt-oss——缺少一种既免训练又通用的内部状态通信方式。
本文的目标是本文的目标是构造一个免训练、免翻译器的符号索引接口 SYNC（Symbol-Indexed Neural Communication）：提示词驱动的发送方从只有自己可见的私有证据中选择共享清单里的词、发送索引与物体归属；接收方用自己的词方向把这些事实写入隐状态并回答问题。两个模型完全冻结，构造方向和选择写入位置只用前向传播。核心验收标准是「选择性使用」：在属性交换的双世界测试中，接收方必须对被改变的属性给出新答案、对未改变的属性保持原答案，四答全对才算成功。接口还要能不加调整地迁移到新的发送方、新的接收方、新的版式和任务。
与已有工作不同的是，本文的独特切入点是「共享符号、不共享向量」。词是模型间的天然共享参照系——不同模型内部对 red 的向量表示差异巨大，但 red 这个符号身份是共享的。受 J-space 工作（Gurnee et al., 2026，词关联的内部表征可支持模型内多查询推理）启发，作者把通信协议压缩为只传符号索引，把「如何解释」完全交给每个接收方自己的词方向字典，从而不需要学习翻译器、配对数据或共享 tokenizer。第二个独特发现来自实验设计：写入位置（早期层 vs 中层）对接收方能否使用事实有决定性影响——中层写入失败会严重低估接收方的真实能力，而他们还提出一个免任务的绑定探针可以提前预测每个新接收方的可用深度。
核心方法
直觉上，每个模型最了解自己空间里「red」长什么样，所以协议只需要约定「传哪个词」，不需要约定「向量怎么对齐」。技术路线分三步。第一步，构建字典：对接收方每一层、每个符号，用 12 个通用语境（只变换物体和符号位置，不含任何私有场景或问题）做词与填充词 unknown 的对照前向，隐状态差的平均即为该符号的方向 $d^{(R)}_{\ell,w} = \frac{1}{12}\sum_{t=1}^{12}[h^{(R)}_{\ell}(t, w) - h^{(R)}_{\ell}(t, \text{unknown})]$，每层字典算一次、所有消息复用。第二步，发送方（提示词驱动、冻结）读私有描述，为每个物体选最多 4 个清单符号，以 JSON 输出索引和 8 比特权重（自动消息权重全为 255，只测选择与归属）；发送方看不到问题。第三步，接收方在提示中为每个物体预留 4 个 unknown 槽位，跑一遍中性前缀并保存各层隐状态，然后重跑前缀、在选定层的槽位上写入 $h'_{\ell,p} = h^0_{\ell,p} + \gamma \frac{q_w}{q_{max}} d^{(R)}_{\ell,w}$，写入后的前缀存入 KV 缓存，每个问题各复制一份追加提问。最终固定配置为：相对深度 0.2 处单次写入、$\gamma = 1$、12 语境方向。
核心创新有两层分离。第一层是「符号与向量分离」：已有跨模型隐状态方法要么学投影翻译（Cache-to-Cache、XKV），要么假设架构兼容（LatentMAS）或共享 tokenizer（CIPHER），而 SYNC 传递的只是共享清单里的符号索引，每个接收方用自己的方向去解释——向量从不跨模型流动。第二层是「发送方选择与接收方使用分离」：双世界属性交换的四答测试中，发送方看不到问题，控制条件（符号-方向重排、完整事实、原生状态、文本）能分别归因失败来自哪一侧。方法层面最重要的经验发现是：写入深度决定一切——在相对深度 0.2 写入，七个 27B 以下接收方比中层（0.4–0.6）写入高出 65.0–96.2 个百分点；诊断实验表明晚期写入失败是因为后续 token 需要低层中携带事实的 key/value，而晚期写入留下的是中性的。
方法步骤详情
完整流程如下。第一步（字典构建，一次性）：对接收方每层每个符号，跑 12 个通用语境的两个版本（该位置放符号或放 unknown，多 token 符号每个 token 都换成 unknown 以保持长度），在符号末 token 位置取隐状态差并平均，得到字典行 $d^{(R)}_{\ell,w}$；输入只有公开版式，无私有场景、无问题、无他模型激活。第二步（发送）：发送方读每个物体的私有描述（如「A 是红色且甜的」），输出 JSON 格式的索引包，每物体最多 4 个符号按升序列出，附 8 比特权重；新发送方需通过预设质量门（解析率 ≥99%、召回 ≥95%、完整消息 ≥90%），Gemma-4 与 Qwen3.6 满分通过，gpt-oss 为 99.5/95.4/90.1。第三步（准备中性前缀）：接收方提示形如 $A:$[□][□][□][□]，物体标签、分隔符和权重注记可见，跑一遍得到各层各位置的中性状态 $h^0_{\ell,p}$（是接收方自己的状态，不是零）。第四步（写入）：重跑前缀，把被使用槽位的状态替换为中性状态加权重化方向 $\gamma (q_w / q_{max}) d_{\ell,w}$，未用槽位保持中性；零基写入层随模型而异（Qwen3.5-2B 与 gpt-oss-20b 是第 5 层，两个 27B 是第 13 层）。第五步（缓存与作答）：写入后的前缀存 KV 缓存，每个问题（如「哪个是甜的？」）各复制一份缓存、追加后贪心解码 64 token 作答，不再有后续写入。对照条件包括：符号-方向重排（3 个固定置换、匹配编辑范数）、完整事实消息（消除发送方误差）、原生状态参照（接收方自己读事实的隐状态放进同位置）、文本路线（把符号当普通 token 读入同槽位）。
技术新颖性
与最近邻工作的本质区别：Cache-to-Cache 需要学习跨模型投影与融合模块；LatentMAS 免训练但依赖结构兼容假设；CIPHER 免权重更新但假设共享 tokenizer；XBridge 用词锚点加学习的上下文桥接；相对表征（Moschella et al., 2023）靠共享锚样本对齐；Ramesh & Li 的激活通信直接交换原始激活。SYNC 不属于以上任何一类：它只共享离散符号索引，方向是每个接收方本地拟合、一次构建永久复用的，既无需训练也无需成对数据。与 Patchscopes、SelfIE 等「读出」隐状态的工作相反，SYNC 是「写入」，并且用受控的事实变化（属性交换）验证写入的事实真的被选择性使用，而非仅被复述。另外两项贡献也是新的实证发现：一是写入深度的决定性作用及「晚期失败原因」的因果诊断（早期写入后恢复中性 KV 可消除效果）；二是免任务的绑定探针能在测量前预测新接收方的可用深度（45/45 全对）。
实验结果
核心结果分五块。发现一（接口可迁移）：在 4 个开发接收方（Qwen3-32B、Qwen3-14B-Base、GLM-4-9B、Gemma-3-27B-IT）上固定「深度 0.2、$\gamma=1$、12 语境方向」后，不加任何调整地应用于 3 个新发送方（Gemma-4-26B-A4B、Qwen3.6-27B、gpt-oss-20b）和 5 个家族的 9 个新接收方，572 个确认场景上 25 个跨模型对全部恢复事实，四答成功 72.0–98.3%；7 个 27B 以下接收方比中层写入（每格最高仅 82.5%，Mistral 上只有 0.7%）高出 65.0–96.2 个百分点；符号-方向重排后每格至多 4.4%（含 4 个重排下仍保持 ≥95% 有效回答的接收方），证明接收方读的是符号语义而非任意编辑。发现二（写入位置决定可用性）：深度扫描（0.2/0.35/0.5/0.65/0.8）显示深度 0.2 时拟合方向在两个 Qwen 和 Gemma 上达 100%（GLM 88.5%），只有 Qwen3-32B 在 0.5 也可用；$\gamma$ 加倍到 2 时深度 0.2 仍保持 82% 以上，而 0.65/0.8 任何强度都救不回来；诊断显示早期写入后把截至 0.5 的 KV 恢复为中性会使 GLM 从 88.5% 和 Gemma 从 100% 跌到 ≤2.1%、Qwen3-14B-Base 从 100% 跌到 59.4%，而 GLM 在 0.35 直接写入只有 8.3%、在 0.2 写入再截断到 0.35 却有 72.9%，说明层间处理也参与编码。原生状态参照在早期层并无优势（GLM：方向 76.5% vs 原生 75.6%，差 +0.9 [−1.2, 3.2]）。发现三（可预测性）：绑定探针（110 个固定符号对，问哪个物体携带哪个符号，阈值 0.786）在提交预测后，9 个新接收方 × 5 个深度的 45 个预测全对（含 0.2 以外的 36 个），与成功率秩相关 0.89 [0.81, 0.96]；仅用深度的规则平衡准确率 0.87、错标 7 格。发现四（迁移到新版式与新任务）：144 个新版式场景（槽位移位/模板替换/三物体）上 6 个接收方内部路线保持 89.6–100%，18 个非劣性检验 14 个通过、4 个不确定，最大损失是 Mistral 新模板的 8.3 个百分点（文本路线全程 99.3–100%）；Countries 地标任务（275 个多 token 地名，地标跨 2–9 个 token）上 4 个较大接收方达 23.9–64.0%（Qwen3.5-27B 64.0% 最高、Mistral 23.9% 最低），无消息为 0%、重排后 ≤5.0%，早期写入比中层写入高 23.9–58.2 个百分点但落后文本 31.7–63.2 个百分点。发现五（权重即强度）：消息可携带每符号 8 比特权重，竞争值权重 $L \in \{64, 128, 191\}$ 时，写入强度路线比文本打印权重（如 red [128/255]）在 Qwen3-32B 上高 36.1 [31.0, 41.4] 点、在 Qwen3.5-27B 上高 33.8 [20.8, 48.1] 点；对 5 种其他文本格式，Qwen3-32B 上内部路线领先 15.5–31.9 点；但接近的权重仍难（$L=191$ 时 Qwen3-32B 内部 4.9% vs 文本 18.1%）。整体上，等权重事实的内部路线没有一致优势：两个最大接收方与文本持平，小接收方上文本最多好 14.1 个百分点，内部路线耗时是文本的 1.19–1.28 倍。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 主实验：3 新发送方 × 9 新接收方 × 5 模型家族，572 个确认场景 | 四答成功率 (%) | 早期写入（深度 0.2, γ=1）：72.0–98.3%，25 个跨模型对全部恢复事实 | 中层写入（深度 0.4–0.6）：0.7–82.5%；无消息：0%（构造性） | 27B 以下 7 个接收方比中层写入高 65.0–96.2 个百分点（最高 +96，Mistral 96.9 vs 0.7） |
| 控制组：符号-方向重排（3 个固定置换，匹配编辑范数与字节数） | 四答成功率 (%) | 正常接口 72.0–98.3% | 重排后每格 ≤4.4%（Holm 校正后所有对显著） | 证明接收方依赖符号语义而非任意隐藏态编辑（≥95% 有效回答的接收方上同样成立） |
| 写入深度预测：9 个新接收方 × 5 个深度，预测先于测量提交 | 预测正确数 / 与成功率的秩相关 | 绑定探针 45/45 全对；秩相关 0.89 [0.81, 0.96] | 仅深度规则：错标 7 格，平衡准确率 0.87 | 比深度规则高 0.13 [0.08, 0.19]，能区分深度规则无法区分的个案（如 0.35 深度仅 27B 与 Granite 可用） |
| 新版式迁移：槽位移位 / 模板替换 / 三物体，144 场景 × 6 接收方（完整事实） | 四答成功率 (%) | 89.6–100%（14/18 非劣性检验通过，4 个不确定） | 标准版式 93.8–100%；文本路线 99.3–100% | 相对标准版式最大损失 8.3 点（Mistral 新模板），版式变化基本不影响内部路线 |
| Countries 地标任务：275 个多 token 符号，172 场景 × 4 接收方 | 四答成功率 (%) | 内部早期写入 23.9–64.0% | 无消息 0%；中层写入 0.0–18.7%；符号重排 ≤5.0%；文本 87.1–97.2% | 比中层写入高 23.9–58.2 点，但落后文本 31.7–63.2 点（多 token 符号是短板） |
| 分级权重通信：竞争值权重 L ∈ {64, 128, 191}，144 场景 × 2 接收方 | 四答成功率 (%)，三档 L 平均 | 写入强度编码：比打印权重高 36.1 点（Qwen3-32B）/ 33.8 点（Qwen3.5-27B） | 文本打印权重 red [128/255]，另对 5 种文本格式（Qwen3-32B 上内部领先 15.5–31.9 点） | 置信词 probably 的文本格式在 Qwen3.5-27B 上反超内部路线 8.8 点；L=191 时双方都难（4.9% vs 18.1%） |
局限与改进
作者明确承认的限制：等权重事实下内部写入相对文本没有一致优势——小接收方上文本最多好 14.1 个百分点，内部路线推理耗时 1.19–1.28 倍，Countries 上文本领先 31.7–63.2 个百分点，即该接口目前最清晰的增值只在分级权重通道；范围上只有 4 个提示词发送方、13 个接收方（7 个家族）、固定清单（221 属性词或 275 个地名），两个 MoE 接收方（Qwen3.6-35B-A3B、Qwen3.5-122B-A10B）未通过预设的实现一致性检查而无结果，Seed-OSS-36B 因输出格式问题未报告；新场景复用了问题形式和部分属性组合，开放词表消息、关系型事实和 TipSheets 任务未测；从自己隐状态读符号的发送方表现很差。我自己的观察：任务全部是合成模板场景，与真实多智能体工作流（长文档、代码、数学）距离尚远；每物体最多 4 个符号、每符号 8 比特权重的带宽限制使复杂证据结构难以表达；延迟只在完整事实下测过，而缓存复用在长前缀下才更有优势，实际收益评估不完整；此外「接收方用自己的向量解释符号」意味着字典构建虽免训练但仍需对接收方做白盒前向访问，对纯 API 模型不适用。
独立分析的弱点
第一，等权重场景下相比文本没有优势甚至更差（小模型最多差 14.1 点、慢 1.19–1.28 倍），接口的存在意义目前几乎全押在分级权重上——改进方向是把权重/强度通道做精并与文本混合路由（简单事实走文本、带置信度的事实走内部写入），或压缩写入开销。第二，多 token 符号严重退化（Countries 上 23.9–64.0%，落后文本 30–60 点），因为单位置词-填充词对比无法刻画跨多个 token 的概念——改进方向是按 token 拆分方向、或用 J-lens 式多 token 聚合方向、或用输入嵌入差（作者已在单 token 上证明其不劣于拟合方向）。第三，固定清单（221/275 词）+ 每物体 4 符号的带宽限制约束了表达力，开放词表未解决——改进方向是动态扩充清单并自动为新符号拟合方向（配方已冻结、成本是几十次前向），或引入索引组合编码复合概念。第四，固定深度 0.2 的规则在个别接收方上非最优（Qwen3-32B 在 0.5 也可用、GLM 需要 0.2 加层间处理才好），且 MoE 模型因路由翻转直接无法通过实现检查——改进方向是按消息自适应选层、为 MoE 设计统计意义下稳定的写入判据。第五，全部任务为合成模板场景，属性组合部分复用，存在分布狭窄风险——应在一个真实多智能体基准（如协作问答或代码审查）上验证端到端收益。第六，白盒要求（FP32、eager attention、批量 1）限制了对闭源 API 模型的使用，可探索仅在 logit 层面工作的变体。
未来方向
作者列出的未测方向：开放词表消息、关系型事实（A 比 B 甜这类）、TipSheets 任务（从公司档案加决策规则推断行动）、早期层 J-lens 写入、输入嵌入与拟合方向在多 token 符号上的系统比较、深度探针扩展到九个接收方之外、自动消息下的延迟测量。基于成果可延伸的方向：一是「置信度通信」——既然写入强度能可靠传达 8 比特权重，可把多智能体辩论中各智能体的置信/不确定性用强度编码传递，替代脆弱的文本措辞（probably 等）；二是把绑定探针泛化为新模型接入前的「接口兼容性体检」，自动决定该模型适合作发送方、接收方还是都不适合；三是因果机制研究——为何后续 token 需要低层携带事实的 KV（作者已给出截断诊断），可与知识神经元、键值记忆文献对接；四是安全角度：能向另一个模型的隐状态写入事实意味着存在隐蔽的信息注入通道，值得研究写入的检测与防御；五是扩展到多模态（视觉 token 方向）或语音模型间的符号通信；六是与 Cache-to-Cache 类学习式方法比较训练成本-收益曲线，明确免训练接口的适用边界。
复现评估
复现条件相当好。作者承诺在 https://github.com/LiXin97/SYNC 发布代码、预注册锁、场景库、发送方消息、逐行记录和再生所有主文与附录 A–K 表格的命令；附录 H 逐条给出字面提示词、12 个拟合语境、公开版式、干预与缓存复用细节，附录 J 覆盖数据重叠、开发选择、确认协议、全部对照、不确定性估计与数值核查，表格由带哈希的源数据生成并有独立复核。模型全部是本地运行的开放权重检查点（开发侧 Llama-3.1-8B-Instruct、Qwen3-32B、Qwen3-14B-Base、GLM-4-9B、Gemma-3-27B-IT；确认侧 Gemma-4-26B-A4B、Qwen3.6-27B、gpt-oss-20b 及 9 个接收方），无需训练，字典构建只是几十次前向传播。难点在于工程细节而非算法：需实现逐层隐状态干预、前缀 KV 缓存复制、FP32 + eager attention + 批量 1 的推理设置，以及预设的实现一致性检查（恒等写入须与无消息前向完全一致，缓存与完整前向的最大 logit 差 ≤0.05）——论文正是靠这个检查发现了 MoE 模型不可用。整体复现难度中等：有单卡可跑的 2B–9B 模型子集，但完整复现 27B 模型 FP32 推理和 572 场景 × 全对照矩阵需要可观的显存与时间。
论文图表
