文本图软提示中的词元坍缩现象 On the Token Collapse Phenomenon in Textual Graph Soft Prompting
图软提示的图词元普遍坍缩为常量,实为通用软提示;本文提出审计协议与两阶段防坍缩训练。
前置知识
软提示(Soft Prompting)
在不改动冻结 LLM 权重的前提下,把一段可学习的连续向量(而非离散文字)拼接在输入嵌入序列之前,通过梯度下降优化这些向量来引导模型行为。代表性工作有 prompt tuning 与 prefix-tuning,其特点是提示对所有输入共享、与具体样本无关。
图软提示的图词元在形式上就是一种条件化的软提示;理解软提示机制后,才能明白论文的核心结论——坍缩后的图词元退化为'与输入无关的通用软提示'——究竟意味着什么。
图软提示与 G-Retriever
用图神经网络(GNN)把图编码、均值池化成一个向量,再经两层投影器映射进 LLM 嵌入空间,作为一个'图词元'插入提示。G-Retriever 是代表方法:先用 prize-collecting Steiner tree 检索与问题相关的子图,再同时提供 GNN 图词元和逐节点逐边文字化的子图文本两条通道。
G-Retriever 及其后续方法(GRAG、GRETPool、GraSP)正是本文的审计对象;不熟悉其'图词元 + 文字化图'的冗余双通道设计,就无法理解可辨识性问题从何而来。
文本属性图(Text-Attributed Graph, TAG)
每个节点和每条边都附带自然语言文本属性的图结构,例如 WebQSP 中节点是 Freebase 实体名、边是 Freebase 关系名,SceneGraphs 中节点是物体与属性、边是动作或空间关系。通常用冻结句编码器(如 Sentence-BERT)把文本嵌入为向量作为 GNN 的初始特征。
本文全部实验都建立在 TAG 之上,且'文字化图'通道就是把节点/边文本直接列进提示;理解 TAG 是理解两通道冗余的起点。
固定权重因果干预
保持模型权重完全不变,只在推理时替换输入的某个组件(如把词元换成训练集均值 MEAN、换成别的样本 SWAP、用别的图重算词元 GSWAP),观察输出如何变化,并用配对统计检验(本文用精确 McNemar 检验)判断差异是否显著。
这是论文回答'LLM 是否因果地使用图词元'的核心工具;没有这组干预,任务准确率永远无法区分模型用的是词元、文字化图还是先验。
InfoNCE 对比学习
一种对比学习目标:把配对样本(正对)的表征在余弦空间拉近,与批内/记忆库中的其他样本(负对)推远,公式形如 $\mathcal{L}=-\frac{1}{B}\sum_i \log \frac{\exp\cos(h_i,s_i)/\kappa}{\exp\cos(h_i,s_i)/\kappa+\sum_{j\in M}\exp\cos(h_i,s_j)/\kappa}$,温度 $\kappa$ 控制硬度。
论文两阶段流水线的 Stage 1 就用 InfoNCE(温度 0.07、记忆库约 2000)把图编码器对齐到样本特定目标上,这是产生非坍缩编码器表征的关键。
GNN 过平滑(Oversmoothing)
随 GNN 层数加深,消息传递使不同节点的表征逐渐趋同的现象,是深层图神经网络的经典病态。但注意:过平滑发生在单个图内部的节点之间,不必然导致不同图的池化输出彼此相似。
它是 token collapse 的头号候选解释,论文专门用'编码器侧样本间余弦仅 0.423–0.693'这一测量把它排除,证明坍缩发生在投影层而非 GNN 内部。
单词元与多词元图接口
G-Retriever 把整张子图均值池化成一个词元,构成严重的信息瓶颈;后续方法尝试用 TopK、SAG、DiffPool 等图池化算子输出多个词元(K 从 1 到 100)以扩大带宽。
论文的跨方法审计覆盖了这些多词元接口,发现即使 K=100 或使用 Tanh 投影器,词元仍然坍缩,说明问题不在 token 数量而在投影参数化与训练目标。
金答案似然与 Teacher Forcing
不实际解码,而是把金答案逐词强制喂入模型,计算其平均负对数似然 $\mathrm{NLL}_i(c)=-\frac{1}{|y_i|}\sum_k \log p_\theta(y_{i,k}|y_{i,<k},t_i,\tau(G_i),q_i)$,以成对差值 $\Delta\mathrm{NLL}$ 比较不同干预条件。
准确率只能看到解码答案是否改变,分辨率有限;似然能捕捉'答案没变但分布移动了'的细微效应,是论文四种测量手段之一(阈值 0.03)。
研究动机
把图结构注入 LLM 提示的代表性方法 G-Retriever 同时使用两条通道:一条是用 GNN 把检索到的子图压缩成一个连续的'图词元'插入提示,另一条是把同一个子图逐节点、逐边文字化后放进提示。问题在于图内容已经以文本形式存在,答案准确率的提升无法区分模型到底依赖图词元、文字化图还是两者;而且训练目标只是答案交叉熵 $\mathcal{L}_{QA}= -\sum_{i,k}\log p_\theta(y_{i,k}|\,y_{i,<k},t_i,\tau(G_i),q_i)$,并不强制图词元编码图特定信息。以 WebQSP 为例,平均每个图文字化需要 100,627 个词元,PCST 检索后仍有 610 个,文本通道几乎必然占优;在 ExplaGraphs 上,零样本 Llama-2-7b-chat 仅凭论证文本已达 61.0%,加入完整解释图才升到 64.3%,而且加图修好 68 题的同时弄坏 50 题。在这种冗余配置下,原始论文把消融实验(如换成纯 prompt tuning)解读为'GNN 与文字化图提供互补表示',但从未有人直接检验图词元本身到底携带什么、以及 LLM 是否真的使用它。
本文的目标是本文的目标是把'图词元有用'这句模糊的架构声明拆解为三个可以分别测量的经验问题:词元是否随输入变化(token variability)?LLM 是否因果地使用词元中图特定的变化(downstream use)?词元里到底编码了什么内容(content)?并据此对 G-Retriever 及后续图软提示方法(GRAG、GRETPool、GraSP)做系统审计,给出判断'图-语言对齐'是否真实发生的可操作协议。在此基础上,论文还追问坍缩与哪些因素相关,并尝试在不牺牲任务性能的前提下构造不坍缩的图词元——但更重要的是,检验'非坍缩'是否自动等于'图被使用'。最终希望把对齐从架构假设变成可检验命题,为后续图-语言模型提供评估准则。
与已有工作不同的是，已有质疑工作停留在训练目标与基准层面:Zhang et al. (2026) 从理论上证明自回归目标可分解为文本依赖项与图-文本对齐项,现有方法只显式优化前者,文本主导解就是最优解;Petkar et al. (2026) 的 CLEGR 基准显示单模态与原始软提示基线仍有竞争力。本文的独特切入是直接审计 token–LLM 接口本身:不是问'模型学得好不好',而是问'那个由 GNN 算出来的连续向量到底长什么样、被谁用了'。方法上首次把 token 几何统计、固定权重因果干预、金答案似然与解码探针四类测量组合成一套协议,并用共享 projector 参数化的图无控制组 CONST 做严格对照——CONST 与 G-Retriever 的唯一区别是词元来源,这是以往'换基线比分数'式评估做不到的受控比较。
核心方法
直觉上,一个'携带图信息的词元'应当在不同输入上彼此不同,且其差异应能被 LLM 感知并改变答案。论文围绕这一直觉搭建四层测量。(1) 几何统计:对测试集所有图词元 $t_i$ 计算样本间平均余弦、残差比 $RR=\frac{1}{n}\sum_i\|t_i-\mu\|/\|\mu\|$ 与范数比 $NR$(其中 $\mu$ 是平均词元,$\bar e$ 是词嵌入中位范数);同时对投影前的池化编码器输出 $h_i$ 计算同样指标,以区分坍缩来自 GNN 还是投影器。(2) 固定权重干预:MEAN(换成训练集均值词元)、SWAP(换别的测试样本词元)、GSWAP(保留问题条件化 $W_q q_i$,仅用别的图重算词元)、NODE/EDGE/REL(分别破坏节点特征/边/关系属性)、zero(词元置零)与范数缩放,配合精确 McNemar 检验,只承认幅度大于 2 分且 $p<.05$ 的答案级效应。(3) 金答案负对数似然(teacher forcing)捕捉分布级细微变化,要求 $|\Delta\mathrm{NLL}|>0.03$。(4) 线性岭回归探针把词元映射到问题/答案/文字化图的冻结句向量,用留出半区的检索中位排名衡量可解码性。确认坍缩后,消融定位两个关联因素(Sigmoid 投影器与端到端答案训练),再提出两阶段流水线:Stage 1 无 LLM 地用 InfoNCE 训练并对齐问题条件化的图编码器后冻结;Stage 2 在冻结编码器上用 GELU 投影器训练图词元通路,并让一个独立的图无关 prompt 词元通路分担'通用软提示'职能,两通路用原答案损失联合训练。
核心创新有三。其一是 GSWAP 干预设计:在固定 LLM 权重下,把编码器输入的图换成另一样本的图,但保留原问题的问题条件化 $x_v=z_v+W_q q_i$,使词元的唯一变化来源就是图本身——这把'图特定信息是否被使用'变成了一个干净的因果问题。其二是 CONST 控制组:让一个从未见过任何图的可学习常数向量穿过与 G-Retriever 完全相同的 Linear–Sigmoid–Linear 投影器,如果它匹配完整模型,'图词元的贡献'就被证明与图输入无关。论文还给出机制解释:当预激活接近零时 $\sigma(x)\approx\tfrac12+\tfrac14 x$,故 $P_\psi(h_i)\approx\underbrace{\tfrac12 W_2\mathbf{1}+\tfrac14 W_2 b_1+b_2}_{\text{输入无关}}+\tfrac14 W_2 W_1 h_i$,Sigmoid 投影器天然产生巨大的输入无关共享方向并把输入特定分量衰减四倍,这解释了为什么未训练投影器在随机输入上就产出余弦 0.9999 的词元。其三是把'非坍缩'与'使用图'显式分开:两阶段流水线得到余弦 0.099–0.142 的非坍缩词元后,再用 GSWAP 与探针区分 USED/MASKED/PRIOR/DECODABLE/SOFT PROMPT 五种情形,证明几何可变性只是图被使用的必要条件而非充分条件。
方法步骤详情
完整流程如下。(1) 复现基线:按作者公开实现复现 G-Retriever——冻结 all-roberta-large-v1 句编码器($d=1024$)嵌入节点/边/问题文本,prize-collecting Steiner tree 检索子图,4 层 4 头 graph transformer 编码后均值池化得 $h_i\in\mathbb{R}^{1024}$,经 $t_i=P_\psi(h_i)=W_2\sigma(W_1 h_i+b_1)+b_2$ 得图词元($d_\ell=4096$),与截断到 $L_{max}=512$ 的文字化子图及问题一起送入冻结 Llama-2-7B,AdamW(lr $10^{-5}$、wd 0.05、≤10 epoch、早停 2)训练约 31.4M 可训练参数。(2) 几何审计:计算式 (3) 的 $RR$、$\cos_{inter}$、$NR$ 及编码器侧余弦。(3) 干预实验:对每个测试问题在固定权重下执行各条件(每种条件保留哪些输入信息见原文表 8),McNemar 检验;噪声校准显示同权重重跑即有 −1.04 分漂移与 63.2% 生成串变化,故设 2 分效应阈值。(4) 似然审计:式 (4) 计算成对金答案 NLL 差,bootstrap 区间 + Wilcoxon,底线 0.03(复现底线仅 0.0003)。(5) 探针审计:式 (5) 岭回归($\alpha=10^3$)把词元映射到目标句向量,留出半区检索,报告中位排名,常数词元给对照排名。(6) 成因消融:未训练投影器打 500 个随机输入;GELU 替换 Sigmoid(端到端);Stage 1 冻结编码器 + Sigmoid/GELU 共四种组合。(7) 两阶段流水线:Stage 1 以 $x_v=z_v+W_q q_i$($W_q$ 零初始化)做问题条件化,InfoNCE($\kappa=0.07$,记忆库约 2000)对齐答案(WebQSP/SceneGraphs)或文字化图(ExplaGraphs,因其答案只有 Yes/No)目标后冻结;Stage 2 冻结编码器,GELU 投影器输出图词元,可学习常数经独立 Linear–Sigmoid–Linear 投影器输出 prompt 词元,联合答案损失训练。(8) 诊断:综合干预与探针结果,给每个配置贴 SOFT PROMPT/USED/MASKED/PRIOR/DECODABLE 标签。
技术新颖性
技术新颖性体现在四个层面。第一,现象层面:首次命名并系统刻画 token collapse——词元余弦 0.985–0.998、残差比仅 4–12%、范数却是普通词嵌入的 22–97 倍,且证明它不是 GNN 过平滑(编码器侧余弦仅 0.423–0.693),而是投影参数化与端到端答案训练的复合产物;该现象在 GRAG、GRETPool(TopK/SAG/DiffPool,最多 100 词元)与 GraSP(Tanh 投影器)上同样出现,余弦 0.998–1.000。第二,方法学层面:把固定权重干预、复现底线测量、效应量阈值与 McNemar 检验组成一套带统计纪律的审计协议,提供了从任务准确率中解耦'使用'的因果工具。第三,机制层面:给出 Sigmoid 投影器在近零预激活下的一阶展开解释共享方向来源,并证明端到端答案训练会在 GELU 下重新坍缩(余弦 0.914),必须冻结对齐编码器才能保住多样性。第四,结论层面:非坍缩词元可能承载问题/答案先验(WebQSP no-entity 的 Q/A 排名 34/51)、被文本掩蔽的图信息(WebQSP 删文本后 GSWAP −2.27)或真正被使用的图信息(SceneGraphs GSWAP −5.30),打破了'token 多样 = 图被使用'的直觉。
实验结果
RQ1(坍缩普遍性):三个基准、三种编码器(GT/GAT/GCN)、两个 LLM 家族(Llama-2-7B、Qwen2.5-3B)、冻结与 LoRA 共 9 个配置全部坍缩:词元余弦 0.985–0.998,残差比 4–12%,范数比 22–97 倍;而编码器侧余弦仅 0.423–0.693,说明坍缩发生在投影之后。RQ2(坍缩词元的角色):MEAN/SWAP/GSWAP 在三个基准上的答案级变化均在 2 分阈值内(ExplaGraphs −0.18/−1.26/−1.08;SceneGraphs −0.35/−1.20/−1.10;WebQSP −1.84*/−0.92/−0.55),破坏实体/边/关系同样无效;但词元置零损失 59.64–81.95 分,删除文字化图损失 19–51 分(NOTXT 分数 66.43/30.20/41.34),说明共享词元值被依赖、图特定变化不被依赖、文字化图是主导通道;图无关的 CONST 拿到 85.56/81.40/71.25,匹配或超过 G-Retriever 的 85.56/81.35/70.33。RQ3(成因与防治):未训练 Sigmoid 投影器对随机输入即产出余弦 0.9999;端到端 + GELU 仍 0.914(分数降至 73.29);Stage1 冻结 + Sigmoid 0.992(84.48);Stage1 + GELU 单词元模型只有 57.76(多数类 58.8);完整两词元流水线把余弦压到 0.099–0.142(Llama-2)/0.103–0.200(Qwen),Llama-2 WebQSP 69.90 vs 70.33、ExplaGraphs 85.74 vs 85.56 持平,SceneGraphs 72.50 但 GSWAP −5.30***;Qwen 匹配预算下 WebQSP 57.13→65.79($p=4.5\times10^{-20}$)且 GSWAP −2.09**,ExplaGraphs 74.37→83.94($p=1.5\times10^{-5}$)但 GSWAP +0.36 无效应,SceneGraphs GSWAP −6.50*** 为全文最强图替换效应。RQ4(内容与使用):探针显示 ours 在 WebQSP 的问题/答案检索排名 65/60(对照 407),删文本后 GSWAP −2.27*(MASKED);no-question 变体 USED(−2.33*);SceneGraphs ours USED(NLL +0.1665,是 SWAP 的 7 倍);ExplaGraphs ours DECODABLE(图排名 41 vs 对照 139)但删文本也不依赖词元。跨方法审计:6 个配置(GRAG-PCST、TopK、SAG、DiffPool K=8/100、GraSP-PCST)余弦 0.998–1.000 全坍缩,文本在场时所有词元替换干预均未过阈值。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| WebQSP 知识图谱问答(Llama-2-7B) | Hit@1 | 69.90(两阶段流水线) | 70.33(G-Retriever) | −0.43,在 1.04 分复现噪声内,统计持平;词元余弦从 0.996 降至 0.142 |
| ExplaGraphs 立场预测(Llama-2-7B) | Accuracy | 85.74(两阶段流水线) | 85.56(G-Retriever) | +0.18,持平;GSWAP −1.44 未过阈值,图信息可解码(排名 41)但未被使用 |
| SceneGraphs 场景图问答(Llama-2-7B) | Accuracy | 72.50(两阶段流水线) | 81.35(G-Retriever) | −8.85,性能下降,但 GSWAP −5.30*** 与 NLL +0.1665 表明 LLM 首次真正因果使用图内容 |
| WebQSP 知识图谱问答(Qwen2.5-3B 匹配预算) | Hit@1 | 65.79(两阶段流水线) | 57.13(G-Retriever) | +8.66($p=4.5\times10^{-20}$),且 GSWAP −2.09** 同时达成高性能与真实图使用 |
| ExplaGraphs 立场预测(Qwen2.5-3B 匹配预算) | Accuracy | 83.94(两阶段流水线) | 74.37(G-Retriever) | +9.57($p=1.5\times10^{-5}$),但 GSWAP +0.36 说明提升与图使用无关 |
| SceneGraphs 场景图问答(Qwen2.5-3B 匹配预算) | Accuracy | 72.65(两阶段流水线) | 76.05(G-Retriever) | −3.40,但 GSWAP −6.50*** 是全文最强图替换效应,性能与图使用在此基准上呈权衡 |
| WebQSP 图无控制组对照 | Hit@1 | 71.25(CONST:可学习常数过同一投影器,从不看图) | 70.33(G-Retriever) | +0.92,证明坍缩词元的贡献与图输入无关,本质是投影器参数化的软提示 |
局限与改进
作者承认的局限:详细分析只覆盖 G-Retriever 与三个 QA 基准;跨方法审计仅限 WebQSP、可运行的公开实现与受控变体,且为单种子、无似然测量(Align-GRAG 因匿名仓库失效无法复现);机制证据是关联性的,未把投影器或端到端训练隔离为唯一原因(GraSP 用 Tanh 仍坍缩,说明 Sigmoid 既非必要也非唯一原因);整套配方从零训练编码器,预训练编码器或显式对比/重建/反事实目标下的坍缩情况未知;Stage 1 的条件化与目标本身可能引入先验;GSWAP 只测试图-问题配对而非事实级推理;可解码性只证明可恢复而非使用;流水线只是诊断性概念验证。我的补充观察:其一,两阶段流水线在 SceneGraphs 上付出实质代价(Llama-2 下降 8.85 分、Qwen 下降 3.40 分),'有图使用'与'性能最好'在该基准上直接冲突,论文未给出两全方案;其二,Stage 1 存在记忆化(训练样本 top-1 约 0.9 vs 验证约 0.5),交叉拟合后干预效应减半,说明部分'图使用'依赖 Stage 1 见过的答案;其三,2 分效应阈值与有限种子使中小效应不可见,SWAP 类干预的'无效应'部分是统计功效问题;其四,所有基准都是小图或检索后小子图(文字化中位 76–260 wordpiece),结论向大图、多轮对话与生成式任务的外推性不明。
独立分析的弱点
(1) 性能-使用权衡未解决:两阶段在 SceneGraphs 上 Llama-2 掉 8.85 分,说明冻结编码器 + InfoNCE 对齐学到的表征未必适合答案生成;改进方向是为 Stage 1 设计任务感知的对比目标,或在 Stage 2 以极低学习率继续微调编码器并实时监测坍缩,或用方差/反坍缩正则项替代硬冻结。(2) Stage 1 目标引入先验:以答案为对比目标导致词元编码问题与答案先验(no-entity 变体 Q/A 排名 34/51 而 GSWAP 无效应,PRIOR 诊断);改进方向是用结构重建、链接预测或图-图判别等与答案解耦的目标。(3) 探针与似然工具的盲区:线性探针 + 512 wordpiece 截断的句编码器可能系统性低估图信息(作者自认解码失败不等于信息不存在);改进方向是非线性探针、分块编码,以及'删文本重训'作为更强对照。(4) 统计功效不足:主结果多为单种子,2 分阈值会把 −1 至 −2 分的真实效应归为'无效应';改进方向是多种子聚合与序贯检验。(5) 外部效度:全部结论建立在 GraphQA 三个基准与 7B/3B 两个 LLM 上,未涉及更大模型、多模态图或工业规模知识图谱。(6) 冗余设计未根治:文字化图仍在提示中,ours 在 WebQSP 也只是 MASKED(删文本才有 GSWAP 效应);改进方向是研究文本预算受限场景下强制词元通道承重的训练策略,如随训练进程退火式缩减文字化预算。
未来方向
作者提出的方向:把审计协议用于检查并保证'LLM 真正使用任务相关图信息';探索预训练图编码器以及显式对比、重建、反事实目标下的坍缩行为;改进 Stage 1 的条件化与目标以避免先验;超越 GSWAP 的图-问题配对,设计事实级推理干预。基于成果可延伸的方向:其一,把'几何审计 + 固定权重干预 + 探针'打包成新图-语言基准发布前的标准审计流程(类似 model card);其二,系统研究坍缩与规模的关系——投影器宽度、词元数、LLM 大小如何影响坍缩阈值;其三,发展坍缩的理论刻画,例如把 Sigmoid 投影器当作收缩映射做谱分析,解释为何 Tanh(GraSP)也会坍缩;其四,把 MASKED 情形转化为主动训练策略,例如课程式丢弃文字化图以提高词元通道负载(论文中隐藏 40% 边的朴素做法失败,模型学会了补偿缺失文本,说明需要更精细的调度);其五,将干预扩展到边级/三元组级反事实,检验真正的多跳结构推理;其六,在 RAG、工具调用与连续记忆等场景检验同样的坍缩现象是否跨接口存在。
复现评估
复现条件很好。代码开源(https://github.com/difra100/Token_Collapse_KGQA),基线用 G-Retriever 作者公开实现的固定 commit,唯一改动是显式设备放置;三个基准(ExplaGraphs 2,766 图/554 测试题、SceneGraphs 100,000 图/20,025 题、WebQSP 4,737 图/1,628 题)与 Llama-2-7B、Qwen2.5-3B 权重均公开;附录 A 给出全部超参:冻结句编码器 all-roberta-large-v1(1024 维)、4 层 4 头 graph transformer、投影器隐层 2048、文字化截断 512、AdamW lr $10^{-5}$/wd 0.05/≤10 epoch 早停 2;每个模型单张 80GB GPU 即可训练,Stage 1 约 22.0M、Stage 2 约 21.0M 可训练参数,LoRA 配置亦有说明。难点不在算力而在评估纪律:GNN 的 scatter 归约跨进程不可复现($10^{-7}$ 级差异会改写 63.2% 的贪心解码),必须按论文的统计协议(复现底线 −1.04 分、McNemar 检验、|Δ|>2 分效应量、NLL 底线 0.03)执行;干预实验需要存储每题词元与预测。总体复现难度中等:跑通主表容易,严格复现统计结论需要细心遵循附录 D 的协议。
论文图表
把 WebQSP 全部 1,628 个测试问题的图词元去掉均值 $\mu$ 后投影到前两个主成分:G-Retriever 的词元云缩成一个点(平均余弦 0.996,平均半径 0.03),而作者两阶段流水线的词元云分散开(余弦 0.142,半径 0.71),下方配词元两两余弦的分布直方图。
这张图以最直观的方式定义了 token collapse 并展示它可以被防治,是全文核心现象的视觉宣言,读懂它就懂了论文在讲什么。
ExplaGraphs #2066 案例:零样本 Llama-2-7b-chat 仅凭两条论证答对 counter,加入完整人工标注解释图后改答 support——尽管图中以加粗关系显式写着对立;在整个 554 题测试集上加图修好 68 题、弄坏 50 题。
提醒读者文字化图通道本身并不可靠、图信息注入并非越多越好,这既是理解双通道冗余问题的定性背景,也是评估 ExplaGraphs 结果时必须记住的陷阱。