HeteroFold：面向异构多智能体LLM的无预填充跨家族KV缓存迁移 Prefill-Free Cross-Family KV Cache Transfer for Heterogeneous Multi-Agent LLMs

完整流水线如下。(1)数据准备：1600条校准prompt（800条Open-R1加800条HotpotQA训练集）加400条held-out，不含gold答案；收发双方各自分词并记录每个token的字符结束偏移。(2)TA配对：为每个接收token找结束字符位置相同的发送token，无精确匹配用最近前一个共享边界，首个匹配之前用第一个发送token。(3)LA选层与构造样本：接收层$\ell$对应发送层$\pi(\ell)$及其正负4的邻层$N(\ell)$，把三个发送层特征拼接$x^n_{\ell,c} = [c^{\mathcal{S},t_1}_{i_n} \Vert c^{\mathcal{S},t_2}_{i_n} \Vert c^{\mathcal{S},t_3}_{i_n}] \in \mathbb{R}^{3d_{KV}^{\mathcal{S}}}$，目标为$y^n_{\ell,c} = c^{\mathcal{R},\ell}_{j_n}$，按token对堆成矩阵$X, Y$。(4)Recolor闭式求解：按公式(3)算全局RMS得$Z = X/r$；计算加权均值、协方差与互协方差，SVD分解$\Sigma_Z^{-1/2}\Sigma_{ZY}\Sigma_Y^{-1/2} = U\Lambda Q^\top$，$R^\star = UQ^\top$，$A = \Sigma_Z^{-1/2}R^\star\Sigma_Y^{1/2}$，$b = \mu_Y - \mu_Z A$。(5)校准：冻结$A,b$，$B \sim \mathcal{N}(0, 0.02)$、$G = 0$，秩$\rho = 16$；在问题span的query位置用接收方原生$Q^\star, P^\star, V^\star, O^\star$为目标，联合优化$L_{\ell,K} = \mathrm{KL}(P^\star \Vert \hat{P}) + \|\Delta O^K\|^2/d_{model}$与$L_{\ell,V} = \|\hat{O} - O^\star\|^2_F/\max(\|O^\star\|^2_F, \epsilon)$，AdamW学习率$3\times10^{-4}$、权重衰减$10^{-4}$、梯度裁剪1，训练4个epoch，选held-out损失最低的checkpoint。(6)折叠与推理：$A_{final} = A(I+BG)$，$b_{final} = b(I+BG)$，每个接收层每角色一个仿射映射；K重排成接收方KV头后走原生key norm和RoPE。

问题层面：这是首个接收方免prefill的跨家族KV缓存迁移方法。此前LatentMAS假设通信模型缓存兼容，C2C需要接收方先处理共享prompt生成缓存，RecursiveMAS传递隐表示但仍需接收方层处理，Dense Latent和KV Ridge的评估局限于同家族兼容分词器。技术层面：TA把字符边界当作分词器无关锚点，做法简单却极其有效（Figure 5显示32K长度下同索引配对错位达数个字符，TA始终低于0.2字符）；白化加Procrustes的Recolor是经典统计对齐在KV缓存迁移中的首次应用，用闭式解代替迭代回归；输出感知校准借自作者此前的INT2 KV量化工作（Yun et al., 2026），被改造成跨模型域的K/V解耦目标。系统层面：每个迁移方向只需201到252M参数的仿射映射，比Dense Latent少约25%、比KV Ridge少约62%，构建一个方向约2个H100 GPU小时，推理时是单次矩阵乘加偏置，比KV Ridge（每层8个发送层的头级映射）和Dense Latent（两层MLP）都更快更省。

独立分析的弱点：(1)方向绑定的映射——仿射映射按具体的发送-接收模型对离线拟合，N个模型需要O(N^2)个映射，模型池扩大时不可扩展，改进方向是学习模型无关的中间KV空间，或用hyper-network从模型指纹直接预测映射参数；(2)精确生成损失大——GSM8K平均比TextMas低约20个点，因为校准目标只匹配单层注意力与输出，不保证多步推理链的一致性，可引入基于解码轨迹的序列级校准或束搜索蒸馏；(3)映射参数随模型规模平方增长——拼接三层后维度为$3d_{KV}^{\mathcal{S}} \times d_{KV}^{\mathcal{R}}$，70B级模型映射将达数GB，需要低秩化或分块映射结构；(4)TA假设双方共享同一段raw文本，而真实多智能体消息带各自chat模板和特殊token，鲁棒性只在特判模板的设定下测试，对格式化差异更大的场景（工具调用、代码上下文）未验证；(5)缺少服务系统集成评估——continuous batching、vLLM集成、KV逐出与INT8/INT4量化缓存叠加后的精度与延迟都未测；(6)Table H显示题目重建exact match仅16/100，说明对逐字引用敏感的任务（检索、引文、代码补全）缓存保真度可能不足。每个弱点都指向明确的改进方向，也是后续论文的机会点。

作者提出的方向：把方法推广到更多模型家族与更大规模，构建跨家族的通用KV接口，让缓存像文本一样即插即用地在异构智能体间共享。基于本文成果可延伸的方向：(1)多发送方缓存融合——把多个异构agent对同一上下文的KV缓存融合成单一接收方缓存，类似Mixture-of-Agents的KV版本；(2)与KV量化稀疏化联合设计，传输前压缩payload以削减跨卡拷贝带宽；(3)在线增量校准——用极少量样本快速为新模型对构建映射，或将校准改成元学习以支持新模型即接即用；(4)理论分析——为何白化加Procrustes在层数、头数、归一化方式都不同时仍有效，其失效边界在哪里；(5)安全与隐私——KV缓存可能泄露发送方系统提示或私有上下文，需要访问控制、脱敏或加密缓存接口；(6)与分布式推理调度结合——跨异构硬件的缓存生命周期管理、共享缓存池与逐出策略；(7)把HeteroFold扩展到多模态模型的视觉token缓存迁移。

复现条件较好。模型全部公开（meta-llama/Llama-3.1-8B-Instruct、Qwen/Qwen3-4B、mistralai/Ministral-3-14B-Instruct-2512-BF16），BF16冻结；校准数据公开（Open-R1与HotpotQA训练集，校准用HotpotQA与评测集不重叠；Qasper和HotpotQA评测用LongBench 200条子集）；论文脚注给出GitHub链接，但Dense Latent与KV Ridge无官方实现，需按附录A.3的设置自行复现（作者另用Table G的同家族实验验证了基线实现正确性）。算力需求：2张H100 80GB（NVLink）用于延迟实验，构建一个迁移方向约2个GPU小时、映射0.40至0.50 GB，全部超参已给出（秩16、AdamW学习率$3\times10^{-4}$、4个epoch、梯度裁剪1）。附录质量很高：敏感性分析（表B到表E覆盖校准规模、秩、层数、语料）、延迟测量协议（表I、图C、图D）、行为度量定义（附录D）齐全。难点在工程细节：tokenizer字符偏移、chat模板特判、FlashAttention-2下注入KV、GQA头重排。总体属于中等偏高难度，有单机多卡经验的团队可以复现。