LRAgent：面向多LoRA大语言模型智能体的高效KV缓存共享框架 LRAgent: Efficient KV Cache Sharing for Multi-LoRA LLM Agents
通过解耦KV缓存为共享基缓存和低秩适配器缓存，实现多LoRA智能体系统的内存与计算双重优化
前置知识
KV缓存（Key-Value Cache）
在Transformer自回归生成过程中，为避免重复计算已处理token的注意力，模型会将每一层的Key和Value张量缓存起来。对于长上下文推理，KV缓存占用的显存可能远超模型参数本身。在多智能体系统中，每个智能体维护独立的KV缓存，导致即使处理相同上下文也会产生大量冗余存储。
本文的核心目标就是优化多智能体场景下的KV缓存冗余，理解KV缓存的结构是读懂本文方法的基础
LoRA（Low-Rank Adaptation）
一种参数高效微调方法，将权重更新 $\Delta W = AB$ 分解为两个低秩矩阵 $A \in \mathbb{R}^{d_{in} imes r}$ 和 $B \in \mathbb{R}^{r imes d_{out}}$，其中秩 $r \ll \min(d_{in}, d_{out})$。推理时，适配器输出 $\Delta Y = (XA)B$ 先经过下投影生成低秩中间激活 $XA$，再经上投影恢复到完整维度。LoRA通常应用于Query和Value投影以获得最佳精度。
本文的核心洞察正是利用LoRA输出的低秩结构来设计缓存共享策略，将适配器贡献存储在低秩形式
Multi-LoRA架构
多个LoRA适配器共享同一个预训练骨干网络的推理架构。每个任务或角色 $i$ 拥有独立的LoRA权重 $(A_i, B_i)$，推理时使用 $W_i = W_0 + A_i B_i$。在多智能体系统中，不同角色（如规划、执行、反思）通过各自的LoRA适配器实现专业化，同时共享大模型的预训练权重。
本文针对的正是这种广泛部署但KV缓存优化未被充分探索的架构
Shared-A Multi-LoRA
一种改进的多LoRA变体，所有任务共享同一个下投影矩阵 $A$，仅保留任务特定的上投影矩阵 $B_i$。研究表明任务间的差异主要由上投影矩阵驱动，而下投影矩阵编码高度相似的内在信息。共享A不仅可提升精度（A更具泛化性），还减少33%的可训练参数。
BaseLRShared方案依赖shared-A架构才能同时共享LR缓存，这是理解本文两个方案区别的关键
FlashAttention
一种IO感知的精确注意力算法，通过分块计算和在线softmax技巧，在不近似注意力结果的前提下大幅减少HBM访问，将注意力的内存复杂度从 $O(L^2)$ 降至 $O(L)$。本文的Flash-LoRA-Attention正是基于FlashAttention扩展而来。
Flash-LoRA-Attention是本文的系统优化核心，理解FlashAttention的分块计算模式有助于理解其扩展设计
研究动机
在多LLM智能体系统中，角色专业化通常通过多LoRA实现——多个智能体共享预训练骨干网络，各自拥有轻量级LoRA适配器。然而，尽管共享基础模型权重，每个智能体仍然独立构建和存储自己的KV缓存。对于相同的长上下文轨迹（包含多步推理和大量外部工具检索内容），这种冗余带来严重的内存和计算开销。具体而言，处理同一段上下文时，N个智能体会产生N份独立的KV缓存，且每个智能体都需要对其他智能体已处理过的上下文重新进行prefill计算。现有的KV缓存共享方法要么需要架构修改和额外训练（如ICaRus、Cache2Cache），要么主要处理位置对齐问题（如KVLink、KVFlow），要么依赖选择性重计算（如DroidSpeak仍需对33%的层进行重计算），均未专门针对多LoRA架构进行优化。
本文的目标是本文的目标是设计一个专门面向多LoRA智能体系统的KV缓存共享框架，在显著减少内存占用的同时尽可能消除跨智能体的冗余计算，并保持接近无共享基线的推理精度。具体目标包括：将KV缓存内存降至约无共享方案的 $1/N$，实现接近完全共享缓存的吞吐量和首token延迟，同时精度损失控制在1%以内。
与已有工作不同的是，本文的独特切入角度基于一个关键观察：对于相同上下文，跨智能体的缓存差异主要由LoRA适配器输出主导，而预训练骨干网络产生的激活保持高度相似。具体数据表明，基缓存（base cache）的跨智能体余弦相似度高达0.95-0.97，而适配器输出的相似度接近0（仅0.02-0.05）。这一发现使作者提出将缓存解耦为共享的基缓存和智能体特定的低秩适配器缓存，而非像现有方法那样尝试共享或重计算整个KV缓存。这是首个明确利用多LoRA架构特性来设计缓存共享策略的工作。
核心方法
LRAgent的整体思路可以类比为“共享底稿+个性化批注”：所有智能体共享同一份由预训练权重生成的基础缓存（底稿），每个智能体只需维护一份极小的低秩适配器缓存（批注）。具体而言，对于Value投影的输出 $Y_i = X_i W_0 + X_i \Delta W_i$，第一项 $Y_{base,i} = X_i W_0$ 跨智能体高度相似可以共享，第二项 $\Delta Y_i = (X_i A_i) B_i$ 虽然是智能体特定的，但其中间激活 $X_i A_i$ 的维度仅为 $r$（远小于 $d_{out}$），因此可以紧凑存储。运行时通过上投影矩阵 $B_i$ 按需重建完整维度的适配器贡献。基于这一思路，作者提出两种递进的共享方案：BaseShared仅共享基缓存，BaseLRShared在shared-A架构下进一步共享LR缓存。
本文的核心创新在于将KV缓存显式解耦为预训练组件和适配器组件，并利用LoRA的低秩结构以紧凑形式存储适配器贡献。这与现有方法有本质区别：FullShared直接共享整个缓存导致精度大幅下降（最高5.3%），DroidSpeak通过选择性重计算部分层来弥补但仍需约33%的重计算开销，而LRAgent通过“基缓存共享+LR缓存按需扩展”的设计，在共享大部分缓存的同时保留了关键的智能体特定信息。另一个关键创新是Flash-LoRA-Attention，它利用矩阵乘法结合律将LR缓存扩展的计算从 $O(L \cdot r \cdot d_{out})$ 重排为 $O(L_c \cdot L \cdot r + L_c \cdot r \cdot d_{out})$，使主要计算在低秩空间完成，将开销降低约 $r/d_{out}$ 倍。
方法步骤详情
LRAgent的执行流程分为离线准备和在线推理两个阶段。离线阶段，对每个智能体角色训练LoRA适配器 $(A_i, B_i)$，在shared-A变体中所有角色共享 $A$。在线推理阶段，当第一个智能体处理新上下文时：（1）计算基缓存 $V_{base} = X W_0$ 并存储；（2）计算LR缓存 $V_{lr} = X A$ 并存储（维度为 $L \times r$）。当后续智能体处理相同上下文时：（1）直接复用已有的基缓存和LR缓存（BaseShared仅复用基缓存，BaseLRShared两者都复用）；（2）仅对新追加的上下文计算基缓存和LR缓存；（3）在注意力计算中，Flash-LoRA-Attention内核流式处理Key/Value块，维护在线softmax统计量，同时累积低秩中间结果 $O_{lr} \in \mathbb{R}^{B_r \times r}$；（4）在所有块处理完毕后，一次性执行上投影 $O_i \leftarrow O_i + O_{lr,i} B$ 并归一化。这样，LR缓存的扩展计算主要在秩 $r$ 维度而非 $d_{out}$ 维度进行。
技术新颖性
本文的技术新颖性体现在三个层面。首先，在概念层面，这是首个明确利用多LoRA架构的缓存结构特性来设计共享方案的工作，观察到基缓存相似度（0.95-0.97）远高于完整缓存相似度（0.92-0.96），且适配器输出近乎正交（相似度接近0）。其次，在算法层面，BaseLRShared方案巧妙利用shared-A架构下LR缓存也具有高相似度（0.95-0.96）的特性，实现基缓存和LR缓存的双重共享，使计算复杂度降至与完全共享缓存相当的 $O(L^2 d_{model})$。第三，在系统层面，Flash-LoRA-Attention通过结合律重排矩阵乘法顺序，将LR缓存扩展从“先展开再注意力”改为“先注意力再展开”，使 $d_{out}$ 维度的乘法仅执行一次而非 $L$ 次，这是对FlashAttention框架的非平凡扩展。
实验结果
实验在LLaMA-3.1-8B-Instruct和Ministral-8B-Instruct两个模型上，使用HotpotQA和ScienceQA数据集进行评估，每个数据集包含多个难度级别。精度方面，BaseShared在所有设置下平均精度损失仅0.07-0.28%，BaseLRShared损失0.18-1.43%，而FullShared损失2.48-5.28%，DroidSpeak损失1.45-2.63%。吞吐量方面，在66.4k token的长序列上，BaseLRShared达到1790.6 tokens/s（LLaMA）和1757.0 tokens/s（Ministral），接近FullShared的1826.5和1768.3，远超Non-Shared的OOM和638.4。TTFT方面，BaseLRShared在66.4k序列上实现4.44倍加速（23.35s vs Non-Shared的OOM），接近FullShared的23.28s。内存方面，所有共享方案在66.4k序列上将内存从39.84GB降至23-24GB，约为无共享方案的60%。Flash-LoRA-Attention单独带来1.24-1.35倍的吞吐量提升。在HotpotQA实际基准测试中，考虑端到端延迟（含工具调用），BaseLRShared在LLaMA上平均11.96s，优于Non-Shared的12.28s和FullShared的17.69s。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| HotpotQA（平均，LLaMA-3.1-8B） | Accuracy (%) | BaseShared: 38.60, BaseLRShared: 37.92 | Non-Shared: 38.88, FullShared: 36.40, DroidSpeak: 36.77 | BaseShared仅下降0.28%，比FullShared少降2.20%，比DroidSpeak少降1.84% |
| ScienceQA（平均，LLaMA-3.1-8B） | Accuracy (%) | BaseShared: 69.24, BaseLRShared: 69.13 | Non-Shared: 69.31, FullShared: 65.22, DroidSpeak: 67.49 | BaseShared仅下降0.07%，比FullShared少降4.01%，比DroidSpeak少降1.75% |
| HotpotQA（平均，Ministral-8B） | Accuracy (%) | BaseShared: 35.85, BaseLRShared: 35.32 | Non-Shared: 35.93, FullShared: 32.78, DroidSpeak: 34.48 | BaseShared仅下降0.08%，比FullShared少降3.07%，比DroidSpeak少降1.37% |
| 系统吞吐量（66.4k序列，LLaMA-3.1-8B） | Tokens/second | BaseLRShared: 1790.6 | Non-Shared: OOM, FullShared: 1826.5, DroidSpeak: 813.1 | 比DroidSpeak提升2.20倍，接近FullShared上界 |
| TTFT（66.4k序列，LLaMA-3.1-8B） | Seconds | BaseLRShared: 23.35 | Non-Shared: OOM, FullShared: 23.28, DroidSpeak: 67.80 | 比DroidSpeak降低2.90倍，接近FullShared上界 |
| 端到端延迟（HotpotQA平均，LLaMA-3.1-8B） | Seconds | BaseLRShared: 11.96 | Non-Shared: 12.28, FullShared: 17.69, DroidSpeak: 12.08 | 比Non-Shared快2.6%，比FullShared快32.4% |
局限与改进
作者承认的主要局限包括：（1）实验仅在AutoAct框架下的HotpotQA和ScienceQA两个数据集上进行评估，由于缺乏开源的智能体轨迹和评估框架，泛化性验证有限；（2）BaseLRShared要求shared-A多LoRA架构，对于已部署且无法修改模型权重的系统可能不适用；（3）在qkvo配置（LoRA应用于Query、Key、Value和Output投影）下，由于Key缓存的LR扩展无法利用结合律重排（受RoPE位置编码限制），吞吐量优势有所减弱；（4）实验仅在单GPU（A6000 48GB）上进行，未验证多GPU或多节点场景。从独立观察来看：（1）当智能体间上下文重叠率降低时，共享优势会逐渐消失，在100%重叠率下降至0%时吞吐量从1678.1降至681.6 tokens/s；（2）论文未讨论动态智能体场景（角色非预定义），此时shared-A的序列级分配可能需要调整；（3）对于极长轨迹（超过100k tokens），LR缓存虽小但仍会累积，其内存增长特性未被充分分析。
独立分析的弱点
本文存在几个值得改进的弱点。第一，BaseShared方案虽然内存效率高，但由于需要对新智能体未处理过的上下文重新计算LR缓存（即LR prefill），计算量仍与非共享方案相当，仅在BaseLRShared中才实现计算加速。对于标准多LoRA系统（非shared-A），BaseShared是唯一可用方案，此时计算冗余仍然存在。改进方向可以是探索选择性LR缓存预计算或增量更新策略。第二，Flash-LoRA-Attention当前仅优化了Value投影的LR缓存扩展，当LoRA同时应用于Key投影时，由于RoPE的位置依赖性，无法利用相同的结合律重排。未来可以研究在RoPE应用前进行LR缓存扩展的新策略，或设计兼容RoPE的低秩注意力内核。第三，实验中的智能体轨迹主要基于合成数据生成，实际部署中的轨迹分布可能更复杂，需要在更真实的多智能体场景中验证。第四，论文未探索LR缓存的压缩或量化技术，对于秩 $r$ 较大的情况，LR缓存可能仍有优化空间。
未来方向
基于本文成果，可以延伸出多个研究方向。首先，将LRAgent扩展到更复杂的智能体拓扑结构，如层级式或多轮对话式智能体系统，其中上下文共享模式可能更为复杂。其次，结合KV缓存压缩技术（如量化、稀疏化、跨层共享）进一步减少基缓存和LR缓存的内存占用，实现更极致的长上下文支持。第三，探索动态智能体场景，其中角色和LoRA适配器可能在运行时动态分配，需要设计更灵活的缓存管理策略。第四，将方法扩展到多模型服务场景（如DroidSpeak关注的场景），其中不同模型可能有部分共享的骨干网络。第五，作者提到计划在更多轨迹和基准可用时扩展评估，特别是探索不同异构程度的智能体角色配置下的效果。第六，研究LR缓存的预取和调度策略，在多智能体并行执行时进一步减少延迟。
复现评估
论文的复现条件较为友好。作者提供了代码上传文件，包含训练、评估和延迟测量的完整复现脚本，并附有详细的环境设置和运行命令说明。实验基于两个开源模型（LLaMA-3.1-8B-Instruct和Ministral-8B-Instruct），使用AutoAct公开发布的智能体轨迹数据集进行微调。训练在单张NVIDIA A6000 48GB GPU上完成，HotpotQA和ScienceQA的训练时间分别约3.9小时和3.4小时，算力门槛较低。LoRA秩设为8，应用在Query和Value投影上，超参数在附录中有完整记录。所有实验使用单一随机种子（42），评估时每个基准级别运行20次迭代。唯一可能的复现障碍是外部工具调用（Google搜索、Wikipedia查询）的API可用性，以及AutoAct轨迹数据的具体获取方式，但论文提供了足够的细节来构建等效的评估环境。
论文图表
展示了Plan、Action和Reflect三个智能体在HotpotQA和ScienceQA上的训练损失曲线和梯度L2范数曲线。所有智能体在10个epoch内收敛。
这张图验证了训练过程的稳定性和收敛性，为实验结果的可靠性提供支持。