LoRA如何记忆？大语言模型微调的参数化记忆定律 How LoRA Remembers? A Parametric Memory Law for LLM Finetuning
揭示了LoRA参数化记忆遵循幂律容量定律，p>0.5为确定性回忆阈值，提出MemFT优化方法提升记忆效率
前置知识
Low-Rank Adaptation (LoRA)
LoRA是一种参数高效的微调方法，通过在预训练模型的线性层添加低秩分解残差分支来实现。具体地，对于冻结权重$W_0 \in \mathbb{R}^{d_{out} \times d_{in}}$，LoRA添加$BAx$，其中$A \in \mathbb{R}^{r \times d_{in}}$和$B \in \mathbb{R}^{d_{out} \times r}$是可训练矩阵，$r \ll \min(d_{in}, d_{out})$是秩。这样前向传播变为$h = W_0x + BAx$。LoRA大幅减少可训练参数数量（通常减少万倍以上），同时保持与全参数微调相当的性能。在本文中，LoRA被用作潜在空间中的可控记忆容量探针，通过调整秩$r$可以扫描参数预算并清晰研究参数预算与记忆容量的关系。
本文使用LoRA作为工具来研究参数化记忆的定量规律，理解LoRA的工作原理对于理解本文如何通过控制秩来探索记忆容量边界至关重要
精确参数化记忆
精确参数化记忆是指模型通过参数修改完全记住特定内容并能够逐字重现的能力。本文将其形式化为：给定冻结基模型$f_{\theta_0}$，学习参数增量$\Delta\theta$构造更新模型$f_\theta$（参数$\theta = (\theta_0, \Delta\theta)$），满足$f_\theta(q^{(i)}) = a^{(i)}$，其中$q^{(i)}$是唯一键，$a^{(i)} = (a^{(i)}_1, \ldots, a^{(i)}_{\ell_i})$是目标内容。由于$a^{(i)}$在推理时只能通过查询$q^{(i)}$访问，$\Delta\theta$构成信息存储的唯一媒介。这将记忆简化为纯参数写入，与检索或上下文理解解耦。评估时采用贪婪解码$\hat{a}_t = \arg\max_{v \in \mathcal{V}} p_\theta(v | q, a_{<t})$，并使用序列平均损失$L$、token级准确率$Acc_{tok}$和精确匹配准确率$Acc_{EM}$三个指标。
本文的核心研究对象是精确参数化记忆，与传统的语义理解或下游任务评估不同，本文关注的是逐字重现的严格要求，理解这个任务设定对于理解论文的实验设计和结论至关重要
幂律 scaling
幂律scaling是指某个量$y$与另一个量$x$之间的关系遵循$y = Cx^k$的形式，其中$C$和$k$是常数。在双对数坐标系中，幂律关系表现为直线：$\log y = \log C + k \log x$。幂律scaling在复杂系统中广泛存在，如神经网络的scaling law、城市规模分布、网络连接度分布等。在本文中，作者发现LoRA导致的损失减少$\Delta L$与有效参数（LoRA秩$r$）和序列长度$\ell$之间遵循幂律关系：$\Delta L(r, \ell) = C \cdot r^\alpha \cdot \ell^{-\beta} + b$，其中$\alpha$是容量指数，$\beta$是长度惩罚指数。在log-log空间中，这个关系表现为近似线性的平面结构，$R^2 > 0.98$表明拟合质量很高。
参数化记忆定律是本文的核心理论贡献，理解幂律scaling及其在对数空间中的表现形式对于理解作者如何从实验数据中抽象出记忆容量定律至关重要
确定性相变
相变是指系统在某个临界点附近发生性质突变的现象。在本文的token级记忆动态中，作者发现预测概率$p = 0.5$构成确定性回忆成功的临界阈值。当目标token概率$P_{target} > 0.5$时（有序相），正确token保证是最大概率候选，在贪婪解码下确保成功重现；当$P_{target} < 0.5$时（无序相），正确token不占主导地位，容易在贪婪解码中被其他候选超越，可能导致记忆失败。这个概率阈值对应的临界损失值为$L_{crit} = -\log(0.5) = \ln(2) \approx 0.693$。实验显示，最早低于阈值的顽固token位置与第一个解码失败位置$i^*$高度相关（Spearman $\rho = 0.908$），表明低于阈值的概率会显著增加因失去概率主导地位而导致错误的风险。
确定性相变是理解本文微观记忆动态的关键，它解释了为什么平均损失降低不等于记忆成功，以及为什么单个局部瓶颈会导致完全序列失败，这对于理解MemFT方法的设计动机至关重要
研究动机
大语言模型需要在动态现实世界中持续学习和更新知识以保持有效性。虽然低秩适应（LoRA）被广泛用于此类记忆更新，但现有研究主要依赖定性下游评估，如问答任务，这种评估不可避免地将原始信息记忆与下游理解和指令遵循行为混淆。例如，一个模型可能在问答任务上表现良好，但实际上只是利用了语义线索而非精确记忆了原始文本。非参数化方法（如ICL、RAG）虽然能够通过推理时直接获取源文本来保证逐字输出，但它们受到固定上下文窗口、注意力稀释和随着输入长度扩展而增加的计算开销的根本约束。现有的LoRA记忆研究主要展示其在下游任务性能改进和与外部记忆系统协同方面的有效性，但精确参数化记忆的定量容量边界和动态机制仍未得到探索。例如，给定固定LoRA秩$r$和序列长度$\ell$，模型能够记住多少内容？记忆失败的根本原因是什么？这些问题缺乏定量答案。
本文的目标是本文的核心目标是揭示支配精确参数化记忆容量边界和动态机制的基本规律。具体而言，作者希望回答以下研究问题：什么支配原则决定了精确参数化记忆的容量边界和动态机制？为此，作者将LoRA用作潜在空间中的可控记忆容量探针，系统地扫描秩和记忆序列配置，在宏观层面建立参数预算、序列长度和记忆增益之间的定量关系，在微观层面揭示token级记忆失败的根本原因。基于这些发现，作者进一步提出优化策略以提高记忆保真度和参数效率。
与已有工作不同的是，本文的独特切入角度在于将LoRA从实用微调工具转变为可控实验探针，专注于精确参数化记忆的定量研究。与现有研究关注下游任务性能不同，本文将记忆任务形式化为严格的逐字重现要求$f_\theta(q^{(i)}) = a^{(i)}$，消除了语义理解的干扰，纯粹研究参数化记忆的容量限制。作者借鉴认知科学中的模糊痕迹理论（fuzzy-trace theory），认为记忆双编码信息到独立的要点和逐字痕迹中。功能性基准评估要点级能力，而精确文本重构隔离逐字保留。关键在于，虽然非参数化方法通过直接获取源文本保证逐字输出，但参数化记忆缺乏这种优势，难以保真重构。在参数化结构中表征精确记忆因此是基础性的。这种将实用工具转化为理论探针的视角转换，使得作者能够系统地量化精确参数化记忆的容量定律和相变机制。
核心方法
本文的方法框架分为三个层面：实验设计、定律发现和优化方法。在实验设计层面，作者将LoRA用作潜在空间中的可控记忆容量探针，通过扫描LoRA秩$r$和记忆序列长度$\ell$来研究参数预算与记忆容量的关系。实验在Qwen3-8B-IT和Llama3.1-8B-IT两个8B规模模型上进行，使用两个互补基准：长上下文记忆压力测试（使用LongBench样本，0%-100%随机token替换）和PhoneBook基准（短文本密集记忆）。在定律发现层面，作者通过大规模定量实验发现LoRA导致的损失减少$\Delta L$与秩$r$和长度$\ell$之间在log-log空间中呈现近似线性关系，从而形式化出参数化记忆定律$\Delta L(r, \ell) = C \cdot r^\alpha \cdot \ell^{-\beta} + b$。在微观层面，作者分析token级概率动态，发现预测概率$p > 0.5$构成逐字回忆的充分条件，定义了确定性相变边界。基于这些发现，作者提出MemFT（Memory-oriented Fine-Tuning）优化方法，将参数预算重定向给亚阈值token，通过阈值引导的优化提高记忆效率。
本文的核心创新点包括：1）将LoRA从实用微调工具转化为可控记忆容量探针，通过系统扫描秩和序列长度配置发现参数化记忆的幂律容量定律；2）揭示损失-准确性不对齐现象，发现平均损失降低不等于记忆成功，识别$p > 0.5$为确定性回忆的充分条件；3）发现顽固token位置的局部化特征（如位置$i=153$单独占所有失败的28%），这些位置即使在LoRA秩增加时也持续保持$p < 0.5$；4）基于相变分析提出MemFT优化策略，将标准SFT的均匀梯度分配改为阈值引导的token加权分配，将计算预算从已掌握的token重定向到亚阈值顽固token。与已有方法相比，本文不仅提供了记忆容量的定量预测公式，还深入理解了记忆失败的微观机制，并据此设计了针对性的优化策略。
方法步骤详情
本文的方法步骤可以描述为以下几个阶段：1）任务形式化：定义精确参数化记忆任务，给定冻结基模型$f_{\theta_0}$，学习参数增量$\Delta\theta$构造更新模型$f_\theta$，满足$f_\theta(q^{(i)}) = a^{(i)}$。2）LoRA记忆注入：对于每个适配的线性层（冻结权重$W_0 \in \mathbb{R}^{d_{out} \times d_{in}}$），添加低秩残差分支$h = W_0x + BAx$，其中$A \in \mathbb{R}^{r \times d_{in}}$，$B \in \mathbb{R}^{d_{out} \times r}$，$r \ll \min(d_{in}, d_{out})$是LoRA秩。3）实验扫描：在不同LoRA秩$r$（如1, 2, 4, 8, 16, 32, 64, 128, 256）和序列长度$\ell$（如50, 100, 200, 500, 1000, 2000, ... 10000）配置下训练模型，记录损失减少$\Delta L = L_{init} - L_{final}$和准确率指标。4）定律拟合：在log-log空间分析$\Delta L$与$r$和$\ell$的关系，拟合幂律模型$\Delta L(r, \ell) = C \cdot r^\alpha \cdot \ell^{-\beta} + b$，评估$R^2$和MAPE。5）相变分析：分析训练收敛后每个位置的教师强制概率$p(t_i | t_{<i})$，识别顽固位置（$p < 0.5$），研究其与解码失败位置的相关性。6）MemFT优化：将标准SFT损失$L_{SFT}(\theta) = \frac{1}{\ell}\sum_{t=1}^{\ell} L_t(\theta)$替换为token加权形式$L_{MemFT}(\theta) = \frac{\sum_{t \in \mathcal{M}} w_t L_t(\theta)}{\sum_{t \in \mathcal{M}} w_t + \epsilon}$，其中$w_t$是动态权重。7）评估验证：在相同基准上比较SFT、MemFT-OT（仅阈值变体）和MemFT-SW（自适应滑动机制）的性能，报告token级准确率和精确匹配准确率。
技术新颖性
本文的技术新颖性体现在多个层面：在理论层面，首次建立了参数化记忆的定量容量定律，将抽象的记忆能力转化为可预测的幂律关系，这类似于神经网络scaling law在记忆领域的延伸。在机制层面，首次揭示了token级记忆的确定性相变现象，将$p > 0.5$识别为记忆成功的临界条件，这为理解记忆失败提供了新的理论框架。在方法层面，基于相变分析设计的MemFT策略开创了阈值引导的token加权优化思路，与传统的均匀梯度分配方法有本质区别。在实验层面，设计了严格的精确记忆基准，将注意力从语义理解转移到逐字重现，这是与大多数下游任务评估方法的重要区别。此外，本文将LoRA从实用工具转化为理论探针的视角转换也具有创新性，使得系统性研究参数预算与记忆容量的关系成为可能。这种多层面的新颖性共同构成了对参数化记忆领域的深入贡献。
实验结果
本文通过大规模实验获得了多项重要发现。首先，作者验证了参数化记忆定律的有效性，在多种模型（Qwen3-8B-IT、Llama3.1-8B-IT）和数据分布（纯语义、完全随机、短上下文PhoneBook、0%-100%随机混合）上均实现$R^2 > 0.98$的拟合质量，MAPE低至0.476%-8.320%。例如，在长上下文混合数据上，Llama3.1-8B-IT达到$R^2 = 0.987$，Qwen3-8B-IT达到$R^2 = 0.983$，表明幂律关系准确表征了损失减少的scaling行为。其次，作者揭示了损失-准确性不对齐现象，图2c显示许多情况下损失接近零而准确率接近零，这是因为平均损失平滑了局部变化，允许高置信度的易token掩盖难token的灾难性错误。第三，作者发现了确定性相变的临界条件：在贪婪解码下，$p > 0.5$构成逐字回忆的充分条件，对应的临界损失为$L_{crit} = -\log(0.5) \approx 0.693$。实验显示最早顽固位置与第一个解码失败位置高度相关（Spearman $\rho = 0.908, n=155$），表明低于阈值的概率会因失去概率主导地位而显著增加错误风险。第四，作者发现顽固位置具有高度局部化特征，图3c显示位置$i=153$单独占所有失败的28%，说明这些是内在困难案例，对容量扩展具有抗性。最后，MemFT方法在记忆保真度和参数效率上显著超越标准SFT。在长上下文记忆压力测试中，MemFT-OT在LLAMA3.1-8B-IT的r9配置下达到100%准确率，MemFT-SW在低秩配置（r1-r3）中领先。在PhoneBook基准中，MemFT-SW最快达到100% EM准确率（Llama的p7、Qwen的p6）。在线性规则学习基准（$f(x,y)=3x+5y+7$）中，MemFT在泛化准确率上持续超越SFT，提升范围7%-15%。
![Performance comparison on the Linear Rule Learning benchmark using QWEN3-8B-IT. The task is to learn f(x, y) = 3x + 5y + 7 with x, y ∈ [1, 30]. Memory column reports accuracy on seen training pairs, Generalization column reports accuracy on unseen test pairs. MemFT consistently outperforms SFT in generalization accuracy, with improvements ranging from 7% to 15%.](/papers/2605.30260/images/table_3.jpg)
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| Long-Context Memorization Stress Test (Token-level Accuracy) | Acc_tok (%) | MemFT-OT: 27.3-100.0 (r1-r9 on Llama3.1), MemFT-SW: 32.5-81.1 (r1-r9 on Llama3.1) | SFT: 27.4-94.7 (r1-r9 on Llama3.1) | 在高秩配置下MemFT-OT达到100%准确率，在低秩配置下MemFT-SW显著领先 |
| PhoneBook (Exact Match Accuracy) | Acc_EM (%) | MemFT-SW: 1.84-100.0 (p1-p7 on Llama3.1), MemFT-OT: 1.00-87.0 (p1-p7 on Llama3.1) | SFT: 0.50-59.3 (p1-p7 on Llama3.1) | MemFT-SW在p7达到100% EM准确率，SFT在相同参数预算下仅59.3% |
| Linear Rule Learning (Generalization Accuracy) | Accuracy (%) | MemFT: 95.0-100.0 (rank 1-16 on Qwen3-8B) | SFT: 83.0-100.0 (rank 1-16 on Qwen3-8B) | 7%-15%泛化准确率提升，在低秩配置下尤其显著 |
| Parametric Memory Law Fitting | R² / MAPE | Llama3.1-8B: R²=0.987, MAPE=7.057% (Long-Context Comb.), Qwen3-8B: R²=0.983, MAPE=8.320% (Long-Context Comb.) | N/A (首次建立) | 首次建立定量定律，高拟合质量证明幂律关系的有效性 |
| Deterministic Phase Transition | Spearman Correlation | ρ = 0.908 (n=155) between earliest stubborn position and first failure | N/A (首次发现) | 首次揭示token级概率与解码失败的高度相关性 |
局限与改进
本文存在多项局限性，部分由作者承认，部分为独立观察。作者承认的局限性包括：1）分析局限于8B规模模型，参数化记忆定律向其他尺度的泛化尚未验证，例如在70B或更大模型上是否保持相同的幂律关系仍需探索；2）$p > 0.5$相变特定于贪婪解码，在随机方法（如nucleus sampling）下的鲁棒性尚未验证；3）虽然提供了初步泛化分析，但与更广泛能力（如开放性推理）的综合权衡评估仍然缺乏。独立观察的局限性包括：1）实验范围相对受限，主要关注合成数据（LongBench随机替换、PhoneBook），在真实世界数据上的有效性需要进一步验证；2）MemFT方法引入了额外超参数（如滑动窗口长度$L_{win}$、衰减时间常数$\tau$、课程进度边界），虽然论文提供了详细配置，但超参数敏感性分析不够充分；3）论文关注精确记忆，但实际应用中可能更关心语义等价而非逐字匹配，方法的适用范围可能受限；4）时间复杂度分析缺失，MemFT的token加权机制是否显著增加训练开销未明确说明；5）安全性的讨论较为简要，虽然提到了双用风险和负责任部署的重要性，但缺乏对如何防止记忆被滥用的具体技术方案的深入讨论。
独立分析的弱点
本文存在几个值得改进的弱点，每个都有具体的改进方向。首先，实验模型规模局限于8B，限制了定律的普适性。改进方向是将实验扩展到不同尺度的模型（如1B、7B、13B、70B），验证参数化记忆定律的尺度不变性或发现尺度依赖的修正因子。其次，相变分析仅针对贪婪解码，限制了结论的适用范围。改进方向是研究nucleus sampling、beam search等解码策略下的相变行为，探索是否存在与采样策略相关的临界概率阈值。第三，超参数敏感性分析不足，影响方法的实用性。改进方向是系统研究$L_{win}$、$\tau$等超参数对性能的影响，提供自动化调参策略或更鲁棒的自适应机制。第四，泛化评估较为初步，缺乏对模型其他能力的影响分析。改进方向是在通用基准（如MMLU、GSM8K）上评估MemFT是否损害模型的通用能力，或者设计更复杂的泛化任务（如规则推广、类比推理）。第五，真实数据验证缺失，限制方法的实际应用价值。改进方向是在真实世界数据集（如法律文档、医疗记录、代码库）上评估精确记忆能力，研究语义噪声和真实模式对记忆定律的影响。第六，效率分析不充分。改进方向是详细分析MemFT相对于SFT的训练时间、内存占用和推理开销，量化token加权机制的计算成本。
未来方向
基于本文成果，可以延伸多个有价值的未来研究方向。作者提出的方向包括：1）验证参数化记忆定律向其他模型尺度的泛化，探索在更大模型（如70B）上是否保持相同的幂律关系，或者是否需要引入尺度依赖的修正；2）研究确定性相变在随机解码策略下的行为，探索nucleus sampling、温度采样等策略下的临界条件和记忆失败模式；3）开展与更广泛能力的综合权衡评估，研究专注于精确记忆是否损害开放性推理、创意生成等其他能力。独立延伸方向包括：1）理论深化：从经验定律上升到理论解释，探索为什么记忆遵循幂律scaling，是否与信息论、统计力学的基本原理相关；2）方法扩展：将MemFT的思想扩展到其他参数高效微调方法（如Adapter、Prefix Tuning、Prompt Tuning），研究阈值引导优化是否具有普适性；3）多模态记忆：将参数化记忆定律扩展到视觉-语言模型，研究图像、视频等模态的记忆容量是否遵循类似的幂律关系；4）动态记忆：研究记忆的遗忘机制，探索在持续学习场景下如何平衡新旧记忆，避免灾难性遗忘；5）安全性研究：开发技术手段防止参数化记忆被滥用于存储有害内容，如记忆净化、访问控制、内容审计等机制；6）跨架构验证：在Transformer以外的架构（如State Space Models、Mamba）上验证定律的有效性，探索架构依赖的差异；7）神经科学关联：将参数化记忆定律与生物记忆的神经机制进行比较，探索是否存在跨尺度的一致性原理。这些方向将推动参数化记忆研究从现象描述走向机制理解和实际应用。
复现评估
本文的复现性总体较好，但存在一些需要说明的细节。开源情况方面，作者声明代码将在https://github.com/zjunlp/ParametricMemoryLaw发布，但截至论文撰写时尚未公开，这限制了立即复现。数据方面，使用的基准数据集较为透明：Long-Context Memorization Stress Test基于公开的LongBench数据集，PhoneBook基准采用标准版本，详细的数据构造流程在附录A中提供，包括token替换比例、长度桶划分、去重策略等。算力需求方面，论文未明确说明具体的硬件配置和训练时间，但从实验规模推断（两个8B模型、多个秩和长度配置、300-800 epochs），需要相当可观的GPU资源，估计需要多张A100或H100显卡。实验设计的可复现性良好，论文在附录B、D中提供了详细的超参数配置，包括学习率（1e-2到3e-3）、批大小（10-50）、梯度累积（1-4）、课程进度边界等。特别是对于MemFT-SW的PhoneBook实验，论文提供了长度依赖的超参数表（表5、6），包含每个长度桶对应的近似样本数、学习率、训练轮数、批大小和课程边界。评估指标的计算方法也明确定义，包括答案-only计费、贪婪解码规则、准确率计算等。潜在的复现难点包括：1）模型版本问题，Qwen3和Llama3.1可能有多个版本，需要确认具体使用的checkpoint；2）随机种子问题，论文未说明是否固定随机种子或报告多次运行的方差；3）收敛判断标准，虽然论文提供了训练损失曲线（图4-6）证明充分训练，但未明确说明停止标准。总体而言，给定足够算力资源和明确的模型版本，本文的实验应该能够复现，但完整的开源代码发布将进一步降低复现门槛。
论文图表
