ReLMXEL：基于强化学习的自适应内存控制器，具有可解释的能耗和延迟优化 ReLMXEL: Adaptive RL-Based Memory Controller with Explainable Energy and Latency Optimization
提出多代理强化学习内存控制器，通过奖励分解实现可解释的能耗延迟联合优化
前置知识
强化学习
强化学习是机器学习的一个分支，智能体通过与环境交互来学习最优策略。在每个时间步，智能体观察状态 $s_t$，选择动作 $a_t$，获得奖励 $r_t$，然后转移到新状态 $s_{t+1}$。目标是学习策略 $\pi(a|s)$ 最大化累积期望奖励。与监督学习不同，强化学习不需要标记数据，而是通过试错和奖励反馈来学习，非常适合动态环境中的决策问题
本文使用强化学习来动态优化内存控制器参数，因为内存系统行为高度动态，工作负载和访问模式会快速变化，传统静态方法无法有效适应
内存控制器
内存控制器是处理器和DRAM之间的桥梁，负责管理内存访问请求的调度和执行。关键参数包括页面策略、调度算法、仲裁策略、缓冲策略、刷新策略等。页面策略决定访问后行缓冲是保持打开还是关闭；调度算法决定请求的优先级顺序；仲裁策略选择哪些命令可以执行到DRAM。这些参数直接影响延迟、能耗和带宽利用率
本文的核心就是通过强化学习动态调整这些内存控制器参数来优化性能，理解内存控制器的工作原理是理解方法的基础
Q学习和SARSA
Q学习和SARSA都是基于价值的强化学习算法。Q-learning使用贝尔曼最优方程更新：$Q(s,a) \leftarrow Q(s,a) + \alpha[r + \gamma \max_{a'} Q(s',a') - Q(s,a)]$。SARSA是on-policy版本，使用实际执行的下一个动作：$Q(s,a) \leftarrow Q(s,a) + \alpha[r + \gamma Q(s',a') - Q(s,a)]$。两者都维护Q表，存储每个状态-动作对的期望累积奖励。$\alpha$是学习率，$\gamma$是折扣因子
本文采用SARSA算法来学习最优的内存控制器参数配置，Q表存储了不同配置下各性能指标的预期回报
奖励分解
传统强化学习使用标量奖励，而奖励分解将标量奖励拆分为向量形式，每个分量代表不同子目标的回报。本文将总奖励分解为延迟、能耗、带宽等多个分量：$\vec{R} = (R_{latency}, R_{energy}, R_{bandwidth}, \ldots)$。对应地，Q函数也分解为多个Q值：$Q_c(s,a)$ 表示在状态 $s$ 执行动作 $a$ 对分量 $c$ 的预期回报。选择动作 $a_1$ 而非 $a_2$ 当且仅当 $\sum_c Q_c(s,a_1) > \sum_c Q_c(s,a_2)$
奖励分解是实现可解释性的关键技术，它能够解释为什么选择某个配置，比如能耗的提升足以抵消延迟的损失，这是本文区别于以往RL内存控制器的核心创新
研究动机
现代计算系统中，DRAM是事实上的内存技术，对整体系统性能起关键作用，特别是对内存密集型和计算密集型工作负载，如机器学习训练和推理。减少延迟和能耗对提高内存系统效率至关重要。已有研究表明强化学习是设计自优化内存控制器的有前途技术，如Ipek等人提出的自优化内存控制器，使用RL自适应调度决策，在各种工作负载上优于静态策略。然而，现有RL驱动决策缺乏透明度，阻碍了它们在现实系统中的采用，这些系统需要可解释性、可靠性和信任。虽然Ipek等人的方法实现了调度优化，但忽略了仲裁、刷新策略、页面策略、调度器缓冲策略等重要参数
本文的目标是本文提出ReLMXEL（Reinforcement Learning for Memory Controller with Explainable Energy and Latency Optimization），一个新颖的多代理RL基内存控制器。目标是动态调整内存策略以优化各种工作负载的延迟和能耗，包括那些在机器学习应用中常见计算模式的工作负载，如密集线性代数（GEMM）、内存受限操作（STREAM、mcf）和不规则数据访问模式（BFS、omnetpp），同时整合可解释性技术使其决策可解释
与已有工作不同的是，本文的独特切入角度在于同时解决了两个问题：一是参数优化的全面性，不仅优化调度，还优化页面策略、仲裁、刷新等多个参数；二是决策的可解释性，通过奖励分解技术将传统标量RL奖励分解为代表系统级性能指标的向量，使得每个决策都有明确的理由，比如能耗的改善本身就足以证明这个动作的合理性，尽管在其他方面有损失
核心方法
ReLMXEL将内存控制器作为环境，提供延迟、平均功耗、总能耗、带宽利用率、bank和bank组切换、行缓冲命中和未命中等指标。RL代理观察这些指标，选择可配置的DRAM参数动作，包括页面策略、调度器、调度器缓冲、仲裁器、响应队列、刷新策略、刷新延迟上限、刷新提前上限、请求缓冲区大小和最大活跃事务数等。通过迭代交互，代理学习调整DRAM参数以实现最优效率。整个框架基于强化学习框架，代理在每个时间步观察当前状态，选择动作，获得奖励，转移到新状态，目标是学习最大化累积期望奖励的最优策略
核心创新点有两个：一是多代理框架，每个可配置参数关联一个Q表，N个代理各自学习不同参数的优化；二是奖励分解实现可解释性，将传统标量RL奖励分解为代表延迟、能耗、带宽等系统级性能指标的向量。对应地，Q函数分解为每个奖励类型的独立Q值。通过奖励差异解释（RDX）和最小充分解释（MSX），可以解释为什么选择动作 $a_1$ 而非 $a_2$：MSX是能够证明对 $a_2$ 优势的最小分量子集，满足 $\sum_{c \in MSX^+} \Delta_c(s,a_1,a_2) > d$，其中 $d$ 是负贡献分量的总劣势
方法步骤详情
方法步骤如下：首先初始化N个代理，每个代理使用基础种子生成的唯一种子，每个代理有自己的Q表 $Q_i(s,a,r)$，其中 $r$ 是特定奖励类型。然后使用 $\epsilon$-greedy策略选择初始动作向量 $a = (a_1, \ldots, a_N)$。在每个时间步 $t$，将动作应用到内存控制器，提取M个性能指标观察值 $(R_{j,obs})_{j=1}^M$，使用公式 $R_X = \frac{|R_{target} - R_{observed}|}{R_{target}}$ 计算每个指标的奖励。如果是warmup阶段（$t < w$），使用较高的探索率 $\epsilon_{old}$，否则使用较低的 $\epsilon_{new}$。然后计算累积奖励 $RC = RC + R_T$，其中 $R_T = \sum_{j=1}^7 R_{X_j}$ 是七个性能指标的总奖励。接下来每个代理独立选择下一个动作，使用 $\epsilon$-greedy策略和当前Q表。然后使用SARSA更新规则更新每个Q表：$Q(s_t,a_t) \leftarrow Q(s_t,a_t) + \alpha[r_t + \gamma Q(s_{t+1},a_{t+1}) - Q(s_t,a_t)]$。最后更新状态和动作，继续下一个时间步。总时间步数为T，warmup阈值为w，学习率为 $\alpha$，折扣因子为 $\gamma$
技术新颖性
技术新颖性体现在三个方面：一是多代理框架，每个参数由独立的代理优化，参数间的协调通过共享的环境和奖励分解实现；二是全面的参数优化，相比之前只优化调度的方法，本文优化了页面策略、调度器、仲裁器、刷新策略等多个关键参数；三是可解释性，通过奖励分解和MSX方法，不仅优化性能，还能解释每个决策的理由，比如能耗的大幅改善足以证明选择简单仲裁而非重排仲裁的合理性，尽管重排在延迟和带宽上有适度改善。这种平衡适应性与透明度的方法是在复杂计算环境中实现可问责和自适应内存系统设计的关键进展
![Reinforcement Learning Framework [3]](/papers/2603.17309/images/figure_1..jpg)
实验结果
实验使用DDR4内存和DRAMSys模拟器，包含四个bank组每组四个bank，每个bank有32768行和1024列。基线内存控制器使用OpenAdaptive页面策略、FR-FCFS调度算法、按bank的调度器缓冲、全bank刷新策略、最多8个延迟和8个提前刷新、最多128个活跃事务和重排仲裁。工作负载包括GEMM、STREAM、BFS以及SPEC CPU 2017套件中的内存密集型应用。实验设置折扣因子 $\gamma=0.9$ 和学习率 $\alpha=0.1$，这些值通过设计空间探索确定。追踪分割参数设置为30000，探索参数 $\epsilon_{new}=0.001$。能耗和延迟改进计算为 $\frac{Baseline - ReLMXEL}{Baseline} \times 100\%$，正值表示减少。带宽改进计算为 $\frac{ReLMXEL - Baseline}{Baseline} \times 100\%$，正值表示增加。结果显示ReLMXEL在所有工作负载上都一致地优于基线配置。在STREAM工作负载上，能耗降低3.84%，带宽提升8.39%，延迟降低0.23%。在GEMM上，能耗降低3.83%，带宽提升4.95%，延迟降低0.01%。在BFS上，能耗降低7.66%，带宽提升7.22%，延迟略微增加0.03%。在SPEC CPU 2017工作负载上，fotonik_3d能耗降低7.66%，带宽提升2.90%；xalancbmk能耗降低7.68%，带宽大幅提升107.03%；gcc能耗降低7.66%，带宽提升1.70%；roms能耗降低7.67%，带宽提升35.63%；mcf能耗降低7.67%，带宽提升40.19%；lbm能耗降低7.67%，带宽提升26.73%；omnetpp能耗降低4.06%，带宽大幅提升138.78%。总体而言，ReLMXEL实现了高带宽利用率和降低延迟，同时在内存受限工作负载如STREAM和GEMM上表现出略好的能效
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| STREAM内存带宽测试 | 平均能耗降低 | 3.84% | OpenAdaptive页面策略+FR-FCFS调度 | 3.84% |
| STREAM内存带宽测试 | 带宽利用率提升 | 8.39% | OpenAdaptive页面策略+FR-FCFS调度 | 8.39% |
| GEMM矩阵乘法 | 平均能耗降低 | 3.83% | OpenAdaptive页面策略+FR-FCFS调度 | 3.83% |
| GEMM矩阵乘法 | 带宽利用率提升 | 4.95% | OpenAdaptive页面策略+FR-FCFS调度 | 4.95% |
| BFS广度优先搜索 | 平均能耗降低 | 7.66% | OpenAdaptive页面策略+FR-FCFS调度 | 7.66% |
| BFS广度优先搜索 | 带宽利用率提升 | 7.22% | OpenAdaptive页面策略+FR-FCFS调度 | 7.22% |
| omnetpp网络模拟 | 平均能耗降低 | 4.06% | OpenAdaptive页面策略+FR-FCFS调度 | 4.06% |
| omnetpp网络模拟 | 带宽利用率提升 | 138.78% | OpenAdaptive页面策略+FR-FCFS调度 | 138.78% |
局限与改进
作者没有在论文中明确承认局限性，但从实验设置可以观察到几个潜在问题。首先，所有实验都在模拟环境中进行，使用DRAMSys模拟器和追踪文件，这与真实硬件环境可能有差异。其次，工作负载覆盖范围有限，虽然包括了ML相关模式（GEMM、STREAM）和不规则访问（BFS），但可能无法涵盖所有实际应用场景。第三，奖励分解相对简单，只考虑了延迟、能耗、带宽等基本指标，可能忽略了其他重要因素如可靠性、安全性等。第四，多代理框架虽然实现了全面参数优化，但代理间的协调主要通过共享环境，没有显式的协调机制，可能导致局部最优。第五，探索参数 $\epsilon_{new}=0.001$ 是通过实验确定的，但可能不是所有工作负载的最优值，需要更细粒度的调优。最后，warmup阈值设置为14000-17000，这个选择可能影响收敛速度和最终性能
独立分析的弱点
主要弱点包括：首先，模拟环境与真实硬件的差距可能导致实际部署时的性能下降，真实硬件有模拟器难以捕捉的复杂性和不确定性。改进方向是在硬件在环设置中验证框架，实现与实际硬件的实时交互。其次，奖励分解方案相对简单，可以考虑加入更多维度如可靠性、安全性、公平性等，或者使用层次化奖励结构。第三，多代理框架缺乏显式协调机制，可以引入通信机制或中央协调器来增强代理间的协作。第四，超参数选择（$\gamma=0.9$、$\alpha=0.1$、$\epsilon_{new}=0.001$）是通过设计空间探索确定的，但可以采用自适应超参数调优方法如贝叶斯优化。第五，工作负载覆盖有限，应该扩展更多样化和更具代表性的工作负载，特别是现代ML应用的复杂模式。第六，缺乏对可解释性效果的定量评估，应该加入用户研究来评估MSX解释的实际有用性和可信度
未来方向
作者提出的未来方向包括：将RL优化扩展到异构内存架构，如混合非易失性内存系统，以评估其在现实场景中的鲁棒性；在硬件在环设置中集成RL，允许与实际硬件实时交互，弥合模拟与现实应用之间的差距；使用RL帮助高效检测和缓解DRAM安全威胁如row hammer攻击，通过识别恶意内存访问模式并调整内存访问策略来防止数据损坏或安全违规。基于本文成果可延伸的方向包括：将框架扩展到其他内存标准如GDDR、LPDDR、HBM等；结合硬件加速实现实时在线学习；研究迁移学习，将在一个工作负载上学到的策略迁移到类似工作负载，减少学习时间；开发更细粒度的可解释性技术，如决策树或注意力机制来可视化代理的决策过程；探索多目标优化的帕累托前沿，让用户可以在能耗、延迟、带宽等目标之间根据应用需求进行权衡；集成到操作系统或虚拟化层，实现系统级的自适应内存管理
复现评估
论文没有明确提到代码开源情况，但从实验描述来看，使用的都是公开可用的工具和数据集。DRAMSys是开源的DRAM模拟框架，ChampSim是用于生成追踪的公开模拟器，SPEC CPU 2017是标准基准套件。实验使用单个通道、单rank配置的DDR4内存，参数设置详细（突发长度8、四个bank组每组四个bank、每个bank 32768行1024列每设备8字节）。追踪分割参数30000、探索参数 $\epsilon_{new}=0.001$、折扣因子 $\gamma=0.9$、学习率 $\alpha=0.1$ 等都明确给出。工作负载包括GEMM、STREAM、BFS和SPEC CPU 2017套件中的多个程序。然而，缺少具体的追踪文件获取方式和详细的随机种子设置。算力需求没有明确说明，但从时间步数（14000-20770）和模拟器性质推断，需要中等计算资源。总体而言，复现难度中等，主要挑战可能在于获取相同的追踪文件和配置模拟器环境
论文图表
该柱状图展示了Baseline和ReLMXEL在10个工作负载上的平均延迟对比，单位是 ps/10^6。横轴是工作负载，纵轴是平均延迟。每个工作负载有两个柱子，浅色是Baseline，深色是ReLMXEL。从图可以看出，ReLMXEL与Baseline的延迟差异很小，有些工作负载略微降低，有些略微增加，总体基本持平。这验证了表格中-4.43%到0.23%的延迟变化
这张图对理解论文重要，因为它展示了ReLMXEL在延迟方面的表现。延迟是内存系统的关键指标，图中显示的小幅变化证明了ReLMXEL能够在大幅降低能耗和提升带宽的同时，基本保持延迟不变，这是方法的有效性和实用性的重要体现