QEIL v2：基于 Roofline 推导的帕累托最优能量建模与多目标编排的边缘智能异构计算框架 QEIL v2: Heterogeneous Computing for Edge Intelligence via Roofline-Derived Pareto-Optimal Energy Modeling and Multi-Objective Orchestration
用 Roofline 物理模型把 LLM 异构边缘部署的能量建模、布局优化和候选验证全部从启发式升级为第一性原理。
前置知识
Roofline 模型
Roofline 模型由 Williams 等人在 2009 年提出，是一种把硬件理论峰值算力 $\pi_i$ 和内存带宽 $\beta_i$ 结合起来刻画计算设备性能上限的可视化模型。它定义 ridge point $\rho_i = \pi_i / \beta_i$（FLOPs/byte）：当工作负载的算术强度 $AI = W/Q$（FLOPs/byte）低于 $\rho_i$ 时为 memory-bound，硬件算力大部分闲置；高于 $\rho_i$ 时为 compute-bound，硬件可被充分利用。
QEIL v2 的 DASI 指标直接源自 Roofline 思想，是论文把所有能耗估计"物理化"的根基——理解它是看懂为什么 GPU 跑 decode 会浪费 99.5% 算力的前提。
Transformer prefill vs decode 阶段
LLM 推理分两个阶段：prefill 一次性处理整段 prompt 序列（Q/K/V/O 四个投影 + 全序列注意力），算术强度高（$AI \approx 1024$ FLOPs/byte，compute-bound）；decode 阶段自回归逐 token 生成，仅需从 KV cache 读取历史 token，算术强度极低（$AI \approx 1$ FLOP/byte，memory-bound）。两个阶段的算术强度相差 3-5 个数量级，硬件最优部署完全不同。
论文反复强调这一区分，正是它导致 GPU 跑 decode 时 99.5% 算力空转；QEIL v2 的核心价值就是把这两类操作路由到不同设备。
Pareto 支配与多目标优化
多目标优化中若解 $A_1$ 在所有目标上不差于 $A_2$ 且至少一项严格更优，则称 $A_1$ Pareto 支配 $A_2$。所有不被支配的解构成 Pareto 前沿。Das & Dennis (1997) 证明了加权求和 scalarization 无法找到非凸 Pareto 区域的解，常见替代方案是 NSGA-II 遗传算法或带 Metropolis 接受准则的模拟退火。
QEIL v1 的 greedy 加权求和正落入这一陷阱，论文的核心算法 PGSAM 就是用 Pareto 支配 + 模拟退火显式搜索非凸前沿的。
CMOS 亚阈值漏电与温度关系
MOS 管在关断状态下仍有亚阈值漏电流 $I_{sub} \propto \exp((V_{gs}-V_{th})/(nV_T))$，其中 $V_T = kT/q$ 是热电压。漏电功率随结温呈指数增长，工业经验是每升高 10°C 漏电翻倍，即 $P_{leak}(T) = P_{leak}(T_{ref}) \cdot \exp(\lambda(T-T_{ref}))$，$\lambda \approx 0.02/°C$ 对应 5-7nm 工艺。
论文的热指标 $\Phi$ 完全由此推导；没有这个基础就无法理解为什么 GPU 温度从 68°C 升到 89°C 时能耗会爆炸 5 倍以上。
Intelligence Per Watt (IPW)
Saad-Falcon 等人 2025 年提出的一种把"能力"和"功率"统一为单一指标的度量：$IPW = \text{pass@k}(\%) / \text{Average Power (W)}$。IPW=1.0 意味着每瓦可换 1% 准确率，作为可复现的工程参考点（注意 IPW 没有理论上限）。
这是论文所有实验的"北极星指标"，是判断 v2 是否真正突破边缘部署门槛的统一刻度。
推理时计算扩展 (Inference-time Scaling)
Brown 等人 2024 年 ("Large Language Monkeys") 发现，对同一 prompt 重复采样 $N$ 次并以某种规则挑选最佳输出，pass@k 覆盖率近似按 $C(S) = 1 - \exp(-\alpha S^\beta)$ 随样本数 $S$ 对数线性增长，$\beta \approx 0.70$。该规律在不同模型家族间保持稳定 (R²>0.99)。
这是论文中 EAC/ARDE 选择级联的算法前提；如果重复采样不带来多样性收益，verified selection 就无从谈起。
研究动机
在异构边缘设备上部署 LLM 是一类被低估的硬约束优化问题：边缘设备的功率包络（5-85W 对比数据中心 300W+）、内存（8-128GB）、无风扇散热下的热节流、以及对可靠性与安全性的强约束，和数据中心 GPU 集群完全不在一个量级。现有框架通常做单设备部署，把整个模型塞进一块 GPU，导致两个具体痛点：其一是 GPU 跑 decode 时算术强度仅 ≈1 FLOP/byte，远低于 GPU ridge point $\rho_{GPU}=218$，99.5% 的算力在空转，却仍按 55W+ TDP 持续耗电；其二是把所有算子都视作同类，无法识别 prefill（compute-bound, $AI\approx1024$）和 decode（memory-bound, $AI\approx1$）应当走完全不同的设备路径。论文的前作 QEIL v1 虽然已在 5 个模型家族上拿到 4.82× IPW 改进，但存在三大根本性局限：使用与工作负载无关的静态效率因子（NPU=0.3, GPU=0.5, CPU=1.0），把 prefill 和 decode 误算为同等耗能，能量误差可达 15-40%；采用 greedy 单目标加权求和优化，会被"horizon effect"卡在非凸 Pareto 区域的局部最小；repeated sampling 后的候选筛选只比输出长度和字母数字比例，既无验证级联也无置信度评分，浪费了大量可换取的精度。
本文的目标是QEIL v2 的目标是把 QEIL v1 中的三个静态启发式全部替换为基于物理、可在运行时自适应的模型，从而在保持 IPW ≈0.975 的同时把 accuracy 进一步推高，并首次让边缘编排系统突破 IPW=1.0 的经验参考线。具体目标包括：构造一个所有系数都可追溯到半导体物理的统一能量方程；设计一个能同时优化能量、延迟和最差设备利用率的多目标求解器；建立一个对 repeated sampling 输出做渐进式验证的推理流水线；在 WikiText-103、GSM8K、ARC-Challenge 三个数据集和 7 个模型家族（125M-8B，含一个外部 4-bit 量化变体）上验证整体框架。
与已有工作不同的是，论文的独特切入角度是把"边缘 LLM 编排"问题彻底重新表述为"半导体物理 + 多目标组合优化 + 验证式推理时扩展"三个子问题的耦合：与 Saad-Falcon 等 (2025) 仅在 query-level 做 IPW 路由的方案相比，QEIL v2 进入 sub-query、layer-level 的物理路由；与 NSGA-II 等通用 Pareto 求解器相比，PGSAM 引入 momentum-modulated 退火以跨越非凸能量山脊；与单纯做 quantization 或 compression 的工作相比，QEIL v2 验证了"物理路由 + 外部预量化"在不变动任何一行代码时反而把 IPW 推到 1.024，从而把"模型压缩"与"系统编排"的边界切开——证明 IPW 的进一步突破来自编排层而非模型层。
核心方法
QEIL v2 把整个推理流水线拆成四个串联阶段：先用物理建模引擎对每一种"设备-工作负载"组合算出 DASI、CPQ、Φ 三个无量纲指标；再把这三个指标折合到一个统一能量方程 $E_{stage}(l,i) = \frac{P_{TDP}(i) \cdot (0.3 + 0.7 \cdot DASI(l,i)) \cdot t(l,i)}{\Phi(T_i, T_i^{max})} \cdot penalty_{cpq}(i)$，让 PGSAM 在 500 次迭代内搜索 Pareto 最优的 decoder 层-设备切分边界；接着用一个简单的辅助阶段（embedding + LM head）低功耗路由补完剩下的算子；最后在推理时通过 EAC/ARDE 级联（结构预筛 → 熵过滤 → 自验证 → 跨样本共识 → 置信区间内的 ARDE 排序）和 CSVET 早期停止把 repeated sampling 转换为高质量输出。直觉上可以把它理解为：先用"半导体物理"告诉你每块芯片在不同温度、不同内存压力、不同工作负载下到底能产出多少有效算力，再用"多目标组合优化"告诉你应该把哪几层放在哪块芯片上，最后用"统计学意义上的样本验证"告诉你这么多候选里哪一份答得对。
核心创新在于三个层面。第一是把 energy equation 的每一个系数都从半导体物理或 Roofline 模型推导：DASI = $\min(\max(AI/\rho_i, \epsilon), 1.0)$，$\epsilon=0.01$ 是 address-generation 地板；$\Phi(T_i, T_i^{max}) = \exp(-\kappa \cdot \max(0, (T_i^{max}-T_i)/T_i)^2)$，$\kappa=15$ 校准到 $\Phi(T_{max}) \approx 0.16$；$penalty_{cpq}(CPQ) = 1 + 6 \cdot \max(0, CPQ - 0.7)^3$ 校准到 CPQ=0.95 时 +10% 开销——这与 QEIL v1 的两个静态参数（$P_i, \lambda_i$）形成本质差异。第二是 PGSAM：把动量 $v$（$v \leftarrow 0.9 v + 0.1 \max(0, f_1(A_t) - f_1(A_{t+1}))$）引入模拟退火的等效温度 $T_{eff} = T_{anneal} \cdot (1 + \mu v)$，$\mu=0.3$；当搜索连续取得进步时 $v$ 高、$T_{eff}$ 抬高，允许跨过能量山脊；停滞时 $v \to 0$ 回归保守；30 步不退化触发 $T \leftarrow T \times 1.3$ 重热。这与 v1 的"逐层 greedy + weighted sum"有本质区别：Pareto 支配配动量退火被 Hajek (1988) 证明满足全局收敛条件。第三是 EAC/ARDE 把 repeated sampling 从"raw voting"升级为"progressive verification"：先按 top-70% 熵过滤掉不确定输出，再按 top-60% 自验证（用对数似然 $\bar{\ell}$）筛掉内部不一致的输出，再用 Jaccard 相似度做 cross-sample consensus，最后在 $(c_0 - 1.2 \text{ nats})$ 置信带内按"质量优先、置信度其次、能量 tiebreaker"排序——CSVET 进一步在 10/25 样本处就停止对易题采样。
方法步骤详情
完整方法分四阶段、二十多个步骤。Phase 1 (Physics Modeling Engine) 的输入是硬件规格 ($\pi_i, \beta_i, TDP, T_i^{max}$) 和模型结构 ($N$ 层, $d$, $b$)，输出是 $E_{stage}(l,i)$、$t_{ms}(l,i)$、$\min_j DASI(l,j)$：Step 1.1 按公式 $AI_{prefill,attn} = 8BSd^2/(4d^2b+4BSdb) \approx 2S$ 计算 prefill attention 算术强度；Step 1.2 类似地算 $AI_{decode,attn} \approx 2, AI_{prefill,FFN} \approx 16S, AI_{decode,FFN} \approx 2$；Step 1.3 用 $DASI(l,i) = \min(\max(AI(l)/\rho_i, \epsilon), 1.0)$ 把工作负载映射到设备利用率；Step 1.4 按 Knuth (1997) 的 allocation fragmentation 理论计算 $CPQ(i) = (M_{weights}+M_{kv}+M_{act}+M_{overhead})/M_{total}(i)$，其中 $M_{kv} = 2|L_i| \cdot B \cdot h_{kv} \cdot C \cdot d_h \cdot b$ 在长上下文下可超过 6GB/24 层；Step 1.5 用 CMOS 漏电公式 $P_{leak}(T) = P_{leak}(T_{ref}) \exp(\lambda(T-T_{ref}))$ 校准 $\Phi$，$\kappa=15$ 保证 $\Phi(T_{max})\approx 0.16$；Step 1.6 代入统一能量方程得到 $E_{stage}(l,i)$。Phase 2 (PGSAM) 输入是所有 decoder 层和 3 个设备，输出是层边界向量 $b^*$：Step 2.1 用 round-robin 初始化 boundary vector；Step 2.2 在 500 次迭代内以 0.5/0.3/0.2 概率选 boundary shift / block swap / rebalance 三种邻域移动；Step 2.3 拒绝不可行解（CPQ>1 或 $T_i > 0.85 T_i^{max}$）；Step 2.4 若 $A' \prec A$ 或互不支配则接受并把 $v$ 拉回到 $0.9v+0.1\max(0, f_1-f_1')$；否则按 $P_{accept} = \exp(-\Delta_{worst}/(T_{anneal}(1+\mu v)))$ 接受；Step 2.5 几何冷却 $T \leftarrow T \times 0.97$，停滞 30 步触发 $T \leftarrow T \times 1.3$；Step 2.6 维护 Pareto archive（约 218 个解）；Step 2.7 用 weighted Chebyshev scalarization $A^* = \arg\min_A \max_k w_k \cdot \frac{f_k(A) - f_k^{ideal}}{f_k^{nadir} - f_k^{ideal}}$ 选最终解，默认 $w=(0.5, 0.3, 0.2)$ 反映能量、延迟、利用率三者的权衡。Phase 3 (Auxiliary Routing) 把 embedding 和 LM head（$AI \approx 0-1$）按实际焦耳数选最低功耗能容纳的设备（典型是 NPU 10W 或 iGPU 25W）。Phase 4 (Inference Runtime) 处理每个 prompt：Step 4.1 用 $T(i) = T_{base} + \Delta \sin(\pi i/N)$ 的正弦温度调度生成 N=20 个候选；Step 4.2 做结构预筛（长度>20 字符、>3 空格、>50% 字母数字）保留 ≥30% 的有效候选；Step 4.3 算 token 分布熵 $H = -\sum_v p_v \log p_v$ 保留 top 70%；Step 4.4 用前向传播重打分取 top 60%；Step 4.5 算 Jaccard 共识得分；Step 4.6 在 $(c_0-1.2 \text{ nats})$ 置信带内排序；Step 4.7 当 $\max c_i > c_0 - 0.12 \cdot (E_{used}/E_{budget})$ 时停止采样（CSVET）。
技术新颖性
技术新颖性体现在四点。第一是首次系统性地把 Roofline 算术强度作为 LLM 边缘编排的核心路由信号，而不只是性能建模工具——DASI 把"理论 ridge point"和"实测算力闲置率"直接对应到"该把哪一层放到哪块芯片"的决策上。第二是把 CMOS 漏电的指数-温度关系从定性"GPU 会变热"升级为定量的 Pareto 目标 $\Phi$ 项，并把它从硬阈值（v1 的 $T_i \le 0.85 T_i^{max}$ 二元约束）变为连续梯度，让 PGSAM 能"看见"温度变化并平滑地迁移负载；30 分钟压测显示 $\Phi$ 引导使 GPU 峰值温度从 89°C（47 次节流）降到 68°C（0 次节流），并因消除节流带来的延迟尖峰使吞吐量反升 14.9%。第三是 PGSAM 引入 momentum-modulated 退火温度 $T_{eff} = T_{anneal}(1+\mu v)$：在 Pareto archive 大小上 $\mu=0.3$ 比 $\mu=0$ 多容纳 36 个解，比 $\mu=0.7$ 多 13 个解，是经验上 Pareto 覆盖与收敛精度的最优点。第四是 EAC/ARDE 把 inference-time scaling 从"增大 N 提升 coverage"升级为"对每个 N 的样本做 verified selection"，CSVET 的自适应阈值 $\theta_{stop} = c_0 - 0.12 \cdot (E_{used}/E_{budget})$ 让易题上 10/25 样本即可停止，节余 40-60% 能量而无精度损失。
实验结果
核心实验在 WikiText-103、GSM8K、ARC-Challenge 三个数据集、7 个模型家族（GPT-2 125M, Granite-350M, Qwen2-0.5B, Llama-3.2-1B, LFM2-2.6B, Llama-3.1-8B, Llama3-8B-RAMP-4bit）上系统对比了 Standard 均匀 GPU、QEIL v1 和 QEIL v2 三种部署模式。WikiText-103 头对头（GPT-2 125M, Table 7）：Standard 在 181.5W 下 pass@k=59.8%, IPW=0.341；QEIL v1 在 72.4W 下 pass@k=70.5%, IPW=0.828（−73.8% 能量）；QEIL v2 在 63.8W 下 pass@k=75.7%, IPW=0.9749（−75.6% 能量，比 v1 再低 7.0%）。跨模型均值（Table 16, WikiText）：v2 比 Standard 平均 +13.1pp pass@k、−64.8% 功率、+187% IPW、−52.2% 能量；比 v1 平均 +4.2pp pass@k、−13.4% 功率、+23.8% IPW、−6.1% 能量。最大单点收益来自 Granite-350M：从 460.4W 降到 71.8W（−84%），因为该模型在 Standard 下被强制整体塞进 GPU，而 DASI 准确指出 decode 应走 NPU。GSM8K（Table 17）展示链式思考任务下 v2 仍能保持 +12.2pp pass@k、−51.7% 能量；ARC-Challenge（Table 18, 短答案知识题）甚至取得最大单基准节能 −52.8%，证明收益并非来自长生成序列的累积。最大亮点是 Llama3-8B-RAMP-4bit 取得 IPW=1.024@54.8W（WikiText 77.2%, GSM8K 65.6%, ARC 80.4%），是首个突破 IPW=1.0 经验参考线的边缘编排系统，论文明确指出该收益完全来自 v2 路由对减小的字节数 $b=0.456$（3.65-bit）做出 DASI 重算（decode 时 $AI \approx 2b^{-1}$ 在新 $b$ 下升高），PGSAM 借此把层切到更低功耗设备。消融（Table 8）逐项累加：DASI 模型贡献 −38.1% 功率（181.5→112.3W），PGSAM 替代 greedy 再降 −26.6W，EAC/ARDE 一次性 +7.7pp pass@k，CSVET 再补 0.8pp + 省 1.4W。优化器对比（Table 9）：PGSAM IPW=0.975 击败 Greedy 0.828 / Random Search 0.851 / Weighted-Sum SA 0.892，逼近 NSGA-II 0.921 的解质量但运行时间 42ms vs 128ms。安全性（Table 14-15）：30 分钟持续推理 47 次节流→0 次节流、平均延迟 1.89±0.84ms→1.32±0.06ms、吞吐量 +14.9%；四种设备故障模拟（NPU/GPU/双 GPU/NPU+GPU）全部 200ms 内恢复且 0 个查询丢失。任务无关性（Table 19）：三个数据集 v2 相对 Standard 的均值差，pass@k 跨基准标准差仅 0.45pp，能量 0.55pp，IPW 6.0pp。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| WikiText-103 通用语言建模 | pass@k (%) / IPW / 平均功率 (W) | GPT-2 75.7% / 0.9749 / 63.8W；Llama-3.1-8B 78.4% / 0.958 / 69.6W；Llama3-8B-RAMP-4bit 77.2% / 1.024 / 54.8W | Standard 均匀 GPU 部署：GPT-2 59.8% / 0.341 / 181.5W；QEIL v1：GPT-2 70.5% / 0.828 / 72.4W | GPT-2: 相对 Standard +15.9pp pass@k、−64.8% 功率、2.86× IPW；相对 v1 +5.2pp pass@k、−11.9% 功率、+17.7% IPW |
| GSM8K 链式思考数学推理 | pass@k (%) / IPW / 能量 (kJ) | Llama-3.1-8B 67.2% / 0.428 / 248.6；Llama3-8B-RAMP-4bit 65.6% / 0.502 / 188.2；七模型均值 IPW 提升 +181% | Standard 均匀 GPU：Llama-3.1-8B 52.4% / 0.131 / 422.6；v1：60.4-66.4% / 0.178-0.382 | 相对 Standard +12.2pp pass@k、−64.2% 功率、−51.7% 能量；相对 v1 +5.2pp pass@k、−12.4% 功率 |
| ARC-Challenge 短答案科学推理 | pass@k (%) / IPW / 能量 (kJ) | LFM2-2.6B 83.8% / 0.292 / 264.8；Llama-3.1-8B 82.0% / 0.548 / 188.6；Llama3-8B-RAMP-4bit 80.4% / 0.612 / 142.8 | Standard 均匀 GPU：LFM2-2.6B 70.4% / 0.120 / 452.6；v1：LFM2-2.6B 78.6% / 0.219 / 284.8 | 相对 Standard +12.5pp pass@k、−65.2% 功率、−52.8% 能量；相对 v1 +5.2pp pass@k、−12.4% 功率 |
| 30 分钟持续推理热保护（GPT-2 125M） | GPU 峰值温度 (°C) / 节流事件数 / 延迟 (ms) / 吞吐量 (tokens) | Φ 引导：68°C / 0 / 1.32±0.06 / 164,218 | 无 Φ：89°C（越过 85°C 节流阈） / 47 / 1.89±0.84 / 142,847 | −21°C 峰值、−100% 节流、−30% 延迟方差、+14.9% 吞吐量 |
| 故障恢复（4 种设备故障场景） | 恢复时间 (ms) / 查询丢失数 / 吞吐下降 | NPU 故障 78ms / 0 / −31%；双 GPU 故障 156ms / 0 / −72% | QEIL v1 无显式 fault-tolerance 层 | 100% 查询零丢失，200ms 内全部恢复；最严酷场景 NPU+GPU 故障仍 98ms / 0 丢失 |
局限与改进
作者在文中已明确承认/暗示的局限包括：(1) 物理参数 $\alpha_{cpq}$、$\kappa$、$\theta_{onset}$、$\theta_{th}$ 虽源自物理但需对实测 LPDDR5 设备标定（Table 5 的敏感性分析显示 IPW 在 ±50% 扰动下仅变化 ±2.1%，说明形状正确但常数依赖硬件代次）。(2) 评估平台仅 Intel Core Ultra 9 285HX + Intel AI Boost NPU + NVIDIA RTX PRO 5000 Blackwell + Intel Graphics 一套，论文未来工作明确列出要扩展到 Qualcomm Snapdragon NPU、NVIDIA Jetson Orin 等平台；ridge point 和内存带宽在新硬件上需要重新校准。(3) 训练/测试时都假设 sequence length S≤128K、batch size B≤16 区间，更极端的 batch（如 64+）或超长上下文（如 1M+）下 PGSAM 邻域结构（boundary shift）是否仍能高效跨越非凸区域未验证。(4) 输入侧只做了长度+字符比例的硬过滤，未引入对抗性鲁棒性测试（除 Section 3.6 提到 adversarial robustness 是 safety 框架的目标外未见对应实验）。(5) Llama3-8B-RAMP-4bit 的 1.024 IPW 是在 3.65-bit 外部量化下取得的，但 v2 内部并未提供 quantize-aware routing，若改用 2-bit 极端量化或不同量化策略时 $\epsilon_{PCIe}$ 等项需重测。(6) 比较基线是"同硬件 + Standard 均匀 GPU"或"v1 启发式"，并未与 TensorRT-LLM、llama.cpp、MLX 等工业级推理引擎直接对照，难以判断 v2 相对于非学术 SOTA 的真实位置。我自己补充的观察：(7) PGSAM 的 500 次迭代每次 42ms 看似很快，但部署期需重优化时（例如温升触发重路由），若优化器每 200ms 跑一次，对实时请求仍是可观开销。(8) 论文没有提供延迟尾分布（p99），只报告 mean±std，CSVET 看似减小方差但缺乏最坏情况分析。(9) "100% fault recovery"是基于 4 种模拟故障，缺少真实硬件故障下的端到端数据。
独立分析的弱点
独立审视论文的技术弱点有几处。其一，能量方程中 $E_{transfer} = P_{boundaries} \cdot B \cdot S \cdot d \cdot b \cdot \epsilon_{PCIe}$ 用 5 pJ/byte 估 PCIe 4.0，但 RTX PRO 5000 的 NVLink-C2C 与 Intel iGPU 通过 PCIe 5.0 x8 实际开销约 3-4 pJ/byte，且跨设备 transfer 还包含序列化/反序列化开销，论文未实测。改进方向是把 $E_{transfer}$ 也做成运行时 telemetry 测量而非理论常数。其二，PGSAM 的 Pareto archive 平均 218 个解，但 Chebyshev 选解时 $w=(0.5,0.3,0.2)$ 是默认值——论文承认这些权重"user-configurable"却未给出基于 workload 类型（chatbot vs 翻译 vs 摘要）自适应权重的算法；改进方向是引入一个轻量级 meta-controller，根据用户 SLA（如目标延迟 <50ms 或能量预算 <30J/查询）动态选 $w$。其三，EAC/ARDE 中的熵过滤阈值 70% 和自验证阈值 60% 是"empirically observed inflection point"，对 domain shift 鲁棒性存疑；论文的 Table 12 跨阈扫描显示 IPW 变化 <2.6% 说明对当前三个 benchmark 稳定，但部署到医疗/法律等长尾领域需重新标定。改进方向是用验证集 + 小规模 grid search 自动校准。其四，safety 框架中的 fault tolerance 只模拟了"设备整体离线"场景，缺少"设备降频""NVLink 抖动""KV cache 损坏"等更细粒度的故障模式。改进方向是引入可观察的中间状态校验和 checkpoint-rollback。其五，论文只在 consumer-grade 单机异构平台验证，未测试数据中心-边缘协同（cloud-edge split inference）场景，而这是当模型超过 8B 时更现实的部署模式。
未来方向
作者明确列出的未来方向有七项：(1) 在 Qualcomm Snapdragon NPU 和 NVIDIA Jetson Orin 上验证跨平台泛化（因为 NPU ridge point、内存子系统差异巨大）；(2) 动态在线 PGSAM 重分配，响应运行时温升事件（30 分钟测试中 0 节流已表明 $\Phi$ 引导有效，但若同时多个设备温度漂移需要连续重优化）；(3) 多边缘节点分布式推理；(4) 与 quantization-aware training 和结构化剪枝做更深整合（论文只测了 RAMP 后训练量化）；(5) 扩展到非 transformer 架构（扩散模型、图神经网络）；(6) 训练可学习的 verification 模型，让 EAC/ARDE 的选择质量随时间提升；(7) 形式化安全验证，面向医疗/自动驾驶等安全关键应用。基于论文成果可进一步延伸的方向包括：(8) 把 DASI/CPQ/$\Phi$ 编译为 NVIDIA/Intel/Qualcomm NPU 驱动的 native kernel hint，让操作系统在调度时就尊重物理约束而非事后 PGSAM 重排；(9) 与 speculative decoding 协同——EAC/ARDE 验证可以天然消化草稿模型的多个候选；(10) 在 RLHF 训练中直接以 IPW 而非 accuracy 作为奖励信号，引导模型生成"对硬件更友好"的 token 序列（例如减少长 list-enumeration）。
复现评估
复现性总体良好但存在门槛。论文公开声明遵循 Hoffmann et al. (2022) 和 Brown et al. (2024) 的报告规范，并在 Table 1 中给出全部 25+ 个数学符号定义和单位。所有 21 张表格/图都给出具体数值，主要消融都有 R²、95% CI 或 CV。代码层面，QEIL v1 的引用（Kumar & Jha, 2026, arXiv:2602.06057v2）暗示存在公开仓库；QEIL v2 同样定位为方法论工作，但作者未在论文中显式声明 GitHub 链接。数据方面，WikiText-103、GSM8K、ARC-Challenge 均为 HuggingFace 公开数据集，RAMP 量化模型为外部准备（不是 v2 贡献），但需要研究者自行复现 RAMP（Singh Gautam & Jha, 2026）才能在 3.65-bit 上验证 IPW=1.024。算力门槛方面，单卡 NVIDIA RTX PRO 5000 Blackwell + Intel Core Ultra 9 285HX 是消费级高端配置（建议预算 $5000+），Intel AI Boost NPU 集成在 Meteor Lake/HX 处理器中需特定 SKU。复现难度中等偏上：500 次 PGSAM 迭代 42ms 是 CPU 端，无需 GPU；但底层要把模型切层、跨设备 forward pass、KV cache 跨 NPU/GPU 维护做对，需要熟悉 PyTorch 的 device-aware execution model。需注意论文在 Table 16 脚注承认 LFM2-2.6B v1 的 IPW 在早期草稿中曾因 transcription error 误写成 0.335（正确为 0.851），这种修订在已发表 paper 中较少见但对后续复现者重要——意味着跑历史 v1 baseline 时也需谨慎。变异性方面 Table 13 报告 10 次独立运行的 CV<2%（IPW 1.85%），可重复性高。
论文图表
7 模型 × 3 模式 = 21 行大表：GPT-2 125M v2 75.7%/63.8W/0.975/11.0kJ；Granite-350M v2 74.2%/71.8W/0.891/81.4kJ；Qwen2-0.5B v2 71.8%/65.2W/0.942/172.6kJ；Llama-3.2-1B v2 75.2%/68.4W/0.936/196.8kJ；LFM2-2.6B v2 74.8%/66.1W/0.912/289.6kJ；Llama-3.1-8B v2 78.4%/69.6W/0.958/232.4kJ；Llama3-8B-RAMP-4bit v2 77.2%/54.8W/1.024/158.4kJ。均值 v2 vs Standard +13.1pp / −64.8% / +187% IPW / −52.2% 能量；v2 vs v1 +4.2pp / −13.4% / +23.8% / −6.1%。
论文跨模型泛化能力的核心证据；特别是 4-bit Llama 跨过 IPW=1.0 是论文最戏剧性的单一数字。
同上 7 模型在 GSM8K 上的结果：Llama-3.1-8B v2 67.2%/69.6W/0.428/248.6kJ；Llama3-8B-RAMP-4bit v2 65.6%/54.8W/0.502/188.2kJ。均值 v2 vs Standard +12.2pp / −64.2% / +181% IPW / −51.7% 能量。
证明 v2 收益在链式思考长生成任务上同样成立，不局限于短答案的 WikiText。
同上 7 模型在 ARC-C 上的结果：LFM2-2.6B v2 83.8%/66.1W/0.292/264.8kJ；Llama-3.1-8B v2 82.0%/69.6W/0.548/188.6kJ；Llama3-8B-RAMP-4bit v2 80.4%/54.8W/0.612/142.8kJ。均值 v2 vs Standard +12.5pp / −65.2% / +193% IPW / −52.8% 能量。
证明 v2 收益在短答案任务上不依赖长序列累积，且 IPW 提升最大（+193%），因为短生成下 DASI 路由的单位节能被最大化利用。
3 个数据集的均值差：ΔPass@k +13.1 / +12.2 / +12.5 pp（std 0.45）；ΔIPW +187% / +181% / +193%（std 6.0）；ΔPower −64.8% / −64.2% / −65.2%（std 0.50）；ΔEnergy −52.2% / −51.7% / −52.8%（std 0.55）。
跨数据集 std < 1pp 证明 v2 收益 task-agnostic，是论文最强的"普遍性"论据。
5 个优化统计：Total iterations 500；Mean Pareto archive size 218±24；Mean accept rate 34.2%±2.1%；Mean reheat events 4.8±1.2；Mean wall-clock 42ms±8ms；Gap vs. ILP optimum (subset) <5%。
证明 PGSAM 在 500 次迭代、42ms 内即可逼近 ILP 全局最优，<5% gap 足以支撑在线热事件重优化。
6 个方法 × 7 维度对比：TinyML IPW 0.08/45.2%/52.3W 无物理模型无多目标无 verified sel./Partial thermal；Homogeneous GPU 0.341/59.8%/181.5W 全无；IPW Routing 0.580/65.2%/112.4W/Partial；QEIL v1 0.828/70.5%/72.4W/Partial/Yes thermal；QEIL v2 0.975/75.7%/63.8W/全有；QEIL v2 on Llama3-8B-RAMP-4bit 1.024/77.2%/54.8W/全有。
论文的"最终对账单"，把 v2 放在完整的 SOTA 谱系中定位，并凸显其在物理建模、多目标、验证选择、热安全四个维度的全面性。