立场:LLM 推理应作为『能源到 Token 生产』进行评估 Position: LLM Inference Should Be Evaluated as Energy-to-Token Production
提出 Token 生产函数,将 LLM 推理视为算力-功率双约束生产,呼吁报告 J/token。
前置知识
Leontief 生产函数(固定比例生产函数)
经济学中的一种生产函数形式,假设各投入要素必须按固定比例配合使用才能产出产品,产出受最稀缺(最小比例)要素的『短板』约束,即 $\min(a K, b L)$。CES 生产函数族是它的推广形式,当替代弹性 $\sigma \to 0$ 时退化为 Leontief。
本文用 min(Keff/ctok, PIT/etok) 的 Leontief 结构刻画『算力-功率』双约束:短期物理上算力芯片与送达电力难以自由替代,因此 token 产出由两者中较低的一侧决定。这是全文的核心建模选择。
Roofline 模型与内存带宽瓶颈
Roofline 模型把算子的性能上限表示为 $\min(\pi, \beta \cdot I)$,其中 $\pi$ 是峰值算力 (FLOPs/s)、$\beta$ 是内存带宽 (B/s)、$I$ 是算术强度 (FLOPs/Byte)。当 $I$ 较低时性能受带宽限制,导致算力单元空转。
本文将 Roofline 的『约束切换』思路从内存带宽扩展到送达电力:定义 $\rho = P_{IT}/K_{eff}$ 与 $\rho^* = e_{tok}/c_{tok}$ 的对比来诊断部署究竟受算力还是受功率约束。理解 Roofline 是读懂该诊断的前提。
PUE (Power Usage Effectiveness)
数据中心能效指标,定义为 $PUE = P_{facility} / P_{IT}$,即设施总功率与 IT 设备(GPU/CPU/内存等)实际消耗功率之比。PUE 越接近 1 越好;行业平均约 1.56,领先设施可低至 1.08–1.09。
送达功率 $P_{IT} = P_{facility}/PUE$ 是 token 生产的真正『燃料』,冷却、照明、损耗都通过 PUE 进入分母。论文反复强调报告 PUE 调整后的功率,否则跨数据中心比较没有意义。
KV-cache 与注意力机制 (MHA/MLA/NSA)
Transformer 解码时每一步都要缓存历史 token 的 K/V 矩阵,占用大量 HBM 带宽。MHA 是标准多头注意力,MLA (Multi-head Latent Attention) 通过低秩压缩把 KV 压成潜向量,NSA (Native Sparse Attention) 在压缩基础上做 top-k 稀疏选择,HCA/CSA 则做更激进的压缩 + 稀疏组合。
长上下文推理的能耗瓶颈在 KV-cache 带宽而非算力,因此 KV 压缩与稀疏化是论文所说的 $\Phi_{mem}$ 杠杆,可同时降低 $c_{tok}$ 与 $e_{tok}$。读懂 DeepSeek-V2/V4 的架构才能理解 Table 2 与 Figure 3 的数据含义。
Jevons 悖论 (反弹效应)
经济学现象:技术进步提高某资源的使用效率后,总消耗量反而上升(因为单位成本下降刺激需求扩张)。论文中用于反驳『硬件升级会自然解决能耗问题』的论断。
论文第六章的关键反驳武器:2× 更高效的加速器会被更大的模型、更长的上下文、更高的请求量吸收,因此单靠硬件不能逃出『功率墙』,必须把 Φsystem 也纳入优化议程。
研究动机
当前 ML 社区对 LLM 推理的评估几乎完全围绕精度、延迟、吞吐量和硬件 MFU (Model FLOPs Utilization) 四个指标展开,论文称之为『模型/软件视角』。这一视角在 Epoch 1 (2020–2022) 是合理的,因为彼时算力 $K(t)$ 与电力 $P(t)$ 相对于需求都极其充裕,GPT-3 级别模型在集中集群上 $\Phi_{system} \approx 1$。但到 2024 年全球数据中心电力已达 415 TWh/年,IEA 预测 2030 年将增至 945 TWh/年;美国超大规模厂商 capex 自 2023Q2 起以约 72%/年速度增长,2025 年突破 4000 亿美元;中国日报 token 调用量到 2026 年 3 月已达 140T/天(是 2024 年初的约 1000 倍)。此时在部分电网受限区域 $P(t)$ 已成为真正的『短板』,但主流推理论文与基准仍不报告任何能源归一化指标,使得我们无法回答一个最朴素的部署问题:在固定算力、送达电力、冷却和利用率预算下,部署每瓦能产出多少『质量受约束的 token』?此外,主流 LLM API 标价差异极大:截至 2026 年 4 月,跨厂商列出的价格在可比单位上仍跨越一个数量级以上,这正是物理约束开始显形的信号。
本文的目标是论文提出一个形式化框架,把 LLM 推理重定义为『能源到 token 的工业生产』过程。核心目标是建立可证伪、可比较的评估议程:让推理论文与基准在固定质量/服务目标 $(q^*, s^*)$ 下报告 $e_{tok}$(J/token)、活跃的绑定约束(算力 vs 功率)、PUE 调整后的送达功率以及利用率调整后的 token 产出,从而把能源效率从『附属指标』提升为与精度、延迟并列的一类评估维度。最终愿景是让 MLPerf Power 之类的标准化基准扩展到 LLM serving 场景,让 Φsystem 优化获得与算法创新同等的发表与资助地位。
与已有工作不同的是,已有相关工作沿着三条线索推进:Green AI 主张报告训练能耗,碳核算工作 (Strubell 等) 给出全生命周期排放框架,MLPerf Power 把功耗测量引入基准。但本文的独特切入角度是:(1) 显式引入 Leontief 形式 $\min(K_{eff}/c_{tok},\, P_{IT}/e_{tok}) \cdot U$ 的双约束生产函数,把『算力-功率』切换建模为可证伪的 $\rho - \rho^*$ 诊断;(2) 给出 $K_{eff}$ 测量的明确约定(默认采用 realized serving throughput 而非 peak)以保证跨论文可比性;(3) 列出 6 个披露维度把『请报告 J/token』变成可操作的清单;(4) 把 $\Phi_{system}$ 解构为 6 个可分别估计的子机制(prefill/decode/mem/comp/sched/route)并提供 ratio-form 估计器($\Phi_{mem} \approx \dot{Q}_{obs}/\dot{Q}_{ceil}^{BW}$ 等),从而让 TFP 残差不再是一个不可分解的黑箱。
核心方法
论文的方法论可以一句话概括为『用工业生产函数重新包装 LLM 推理评估』。直觉上:当我们说『AI 工厂』时,token 就是被生产出来的商品,GPU 是机器、电力是燃料、KV 压缩等优化是工艺改进,那么单位电力能生产多少质量合格的 token 就是这家工厂的核心 KPI。技术上,作者定义一个维度自洽的 Token Production Function (TPF),把单位时间 token 产出 $\dot{Q}_{token}$ 写成 $\min(K_{eff}/c_{tok},\, P_{IT}/e_{tok}) \cdot U$ 的形式,其中第一个分数是算力天花板,第二个是功率天花板,min 算子体现 Leontief 固定比例(短期不可替代),$U$ 把需求侧、批处理、排队等利用率损失从物理上限中分离开。围绕这个 TPF,作者建立三件配套工具:(i) 约束切换诊断 $\rho \gtrless \rho^*$,$\rho = P_{IT}/K_{eff}$,$\rho^* = e_{tok}/c_{tok}$,用以判断一次部署究竟受算力还是功率约束;(ii) $\Phi_{system}$ 的 6 元解构与对应 ratio-form 估计器,把 TFP 残差拆到 prefill/decode/mem/comp/sched/route 六个可测机制上;(iii) 一个『算力-功率-优化』的三时代历史叙事与两条 AI 生态轨迹(基础设施受限 vs 效率优化),用 IEA 电力预测与 65B 量级 $e_{tok}$ 锚点把抽象框架落到具体数字上。
核心创新在于把『能源到 token』映射成一个维度自洽且可在硬件上验证的数学对象:$\dot{Q}_{token}(t; q^*, s^*) = \min\left(K_{eff}(t)/c_{tok},\, P_{IT}(t)/e_{tok}\right) \cdot U$。这与已有工作有三点本质区别:第一,TPF 不是纯宏观 TFP 残差,而是被有意分解为可分别测量的子机制,每个 $\Phi$ 都有 ratio-form 估计器($\Phi_{mem} = \dot{Q}_{obs}/\dot{Q}_{ceil}^{BW}$、$\Phi_{sched} = \overline{SM_{US}} / SM^*_{batch}$、$\Phi_{system} \approx e_{tok}^{ref}/e_{tok}^{obs}$),作者明确说 $U$ 与 $\Phi_{system}$ 不冗余是因为它们从不同信号识别——前者从 SM 活动/队列长度识别『已部署产能被用掉多少』,后者从 J/token 与物理极限比识别『已用产能被浪费多少』,二者可以独立高/低并对应不同干预。第二,约束切换诊断 $\rho - \rho^*$ 显式依赖 $K_{eff}$ 测量约定,作者推荐默认采用 realized effective serving throughput 而非 peak,这样同一块 H100 在 well-powered 园区被判为算力受限、在容量受限区域被判为功率受限——把『看似矛盾的分类』统一为『测量边界不同』。第三,$(q^*, s^*)$ 条件贯穿全文:任何 $e_{tok}$ 比较必须先在 MMLU $\in \epsilon$、RULER/IFEval $\in \delta$、延迟 SLO $\in s^*$、可靠性/新鲜度不退化的共同约束下才有效,否则比较的 token 不是『同质商品』。这与『逐 token 算成本』的天真算法形成方法论上的代差。
方法步骤详情
方法可拆为五个连贯步骤。Step 1 (生产函数构造):从工业生产类比出发,把单位时间 token 产出定义为 $\dot{Q}_{token} = \min(K_{eff}/c_{tok},\, P_{IT}/e_{tok}) \cdot U$,其中 $P_{IT} = P_{facility}/PUE$;明确 Keff 单位为 FLOPs/s、$c_{tok}$ 单位为 FLOPs/token、$e_{tok}$ 单位为 J/token、$U \in (0,1]$,由此两个分支与 $U$ 的乘积均得到 token/s 维度,公式维度自洽。Step 2 (约束切换诊断):计算比值 $\rho = P_{IT}/K_{eff}$(送达电力/算力的功率密度,单位 J/FLOP)和 $\rho^* = e_{tok}/c_{tok}$(工作负载自然需求的 J/FLOP);当 $\rho > \rho^*$ 时算力是瓶颈,$\rho < \rho^*$ 时送达功率是瓶颈,$\rho = \rho^*$ 时两约束相等——这是 Roofline 思路从内存带宽到送达电力的直接推广。Step 3 (Φsystem 解构与估计):把 $\Phi_{system}$ 拆为 6 元组 $\{\Phi_{prefill},\, \Phi_{decode},\, \Phi_{mem},\, \Phi_{comp},\, \Phi_{sched},\, \Phi_{route}\}$;给出 ratio-form 估计器——$\Phi_{mem} \approx \dot{Q}_{obs}/\dot{Q}_{ceil}^{BW}$,其中 $\dot{Q}_{ceil}^{BW} = BW_{HBM}/(2N_{param} \cdot w_{bytes})$,$\Phi_{mem} < 0.3$ 判定为内存受限;$\Phi_{decode}$ 把分子限制在 decode 阶段 token;$\Phi_{sched} \approx \overline{SM_{US}}/SM^*_{batch}$(使用 DCGM_FI_PROF_SM_ACTIVE 等计数器);聚合 $\Phi_{system} \approx e_{tok}^{ref}/e_{tok}^{obs}$,参考为同参数规模下 dense MHA + FP16。Step 4 (历史叙事与数字锚定):把 LLM 推理发展分为 Epoch 1 (2020–2022, $\Phi \approx 1$)、Epoch 2 (2023–2024, FlashAttention/vLLM/INT4 把 $e_{tok}$ 拉低一个量级)、Epoch 3 (2025–2026, MLA/NSA/CSA 把 1M 上下文推理的 KV cache 压到 10%),并用 IEA 415→945 TWh/年、capex 72%/年、token 调用 1000× 增长等数字把『能源墙』坐实。Step 5 (评估议程与生态分类):输出 6 个披露维度清单(J/token、活跃约束、PUE 调整后送达功率、利用率、$(q^*, s^*)$、工作量与能量核算边界),提出 MLPerf Power 扩展到 LLM serving,并区分 Path A (CapEx 驱动、$P_{UE} \in [1.5, 2.0]$) 与 Path B (OpEx + Φsystem 驱动,$PUE \in [1.1, 1.2]$,MLA/CSA/HCA/NSA 全面部署) 两种 AI 生态路径,给出截至 2026 年 4 月的 3×–30× 标价差异作为方向性证据。
技术新颖性
技术新颖性集中在四个层面。第一,公式层的 Leontief 双约束 + 利用率分离是首次明确把『送达电力』和『有效算力』放在同一个 min 算子里对 token 产出建模,并证明二者单位一致(都是 token/s),让『功率墙』从一个工程口号变成可在生产现场逐项测量的对象。第二,$\rho - \rho^*$ 诊断第一次给『何时算力受限 vs 功率受限』一个可证伪的二元判据,并配套 $K_{eff}$ 的测量约定(默认 realized serving throughput),从而让不同论文的诊断结果可比——附录 B 通过 65B 模型在 H100 上的工作例子展示,同一块硬件按 peak 分母会判为功率受限、按 realized 分母会判为算力受限。第三,$\Phi_{system}$ 的 6 元解构与 ratio-form 估计器把『系统优化』从一个口号分解为可分别量化、可分别归因的子机制,使 TFP 残差不再是不可分解的黑箱;并通过显式说明 $U$ 与 $\Phi_{system}$ 不冗余(前者从负载/队列信号来、后者从 J/token 与物理极限比来)避免了常见的双重计算错误。第四,把 MLPerf Power 的功耗测量传统、Green AI 的训练能耗报告、碳核算的全生命周期视角与生产函数框架统一在一个 $(q^*, s^*)$-conditioned 的评估议程下,并第一次给出 6 个披露维度的具体清单,使『请报告 J/token』从修辞转化为可操作的同行评审标准。
实验结果
由于这是一篇立场论文,作者并未跑新实验,『结果』主要呈现为对公开数据的重新组织与方向性论证,可归纳为四组发现。第一组是**量级锚定**(Table 1):H100 单卡 BF16 峰值算力约 $1.979 \times 10^{15}$ FLOPs/s,8 卡 BF16 合计约 $1.6 \times 10^{16}$ FLOPs/s;全球数据中心电力从 2024 年 47 GW(415 TWh/年)增长到 IEA 中心预测 2030 年 108 GW(945 TWh/年);行业 PUE 平均 1.56、最佳 1.08–1.09;65B 量级 LLM 推理 $e_{tok}$ 在 3–4 J/token 量级,密度代理 $c_{tok} \sim 2 \times 10^9$–$8 \times 10^{11}$ FLOPs/token 对应 1B–405B 模型,利用率 $U$ 实测落在 0.3–0.7 之间(批处理/调度/请求混合主导)。第二组是**$e_{tok}$ 端到端对比**(Table 2):在 H100、65B-class、(q*, s*) 固定在 MMLU/IFEval 级质量与 100 ms 延迟的标称锚点下,行 A 标准 MHA + FP16 (batch=8) $e_{tok} \approx 3.5$ J(1.0× 基线),行 B MHA + INT4 (batch=8) $e_{tok} \approx 1.2$ J(0.34×),行 C MLA + KV 压缩 (batch=24) $e_{tok} \approx 1.1$ J(0.31×),行 D MLA + INT4 组合 (batch=24) 投影 $e_{tok} \approx 0.35$ J(0.10×);作者强调 A→C 测得 3× 下降、D 行的另 3× 是基于 INT4 能耗增益与 DeepSeek-V2 KV 压缩批处理余量『合成』的投影而非头对头测量,因此是『组合上限锚』而非『已验证基准』。第三组是**架构效率对比**(Figure 3):DeepSeek-V2 MLA 在 16× KV 带宽压缩下实现 2.5× 同墙插功率下吞吐;DeepSeek-V4 CSA/HCA 在 1M 上下文把 KV cache 压到 10% 达到 3.7×;MiniMax 混合线性注意力(局部 O(N) + 全局 O(N²) 路由)4.0×;MLA + INT4 组合理论上达到 10.0×;作者明确这些数字来自异构系统论文与开发者报告,不是统一头对头基准。第四组是**生态分叉**(Figure 4):Path A(基础设施受限)下 token 成本走高、capability 优先,Path B(效率优化)下 token 成本降至当前 April 2026 的约 0.14×、通过 MLA+CSA/HCA+NSA 与低 PUE 实现规模化便宜 token;两条路径在 2024 起点相同、按 3×–30× 标价差异锚定,到 2030 终点分叉至约 6.3× 与 38× 的相对位置。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 65B 级 LLM 推理在 (MMLU/IFEval 级质量, 100 ms 延迟) 锚点下的能耗 | e_tok (J/token) | 行 A 标准 MHA+FP16 (H100, batch=8): e_tok ≈ 3.5 J;行 B MHA+INT4 (batch=8): ≈ 1.2 J;行 C MLA+KV 压缩 (batch=24): ≈ 1.1 J;行 D MLA+INT4 (batch=24): ≈ 0.35 J (投影) | 行 A 标定为 1.0× 基线 (3.5 J) | B 0.34×、C 0.31×、D 0.10×,即从 A→C 测得约 3× 下降,组合 D 行另 3× 为理论上限 |
| 同墙插功率下吞吐 (Φsystem 综合乘数) | normalized throughput (×) | DeepSeek-V2 MLA: 2.5×;DeepSeek-V4 CSA/HCA: 3.7×;MiniMax 混合线性: 4.0×;MLA+INT4 组合: 10.0× | 1× 标准 MHA+FP16 基线 | 2.5×–10.0×,但作者明确这是来自异构系统论文的合成数字,并非统一头对头基准 |
| 1M 上下文 KV cache 占用 | KV cache 相对 V3.2 比例 | DeepSeek-V4 CSA/HCA 组合把 KV cache 压到约 10% V3.2 | V3.2 dense MHA 100% | 约 10× 内存边界迁移;单 token FLOPs 同步降到约 27% V3.2 |
| AI API 标价差异 (方向性证据,非因果) | output price ($/M tokens) | tier-matched 中国 reasoning Pro: $1–$4/M;tier-matched 美国 Pro/Sonnet: $12–$30/M;跨 Flash-tier 广包络: 3–30× | 美国 frontier Pro/Sonnet 价位 | tier-matched 5–10×、跨 tier 3–30×,作者明确仅作方向性动机 |
| 全球数据中心电力增长 | TWh/yr | 2024 实测 415 TWh/年,IEA 中心预测 2030 达 945 TWh/年(高情景 101 TWh/yr 不确定带) | 2020 历史值 | 约 2.3× 增长;美国 hyperscaler capex 自 2023Q2 起 ~72%/年 CAGR,2025 超 $400B |
局限与改进
作者明确承认的局限:TPF 中的 min(·,·) 是『短期绑定约束近似』而非全期结构性宏观模型,长期技术替代(CES, σ→0 极限)可能让 Leontief 失效;Table 2 是『方向性整合』而非单一受控头对头基准,A→C 3× 是测量值、D 行的另 3× 是合成投影;$e_{tok}$ 锚点受 6 个测量维度影响,跨论文比较必须对齐工作负载、批处理、硬件、能量核算边界;ρ - ρ* 诊断高度依赖 $K_{eff}$ 测量约定,附录 B 显式展示同一 H100 集群按 peak 与 realized 两种分母可分别被判为算力受限与功率受限,这是约定问题而非物理矛盾;API 价格被刻意只用作方向性动机而非因果证据,因为价格不分质量/延迟 SLO/上下文窗口/缓存/补贴策略等。我自己的额外观察:(1) 立场论文不提供新实验,框架的可证伪性受限于未来 MLPerf Power-LLM 基准的落地;(2) Φsystem 的 6 元解构中 $\Phi_{route}$(多区域/多云路由)与 $\Phi_{sched}$(调度)的边界在原文并不完全清晰,存在双重计算风险;(3) Path A vs Path B 是『风格化原型』而非真实国家分类,作者承认但容易在跨文化讨论中被过度泛化;(4) DeepSeek-V4 的 ~27% FLOPs/token 与 ~10% KV cache 数字标为『开发者报告,待第三方复现』,目前不可作为强证据使用。
独立分析的弱点
独立分析的弱点可分四个场景。**场景一:框架的可证伪性薄弱**。当前 $\rho - \rho^*$ 诊断的判据高度依赖 $K_{eff}$ 测量约定,作者推荐 realized serving throughput,但若不同论文沿用不同分母,跨论文比较就会失真;改进方向是在 MLPerf Power 风格的标准工作负载(如 Llama-3 65B、Qwen-72B、DeepSeek-V3 类代表模型)下发布一组 reference $K_{eff}$ 与 $\rho^*$ 锚点表。**场景二:Table 2 的可重复性差**。A/B/C/D 四行来自不同实验、批处理不同、能量核算边界不同,D 行的 0.10× 是组合投影;改进方向是由一个中立组织(类似 MLPerf 联盟)在固定 (q*, s*) 锚点下做一次端到端 e_tok 头对头基准,关闭 A→D 完整 10× 差距的真实程度。**场景三:Φsystem 双重计算风险**。6 元解构中 $\Phi_{sched}$(SM 活动利用率)和 $U$(effective utilization)描述上有重叠——前者本就是后者的一部分($\overline{SM_{US}}/SM^*_{batch}$ 接近 $U$),而作者在脚注中又强调二者『不同信号』;改进方向是给出更明确的归属规则(例如 $U$ 专门承载队列/需求/路由摩擦,$\Phi_{sched}$ 专门承载 SM 内核调度效率),并用一个公开数据集验证二者独立性。**场景四:生态分叉图过度简化**。Path A/B 是风格化原型,真实国家/区域生态混合两种特征;3×–30× 标价差异同时受质量、SLO、补贴、垂直整合影响;改进方向是引入更多非价格物理信号(电网碳强度、PUE 中位数、$K_{eff}$ 利用率分布)来做多变量聚类,而非仅用 API 标价分群。
未来方向
作者明确提出的未来方向:(1) 在 MLPerf Power 框架下扩展 LLM serving 基准,把 J/token、活跃约束、PUE 调整后送达功率、利用率作为强制披露字段;(2) 建立 (q*, s*)-conditioned 的跨栈 e_tok 头对头基准,关闭 Table 2 A→D 的 10× 差距是否真实存在;(3) 把 Φsystem 优化(MLA、NSA、CSA/HCA、INT4、混合线性、难度自适应推理预算)视为与算法创新同等的贡献维度,资助方与会议评审应把『未披露 ρ、PUE、Φmem』视为可退稿的硬伤。基于成果可延伸的方向:(4) 把 Token Production Function 拓展到训练侧,建立『能源到能力 (joule-to-capability)』评估议程,以响应 Green AI 传统;(5) 在多区域/多电网约束下研究『路由-调度-模型选择』三层联合优化,把区域电网碳强度与 PUE 显式作为决策变量;(6) 把 ρ - ρ* 诊断做成一个持续更新的『全球 LLM 部署约束地图』开源项目,跟踪不同区域/不同硬件在不同 $(q^*, s^*)$ 下究竟处于算力受限还是功率受限区域;(7) 探索 difficulty-adaptive reasoning 预算(论文引用了 22.4% 输出 token 削减的结果)在 joule-per-correct-answer 维度上是否成立,并把『正确率 × 1/e_tok』作为新的综合 KPI。
复现评估
可复现性分三层评估。**第一层是数据/锚点的可复现性**:高。Table 1 的所有量级锚点(H100 峰值、IEA 415→945 TWh/年、行业 PUE 1.56、最佳 1.08–1.09、capex 72%/年、token 调用 1000× 增长、API 标价 3×–30× 差异)都引用了 IEA 2025 报告 [1, 29]、DOE 数据中心电力报告 [2]、OpenRouter 100T token 抽样 [64] 等公开来源,读者可在原始报告中独立核验。**第二层是 Table 2 数字的可复现性**:低。行 A 来自 [19, 24] 测量、行 B 来自 [25]、行 C 来自 [30, 20]、行 D 是组合投影,因此不是单一受控实验;读者无法用一份代码、一组硬件、一个工作负载跑出『MLA + INT4, e_tok ≈ 0.35 J』的精确数字,必须自行对齐批处理、上下文长度、能量核算边界(GPU-only / system-level / facility-level)后才能复现近似值。**第三层是框架实现的可复现性**:中。$\Phi_{mem} = \dot{Q}_{obs}/\dot{Q}_{ceil}^{BW}$ 等 ratio-form 估计器在概念上可实现,但作者没有提供参考实现代码,DCGM_FI_PROF_SM_ACTIVE 等计数器的采集与归一化需要各实验室自行搭建。**总体算力门槛**:低到中——单卡 H100 即可做小规模 e_tok 测量与 Φmem 估计,但要完成跨模型/跨精度的端到端 Table 2 复现需要数十到数百 GPU-小时。**难度评估**:复现框架容易(公式 + ratio 估计器 + 公开数据),但要复现 Table 2 的精确数字属于开放性问题,需社区共建。
论文图表
左轴(蓝色)画 2020–2030 全球数据中心年耗电 TWh:IEA 2025 实测值 2024 年 415 TWh,中心预测 2030 年 945 TWh,高情景带 101 TWh/yr 不确定带;右轴(绿色对数)画『tokens per joule』代理 $\Phi_{system}$,按 2020=1 归一化,三个 step-change 标注在 Epoch 2(FlashAttention/vLLM/INT4)与 Epoch 3(MLA/NSA/sparse-hybrid)边界上,整体能源近线性增长而 Φsystem 升一个数量级以上,意味着 token 产出部分地与焦耳脱钩。
把『电力墙』从口号变成可量化的历史叙事与外推曲线,是论文主张『绑定约束从算力向功率迁移』的关键可视化证据。