WarpSAC：数据体制感知的可扩展离线强化学习算法族 WarpSAC: Towards the Pinnacle of Scalable Off-policy RL by Rethinking Exploration and Exploitation
按数据体制匹配稳定器：SWD 全局启用，数据稀缺保留归一化与双Q，数据丰沛则移除二者。
前置知识
离线策略actor-critic与SAC
离线策略（off-policy）强化学习用行为策略采集数据存入经验回放缓冲区，再用这些数据反复训练一个与行为策略不同的目标策略，从而复用数据、提升样本效率。Soft Actor-Critic（SAC）是其中最经典的连续控制算法：在最大熵框架下，目标函数 $J(\pi)=\mathbb{E}[\sum_t \gamma^t (r(s_t,a_t)+\alpha H(\pi(\cdot|s_t)))]$ 同时最大化回报与策略熵，维护随机策略 $\pi_\theta$ 和两个评论家网络 $Q_{\phi_1}, Q_{\phi_2}$，通过贝尔曼误差最小化训练评论家。FlashSAC 在此基础上引入高吞吐并行采样、大网络、低更新频率和参数归一化，构成可扩展骨干。
WarpSAC 的全部实验都建立在 SAC/FlashSAC 骨干上，三个被研究的设计轴（重放加权、归一化、critic 数量）都是对 SAC 默认配置的修改。不理解 SAC 的损失与目标计算方式，就无法理解这些修改改变了什么。
Clipped Double-Q
TD3/SAC 用来抑制价值过估计的技术：计算 TD 目标时不信任单个评论家，而是取两个目标评论家的最小值，即 $y = r + \gamma \min_{i=1,2} \bar{Q}_{\phi_i}(s', a') - \alpha \log \pi_\theta(a'|s')$。当回放覆盖很窄、评论家必须对没见过的动作外推取值时，外推误差会产生虚高 Q 值，取 min 相当于引入悲观偏置来压制它。代价是引入系统性低估偏置，且需要维护并前向两个评论家，计算量约翻倍。Single-Q 变体则去掉取最小值操作，只保留一个评论家。
clipped double-Q 是否可放松正是本文三个实验轴之一。论文证明在 GPU 并行、数据丰沛的操纵任务上 Single-Q 反而更好，这是 WarpSAC-A 配方的关键组成。
经验回放与重放加权
回放缓冲区存储历史转移 $\tau_i=(s_i,a_i,r_i,s'_i)$，训练时按分布 $p_t(i) = w_t(i)/\sum_j w_t(j)$ 采样小批量。均匀回放对所有样本等概率；优先级经验回放（PER）按 TD 误差加权。本文研究的 Sample Weight Decay（SWD）按样本年龄线性衰减权重：$w_t(i) = \max(w_{\min},\ 1 - A_t(i)/T_{\mathrm{decay}})$，其中 $A_t(i)=t-t_i$ 是样本在缓冲区里的年龄，$w_{\min}>0$ 是防止旧样本被彻底丢弃的下限，$T_{\mathrm{decay}}$ 是衰减时域（设为 0 即退化为均匀回放）。
SWD 是 WarpSAC 唯一在两种数据体制下都保留的组件，是整个算法的公共核心。理解它的采样机制和实现开销（精确采样 vs 桶近似）对复现至关重要。
参数投影归一化与Lipschitz约束
FlashSAC 中的参数投影归一化指每次优化器更新后，把每层线性权重列向重归一化，等价于把权重矩阵投影到 Frobenius 范数球内：$W_\ell \leftarrow \Pi_{\|W\|_F \le c_\ell}(W_\ell)$。由于谱范数不超过 Frobenius 范数（$\|W_\ell\|_2 \le \|W_\ell\|_F$），对 1-Lipschitz 激活函数网络可得上界 $\mathrm{Lip}(f_\theta) \le \prod_\ell c_\ell$，从而约束了价值函数类的有效复杂度、抑制对回放分布之外状态-动作的外推。代价是限制了网络的拟合自由度。
Norm ON/OFF 是本文的核心消融轴：论文发现它在数据稀缺时是保护机制，在数据丰沛时反而限制价值拟合，这一体制依赖性直接催生了 WarpSAC-L 与 WarpSAC-A 的分野。
GPU大规模并行仿真与数据体制
以 IsaacLab、MuJoCo Playground、MJLab、ManiSkill 为代表的 GPU 加速仿真器可同时运行上千个环境副本（本文用 1024 个），在 5000 万环境步的训练预算内以极高吞吐生成状态-动作覆盖极广的数据；而传统 CPU 规模训练只有单个环境、100 万步，回放覆盖狭窄。本文把这两种条件称为数据体制（data regime）：前者回放数据被快速刷新、覆盖广，瓶颈在于高效拟合与利用；后者覆盖窄，瓶颈在于探索与防止价值外推。
整篇论文的论点就是经典稳定器的隐含假设（数据稀缺）在并行仿真时代被打破，所有结论都围绕 CPU-scale（数据受限）与 GPU-parallel（数据丰沛）两种体制的对比展开。
Score-step AUC 与墙钟时间指标
本文主要聚合指标是归一化得分-步数曲线下面积（score-step AUC）：把学习曲线按训练总时域归一化后求积分，同时反映最终性能与学习速度，曲线上升越早越高则 AUC 越大。另一类指标是墙钟时间（wall-time）AUC，以真实训练耗时为横轴，衡量每分钟实际获得的回报增量，对工程部署更有意义。操纵类稀疏成功信号任务（如 ManiSkill）则报告成功率。
论文声称的 4.5%、23.1%、19.1% 等核心数字都是 AUC 增益，理解该指标才能正确解读实验结果；同时墙钟分析（JAX 微基准、A800 端到端计时）是评估 WarpSAC 实用性的关键。
研究动机
现代机器人 RL 正在经历数据采集方式的根本转变：GPU 加速仿真器和大规模并行环境让智能体能以传统单环境训练无法企及的速率收集多样化经验。然而，几乎所有可扩展离线 RL 流水线仍在原封不动地继承经典稳定器，而这些稳定器的设计前提恰恰相反——它们诞生于 CPU 时代数据受限的训练环境，当时回放缓冲区提供的状态-动作覆盖非常狭窄，学习者必须保护自己免受外推误差伤害：熵正则化推动策略探索未见动作，clipped double-Q 目标压制对覆盖不良转移的过估计，参数归一化约束函数类以稳定价值拟合。当大规模并行仿真用丰裕取代稀缺时，同一套机制未必仍然普遍有益：强参数归一化会限制表达的自由度，clipped double-Q 可能过于悲观，而每个额外的保守组件都增加墙钟开销。问题在于，此前没有人系统回答过本文提出的核心问题——不是这些稳定器在孤立意义上好不好，而是它们的收益何时大于其带来的限制。
本文的目标是本文的目标是通过受控的组件级实验，厘清三个经典离线 RL 稳定器在不同数据体制下的真实价值，并据此构造一个体制感知（regime-aware）的算法族 WarpSAC，使其在数据受限与数据丰沛两种体制下都稳定超越 FlashSAC。具体而言：以 FlashSAC 为共同骨干，固定训练骨架、优化器、环境接口和网络，独立变动三个轴——(i) 重放侧数据利用（以 Sample Weight Decay 实现的年龄偏置采样）、(ii) 参数投影归一化的开与关、(iii) critic 多重性（clipped double-Q 对比 Single-Q）——在横跨 CPU 规模运动控制、GPU 并行机器人仿真、灵巧操纵、人形全身控制的八个基准家族共 67 个环境/任务上测量每个轴的效应，再把分析结论转化为可操作的处方：WarpSAC-L（Norm ON + clipped double-Q）用于数据受限的 CPU 规模训练，WarpSAC-A（Norm OFF + Single-Q）用于数据丰沛的 GPU 并行训练，SWD 在两种体制下全程启用。
与已有工作不同的是，本文的独特切入角度在于把可扩展离线 RL 从一个稳定器堆叠问题重构为数据体制匹配问题。已有工作要么提出新的归一化层（如 SimbaV2 的超球面归一化）或新的 critic 结构，要么研究可塑性损失与非平稳性（如 SWD 的原始动机），但几乎都默认经典稳定器是普适的、多多益善。本文反其道而行：逐一检验这些组件的隐含数据假设是否仍成立，并发现一个反直觉结论——GPU 并行配方恰恰通过移除组件而非添加组件获得增益：去掉归一化释放评论家去拟合海量数据，去掉第二个 critic 减半评论家侧计算，算法因此比完全稳定化的基线更简单也更强。此外，本文对 SWD 给出了新的解读：它虽然最初为缓解可塑性损失而提出，但本质上是一个利用导向（exploitation-oriented）的重放机制，改变的是已采集数据的复用方式而非增加探索或保守性，因此其收益只取决于策略年龄结构而非数据量，这解释了它为何在两种体制下都有效。
核心方法
直觉上，本文的出发点是一条数据体制假设：经典稳定器的效用不是算法的固有属性，而是回放覆盖是否与该组件设计时所保护的失效模式相匹配的函数。在数据受限体制下，回放覆盖窄、价值外推脆弱，参数归一化和 clipped double-Q 通过约束有效函数类、压制对覆盖不良动作的虚高 Q 值来提供保护，此时任何重放侧机制都应该更好地利用狭窄缓冲区；在数据丰沛体制下，成千上万个并行 actor 以高吞吐填充缓冲区，瓶颈从获取覆盖转向从丰裕数据中高效拟合和利用高价值行为，同样的保守机制反而会限制价值拟合或增加不必要的悲观与计算。技术上，论文基于 FlashSAC 骨干隔离出三个最能编码体制假设的设计轴：(A) 重放加权 $w_t(i)$（均匀采样或年龄依赖加权）；(B) 参数投影归一化（每次优化器步后做列向权重重归一化的 Norm ON，或关闭的 Norm OFF）；(C) critic 多重性（clipped double-Q 双 critic 或 Single-Q 单 critic）。固定数据采集吞吐、优化器调度和网络，只独立变动这三个轴做消融，从八个基准家族 67 个任务的经验证据中归纳每个轴的体制依赖性，最终组合出处方化的 WarpSAC 变体。
核心创新是把算法设计从组件堆叠转向体制匹配，其本质区别体现在三点。第一，SWD 被确立为体制无关组件：它给缓冲区中每个转移按插入时刻 $t_i$ 赋予随年龄线性衰减的采样权重 $w_t(i) = \max(w_{\min},\ 1 - A_t(i)/T_{\mathrm{decay}})$，$p_t(i) = w_t(i)/\sum_j w_t(j)$，把固定的更新预算重新导向当前策略访问的、沿高价值轨迹的状态-动作区域，同时非零下限 $w_{\min}=0.1$ 保留覆盖。由于这一论证只依赖策略年龄而非数据量，SWD 在两种体制下都应保留——这与归一化和 double-Q 形成鲜明对照。第二，保守稳定器被重新定位为体制依赖组件：归一化通过约束 $\mathrm{Lip}(f_\theta) \le \prod_\ell c_\ell$ 控制价值函数类的有效复杂度（与基于谱范数的神经网络复杂度理论和 Eluder 维度的探索复杂性分析相联系），在覆盖窄时是有益的探索-稳定机制，在覆盖广时变成限制利用的枷锁；clipped double-Q 同理。第三，最终处方以移除而非添加的方式达成增益：数据丰富的 WarpSAC-A 同时关闭归一化并使用单 critic，算得更少却学得更好。与 FlashSAC（无 SWD、Norm ON、double-Q）相比，WarpSAC 是对同一骨干的精炼而非扩展。
方法步骤详情
方法落地为以下步骤。第一步，实现 SWD 重放加权：在回放缓冲区内为每个转移记录插入时间戳，采样时按 $w_t(i) = \max(w_{\min}, 1 - A_t(i)/T_{\mathrm{decay}})$ 计算权重并归一化采样，$w_{\min}=0.1$；CPU 规模回放（容量 $10^6$）使用 2000 个桶的近似采样器以降低开销，GPU 并行回放（容量 $10^7$、存储在 GPU 上）使用 JAX CUDA 加速的精确类别采样；衰减时域 CPU 为 80,000、GPU 为 2,000。第二步，配置归一化轴：Norm ON 在初始化后和每次梯度更新后对所有线性核做列向范数投影，BatchNorm 仿射参数与 RMSNorm 缩放一并归一化；Norm OFF 关闭投影、其余设置完全不变。第三步，配置 critic 轴：critic 输出 101 个类别头、用交叉熵分布式损失训练；标准变体用 2 个 critic 取 clipped 最小值，Single-Q 变体用 1 个 critic、架构不变。第四步，按体制组合处方：数据受限用 WarpSAC-L（SWD + Norm ON + double-Q），数据丰沛用 WarpSAC-A（SWD + Norm OFF + Single-Q），中间消融点为 WarpSAC w/ Norm OFF（SWD + Norm OFF + double-Q），共享基线为 FlashSAC（无 SWD + Norm ON + double-Q）。第五步，统一训练配置：CPU 规模为单环境、$1.0\times10^6$ 步、batch 512、每交互步 1 次梯度更新；GPU 并行为 1024 个向量化环境、50,000,896 步、batch 2048、每交互步 2 次梯度更新；学习率 $3\times10^{-4}$ 余弦衰减到 $1.5\times10^{-4}$，目标网络更新率 $\tau=0.01$，bfloat16 计算类型（CPU 为 float32）；网络为 FlashSAC 风格 actor-critic（actor 隐藏 128、残差块内 512，critic 隐藏 256、块内 1024，主实验各 2 个残差块），tanh 压缩高斯策略。全部实现以 JAX/NNX 重写并经 JIT 编译，单次完整 SAC 更新仅 7.895 ms（bfloat16）。
技术新颖性
从技术新颖性看，本文的贡献不在于发明新组件——SWD、参数投影归一化、clipped double-Q 都是已有技术——而在于第一次以严格的控制变量实验证明这些组件的价值随数据体制系统性翻转，并把这一观察提炼为可操作的设计原则。这与三个研究方向形成互补而非重复：相对于提出新归一化层的 SimbaV2 和研究 critic 条件数的 XQC，本文研究的是归一化何时应该被放弃；相对于以可塑性保持为动机的 SWD 原论文，本文把它重新解读为利用导向的重放机制并证明其在两种体制下的普适性；相对于以保守性为核心离线 RL（BCQ、CQL 等）工作，本文指出在并行仿真提供的广覆盖下保守性可以安全放松。理论上，作者用 Eluder 维度和 Lipschitz/谱范数复杂度控制为归一化的体制依赖性提供了概念性解释——低有效复杂度的函数类需要更少的信息性观测来消解不确定性，这有利于探索，但当覆盖已由并行仿真保证时便转化为对拟合能力的束缚——并明确声明这是概念解释而非正式的样本复杂度保证。实验设计上，固定一切只动一个轴、跨 8 个家族 67 个任务、每配置 5 个种子的做法，在 RL 实证研究中相当少见地严谨。
实验结果
论文围绕五个问题组织实验，证据链完整。Q1（变体在目标体制中是否占优）：在 9 个 CPU 规模环境上，WarpSAC 的归一化得分-步数 AUC 比 FlashSAC 提高约 4.5%，且 WarpSAC-L 在 humanoid-run、h1-slide-v0、myo-pen-twirl-hard 上取得最强最终回报，说明数据受限时应保留归一化与双 critic；在 14 个 GPU 并行环境上 AUC 提高约 23.1%，其中 IsaacLab、MuJoCo Playground、MJLab 上 Norm OFF 变体与 WarpSAC-L 持平或更强，ManiSkill 上 Single-Q 的 WarpSAC-A 最强。Q2（SWD 跨体制有效性）：SWD 在全部 8 个家族和网络容量设置中一致有益，是唯一无例外组件。Q3（保守稳定器的体制翻转）：归一化与 clipped double-Q 随数据规模从有益转为限制。Q4（sim-to-real）：在单张 NVIDIA A800 上端到端训练 Unitree G1（29 自由度、98 维 actor 观测/211 维特权 critic 观测），WarpSAC 约 35 分钟达标，FlashSAC 约 55 分钟，墙钟时间缩短 36.4%；PPO 经 bfloat16 与 torch.compile 强化后仍明显落后。Q5（容量交互）：CPU 侧单残差块时 SWD 相对均匀回放在 humanoid-run 上从 209.93 提到 467.39（超过 2 倍）、humanoid-walk 从 627.07 到 924.39（约 47%）、h1-hurdle-v0 从 83.80 到 101.09（约 21%）、h1-reach-v0 从 3018.97 到 3529.44（约 17%），容量增大后差距收窄但不消失；GPU 侧单块时关闭归一化在 Playground 的 G1 Flat 和 T1 Rough 上显著提升最终回报与 AUC。工程微基准方面：JAX/NNX bfloat16 完整更新 7.895 ms，比 JAX float32（13.244 ms）快 1.68 倍、比编译 PyTorch FlashSAC + AMP（13.922 ms）快 1.76 倍；SWD 采样在 CPU 上用桶近似把 3.263 ms 降到 0.959 ms（GPU 精确采样 1.751 ms）；A800 实测 4 个 IsaacLab 任务到达 5000 万步端点的墙钟加速为 1.11×/1.03×/1.04×/1.05×。此外 WarpSAC-A 把 ManiSkill 的 UnitreeG1TransportBox-v1 成功率从 19.8% 提到 96.4%，MuJoCo Playground 平均归一化墙钟 AUC 增益 19.1%。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| CPU 规模基准（MuJoCo/DMC hard/HumanoidBench/MyoSuite 共 9 环境） | 归一化 score-step AUC | WarpSAC（相对 FlashSAC 平均 +4.5%，WarpSAC-L 最优） | FlashSAC（无 SWD、Norm ON、clipped double-Q） | +4.5% |
| GPU 并行基准（MuJoCo Playground/IsaacLab/MJLab/ManiSkill 共 14 环境） | 归一化 score-step AUC | WarpSAC（WarpSAC-A / Norm OFF 变体主导） | FlashSAC | +23.1% |
| ManiSkill UnitreeG1TransportBox-v1 | 成功率 | 96.4%（WarpSAC-A） | FlashSAC 19.8% | +76.6 个百分点（约 4.9 倍） |
| MuJoCo Playground（4 个人形运动任务） | 平均归一化 wall-time AUC | WarpSAC | FlashSAC | +19.1% |
| Unitree G1 sim-to-real（Unitree-G1-Flat，单张 A800） | 端到端训练-部署闭环墙钟时间 | 约 35 分钟（WarpSAC） | FlashSAC 约 55 分钟 | -36.4% 墙钟时间 |
| humanoid-run（1 个残差块，CPU 规模） | 最终回报 | 467.39（WarpSAC-L，含 SWD） | FlashSAC 209.93 | >2 倍 |
| SAC 更新微基准（obs 128 / act 12 / batch 2048，RTX 5060 Ti） | 单次完整更新耗时 | 7.895 ms（JAX/NNX bfloat16） | PyTorch FlashSAC torch.compile+AMP 13.922 ms | 快 1.76 倍 |
局限与改进
作者明确承认两点局限。其一，当前处方是在训练前离线选择 WarpSAC-L 或 WarpSAC-A，对于横跨体制的部署场景——例如先在窄数据下预训练、再进行并行微调——需要能在线监测回放覆盖或价值外推信号、连续调节归一化强度和 critic 多重性的自适应变体，这尚未实现。其二，全部分析绑定在 FlashSAC 骨干上且只覆盖三个轴，熵加权、目标网络延迟、梯度裁剪、重放比率调度等其他经典稳定器是否同样体制依赖，仍是开放问题。从我的独立观察看还有更多：第一，Single-Q 的收益并不均匀——论文自己显示在 MJLab 粗糙地形 Unitree G1 任务上双 critic 变体更稳定而 WarpSAC-A 一致性较差，说明即便在 GPU 并行体制内，critic 保守性的需求仍与任务的地形/接触复杂度相关，简单以并行度划分体制会误判；第二，数据体制本身缺乏形式化度量（多少并行环境、多少缓冲刷新率算丰富），处方依赖人工判断；第三，每个配置仅 5 个种子，ManiSkill 上 Single-Q 最强等关键结论未报告显著性检验；第四，sim-to-real 验证只有 Unitree-G1-Flat 单一平地任务，未触及崎岖地形或操纵的真实迁移；第五，FlashSAC 基线的墙钟曲线在部分域是用 WarpSAC 的计时轴代理绘制的（MJLab 除外），跨实现的速度比较存在轻微混淆。
独立分析的弱点
弱点一：体制判定离线且依赖人工。WarpSAC-L/A 的选择发生在训练开始前，用户必须预先知道自己的数据采集规模；对新任务或中途改变并行度的场景（如课程学习、域随机化强度变化）会失配。改进方向：引入元控制器，用可在线计算的信号（如价值外推误差、缓冲区样本年龄分布熵、TD 误差对动作扰动的敏感度）作为覆盖率代理，自动在保守与激进配置间插值，甚至对每层归一化做软门控。弱点二：结论对 FlashSAC 骨干的可迁移性未验证。三个轴的体制依赖性可能与 FlashSAC 特有的分布式 critic（101 类别头）和低 UTD 设置耦合；在标准 SAC、TD3、REDQ 或基于模型的 SAC 变体上复现该分析是必要的下一步。弱点三：Single-Q 在 MJLab 粗糙地形上的不一致暴露了体制划分粒度过粗——数据丰沛不等于外推风险消失， rough 地形的接触动力学仍会制造覆盖空洞。改进方向：把体制从二值改为连续度量，例如按状态-动作空间的有效覆盖熵或 critic 不确定性估计，任务相关地决定 critic 数量。弱点四：SWD 的超参（$T_{\mathrm{decay}}$、$w_{\min}$）按域手工设定（CPU 80,000 vs GPU 2,000），缺少自适应机制；衰减时域选错可能把缓冲区退化为近似在线流。改进方向：将 $T_{\mathrm{decay}}$ 与缓冲区刷新率或策略变化率（如策略 KL）挂钩自动调节。弱点五：统计强度有限，5 种子且无显著性检验，部分小差距结论（如 Norm OFF 与 WarpSAC-L 在两块容量下的对比）可能不稳健；建议至少 10 种子并报告 IQM 与 bootstrap 置信区间。
未来方向
作者提出的方向有三：一是开发在线体制自适应变体，监测回放覆盖或价值外推信号，在不确定性高时保留保守约束、在利用成为瓶颈时自动放松，连续调节归一化强度与 critic 多重性；二是把分析扩展到其他经典稳定器——熵权重 $\alpha$ 的调度、目标网络延迟、梯度裁剪、重放比率（UTD）调度——检验它们是否共享体制依赖行为；三是服务横跨体制的部署流程，例如窄数据预训练接并行微调时自动切换配置。基于本文成果还可延伸：理论上，把 Eluder 维度论证形式化，建立覆盖度与最优保守性强度的定量关系，给出体制感知 RL 的样本复杂度界；方法上，把 SWD 的年龄偏置与优先级回放（TD 误差）正交结合，或在分布式 critic 上做体制感知的集成剪枝；应用上，利用 35 分钟 sim-to-real 闭环把配方推广到崎岖地形 G1、四足和灵巧手的真实部署，并探索用 B200 等更强 GPU 实现分钟级部署的工程路线；评估上，建立覆盖数据体制的标准度量与基准协议，让后续算法可以报告自己属于哪种体制、适配哪种配置。
复现评估
复现条件相当好。代码已在 GitHub 开源（github.com/wzhhasadream/warprl），论文附录提供了近乎完备的复现材料：表 4 给出六个训练 profile 的全部关键参数（环境数、总步数、学习开始步数、缓冲区大小与设备、batch、折扣率 $\gamma$、n-step、SWD 衰减时域、计算类型、评估回合数），表 5 给出共享优化超参（学习率 $3\times10^{-4}$ 余弦衰减至 $1.5\times10^{-4}$、初始温度 0.01、目标熵、$\tau=0.01$、策略每 2 次 critic 更新更新一次、奖励归一化），表 6 给出网络架构（actor 128/512、critic 256/1024 的残差块、101 类别分布式头、正交初始化），表 7-15 列出全部 67 个任务的观测/动作维度与归一化分数，Listing 1-2 直接给出 SWD 精确采样与桶近似的 NumPy 核心代码，附录 C 提供微基准的可复现测量协议（预热与重复次数、硬件型号）。算力需求：GPU 并行实验单张 A800 即可完成，CPU 规模实验更轻量（附录甚至用 RTX 5060 Ti 做微基准），sim-to-real 需要一台 Unitree G1 实体机器人。主要门槛在于工程栈：需要熟悉 JAX/NNX、IsaacLab v2.1.0、MJLab v1.2.0、ManiSkill 指定 commit 和 HumanoidBench 兼容 fork；SWD 衰减时域和桶数等超参按域给定为固定值，跨新任务可能需调。总体评估复现难度为中低，5 种子的设定也便于独立验证。论文声明 LLM 仅用于语言润色，全部思想与实验由作者完成。
论文图表
论文总览图：左侧为真实世界与仿真中的 Unitree G1 运动控制照片，中间面板给出 Unitree-G1-Flat 在单张 A800 上的样本效率与环境步曲线和墙钟时间曲线（WarpSAC 约 35 分钟达标，FlashSAC 约 55 分钟，PPO 更慢），右侧面板汇总 CPU 规模与 GPU 并行的归一化学习曲线以及 Norm OFF 消融。
一图浓缩论文全部主张：两种数据体制下的对比、sim-to-real 闭环速度、以及归一化选择的体制依赖性，是读者建立整体图景的入口。