ECO：基于约束强化学习的人形机器人能量优化行走 ECO: Energy-Constrained Optimization with Reinforcement Learning for Humanoid Walking

ECO 的完整流程包含以下步骤：（1）**状态空间构建**：策略网络的输入由 15 帧观测历史组成，每帧包含速度指令 $(v_{\text{cmd}}^x, v_{\text{cmd}}^y, \omega_{\text{cmd}}^\text{yaw}) \in \mathbb{R}^3$、时钟信号 $(\sin t, \cos t) \in \mathbb{R}^2$、关节位置 $q \in \mathbb{R}^n$、关节速度 $\dot{q} \in \mathbb{R}^n$、身体角速度 $\omega_\text{ang} \in \mathbb{R}^3$、上一步动作 $a_{t-1} \in \mathbb{R}^n$、身体欧拉角 XY 分量 $\in \mathbb{R}^2$，单帧维度 $S=40$。奖励 critic 额外使用特权观测（包括身体线速度、偏航角、外力/力矩、摩擦系数、质量、相位标识、接触指示器），单帧维度 55。（2）**动作生成与控制**：策略输出动作 $a \in \mathbb{R}^n$ 表示相对于标称关节位置的偏差，输入 PD 控制器计算力矩 $\hat{\tau} = K_p(a + q_\text{nominal} - q) + K_d(0 - \dot{q})$，控制频率 100Hz，仿真频率 1kHz。（3）**能量约束定义**：能量代价函数 $C_1(s'|s,a) = \sum_{j=1}^n |\tau_j^t \dot{q}_j^t|$ 为各关节力矩与角速度绝对值乘积之和（排除时间步长 $dt$），采用折扣累积和约束 $J_{C_1}(\pi_\theta) = \mathbb{E}[\sum_{t=0}^T \gamma^t C_1(s_{t+1}|s_t, a_t)] \leq b_1$，折扣因子 $\gamma=0.9$。（4）**参考运动约束定义**：镜像损失 $C_2(s'|s,a) = \|\text{sg}(\pi_\theta(s_i)) - \Psi_a(\pi_\theta(\Psi_o(s_i)))\|^2$，采用平均和约束 $J_{C_2}(\pi_\theta) = \mathbb{E}[\frac{1}{T}\sum_{t=0}^T C_2] \leq b_2$，阈值 $b_2=0.05$。（5）**约束策略优化**：使用 PPO-Lagrangian 求解，拉格朗日目标为 $\max_{\pi_\theta} \min_{\lambda_1,\lambda_2 \geq 0} J_R(\pi_\theta) - \sum_{i=1}^2 \lambda_i [J_{C_i}(\pi_\theta) - b_i]$，策略和乘子交替更新，初始 $\lambda_i=0$，学习率 $\beta_i=10^{-3}$。（6）**阈值搜索**：基于 PPO 基线的收敛能耗（~100J at 0.1m/s）作为参考，使用线性搜索在 20J-100J 间以 20J 步长寻找最小可行阈值，最终确定 60J 为最优阈值。

ECO 的技术新颖性体现在三个层面。第一，在方法论层面，虽然约束 RL 本身不是新概念（CPO、PPO-Lagrangian、CRPO、IPO、P3O 等已有算法），但将约束 RL 系统性地应用于人形机器人的能量优化是全新的尝试。此前约束 RL 仅在四足机器人上验证，人形机器人由于可行域更小、平衡更难，对约束设置和优化方法的要求完全不同。第二，在工程洞察层面，ECO 发现并验证了人形机器人上「约束数量应尽量少」的关键原则：四足机器人可以同时处理 5 个以上约束，但人形机器人增加到 3-5 个约束时训练显著退化（图 9 显示 episode 长度大幅下降）。这一发现对后续人形机器人约束 RL 研究有重要指导意义。第三，在优化方法选择上，ECO 通过对比 4 种约束 RL 算法（PPO-Lag、CRPO、IPO、P3O）的系统实验，证明了 PPO-Lagrangian 在人形机器人任务上的优越性：它通过 Adam 优化器动态更新拉格朗日乘子，能自适应地平衡不同约束的量级，而其他方法（IPO、P3O）依赖固定系数，在多约束场景下难以平衡；CRPO 作为原始变量方法缺乏奖励和约束之间的平滑过渡，收敛不稳定。此外，ECO 使用蒙特卡洛方法估计能量代价回报而非训练额外的代价 critic，减少了网络参数和设计选择。

从独立分析的角度，ECO 有以下几个值得关注的弱点：第一，能量阈值的搜索策略（线性搜索，步长 20J）相对粗糙。每次搜索需要约 4 小时的训练时间，且最终确定的 60J 可能不是全局最优。改进方向可以是引入贝叶斯优化或自适应阈值调整策略，根据训练过程中的能耗反馈动态调整阈值，减少搜索空间和计算开销。第二，镜像对称约束的阈值 $b_2=0.05$ 是从 PPO 基线的经验值直接继承的，缺乏理论依据或自适应机制。在不同行走速度、不同地形下，最优的对称性要求可能不同。可以考虑将 $b_2$ 也作为自适应参数，或者引入速度相关的阈值函数。第三，代价回报使用蒙特卡洛方法估计（而非训练代价 critic），虽然减少了网络参数，但高方差的估计可能影响约束的精确执行。在更复杂的任务中，可能需要重新引入代价 critic 以获得更稳定的梯度信号。第四，当前方法在处理约束冲突时缺乏显式的优先级机制——当能量约束和对称约束同时被违反时，拉格朗日乘子的更新可能导致震荡。可以借鉴零空间投影等控制论方法来处理约束优先级。第五，虽然论文展示了涌现出的高效行为（膝盖伸展、轻步、减少晃动），但这些行为的物理解释不够深入——为什么恰好是这三种行为与低能耗相关？是否有更多的涌现行为值得探索？

论文作者和基于成果可延伸的未来方向包括：第一，扩展到更复杂的地形和任务，特别是楼梯行走。作者提出可以引入模式感知约束（mode-aware constraints），根据地形类型自适应调整能量阈值——例如在上楼梯时放松能耗约束以允许更高的抬脚。这需要结合地形分类器或视觉编码器来识别地形类型。第二，结合模型先验知识来改善约束 RL 的收敛性。作者提出可以利用人形机器人的动力学模型来缩小搜索空间，例如使用零空间投影来优先处理控制任务，缓解任务冲突。第三，层级式规划架构——高层规划器根据环境选择运动模式（平地行走、上楼、避障），低层约束 RL 策略在选定模式下执行。这种分层方法天然适合约束 RL 框架，因为不同模式可以定义不同的约束集。第四，向更大尺寸人形机器人的迁移验证。BRUCE 是 70cm 的小型机器人，向 1.5m 以上的人形机器人迁移时，动力学特性、能效需求和可行域都会有质的变化。第五，探索更多约束类型的适用性——例如关节温度约束、电机电流约束、脚底接触力分布约束等，这些对长时间连续作业的机器人尤为重要。第六，将 ECO 框架与 loco-manipulation 任务结合，利用更轻盈的步态减少对上肢操作的干扰。

从复现角度看，ECO 具有较好的可复现性。硬件方面，BRUCE 是一个开源的人形机器人平台（Westwood Robotics 提供），研究者可以获取完整的硬件规格和设计信息。软件方面，训练在 IsaacGym 中进行，这是 NVIDIA 提供的开源 GPU 加速仿真器，支持大规模并行训练（8192 个环境）。论文提供了详细的超参数表（表 III）、域随机化参数（表 II）和奖励函数定义（表 I），这些信息足以重建训练环境。计算需求方面，训练在 Intel Core i9-13900KFN + RTX 4090 上进行，每个训练运行约 2000 次策略迭代，收敛通常在 4 小时内完成，使用策略训练 10 小时后部署到真实硬件。阈值搜索额外需要约 4 小时。总体计算成本适中，对于具备单张高端 GPU 的实验室来说完全可行。不过，论文未提供开源代码，部分实现细节（如蒙特卡洛代价回报的具体计算方式、镜像函数的具体定义）需要自行推导。sim-to-real 迁移需要额外注意 PD 增益调参、踝关节柔顺性策略和传感器噪声注入等工程细节，论文在第七章 C 节给出了有价值的实践经验。