去偏的基于模型表示：面向样本高效连续控制 Debiased Model-based Representations for Sample-efficient Continuous Control

训练流程如Algorithm 1。初始化策略 $\pi_\phi$、双critic $Q_{\theta_1},Q_{\theta_2}$、线性MDP预测器 $M$、encoder $f_\omega,g_\omega$ 及对应target网络。每步用 $a=\text{clip}(\pi_{\phi'}(z_s)+\psi,-1,1)$（$\psi\sim\mathcal{N}(0,0.2^2)$）选动作并存入replay buffer。预热 $T_{\text{explore}}=10^4$ 步后开始训练。每 $T_{\text{target}}=250$ 步做一次 target 更新，随后做 $T_{\text{target}}$ 次encoder更新：用faded PER从buffer采 $N=256$ 条，按 $H=5$ 步展开计算 $\mathcal{L}_{\text{DR.Q}}^{\text{enc}}=\sum_{t=1}^{H}[\lambda_r\mathcal{L}_{\text{reward}}(\hat r_t,r_t)+\lambda_d\mathcal{L}_{\text{dynamics}}(\hat z_{s',t},\tilde z_{s',t})+\lambda_m\mathcal{L}_I(\hat z_{s',t},\tilde z_{s',t})]$，其中 $\lambda_r=0.1,\lambda_d=1,\lambda_m=0.1$。InfoNCE 在batch内将其他样本当负样本，用余弦相似度 $\cos(\hat z_{s'}^i,\tilde z_{s'}^i)/\tau$（$\tau$ 调温度）。每步还更新critic（Huber损失、$H_Q=3$ 步return、CDQ取 $\min_j Q_{\theta'_j}$ 作为target）和actor（最小化 $-\frac{1}{2}\sum_{i=1,2}Q_{\theta_i}(g_\omega(z_s,a_\pi))$），并用新TD误差更新LAP优先级。

技术新颖性集中在三个层次。(1) 理论：第一次显式证明最小化 MSE 不一定增加互信息，并提出用 InfoNCE 同时优化两条目标，Lemma 4.2 把"高互信息 ⇒ 低条件熵"和DeepMDP/MR.Q 的Q误差上界连起来。(2) 算法：把faded PER写成 $|\delta(i)|^\alpha\max(\epsilon_{low},(1-\epsilon)^i)$ 的简洁形式，并证其采样次数有界、且对老经验不会高于新经验。(3) 工程：单一超参集合覆盖了 73 个差异巨大的任务(包括图像输入的DMC-Visual)，用UTD=1和简单的AdamW优化器，没有layer norm、target值归一化、参数重置等繁复trick。表4明确显示SimBaV2、FoG在HumanoidBench上其实需要切换clip DQ/avg DQ、调整batch size和reset step，DR.Q则全程固定。t-SNE可视化(Figure 16)进一步佐证其表示在潜空间更连续、聚类更集中。

独立分析三个潜在弱点。弱点一：单超参策略的代价。DR.Q在Hopper-v4上明显掉分(2504 vs SimBaV2 4054)，说明固定超参在奖励稀疏/终止敏感的短视任务上欠拟合；改进方向可借鉴FoG的"forget and grow"思路，在不同benchmark上动态调节encoder horizon $H$、InfoNCE权重 $\lambda_m$ 或者faded PER的 $\epsilon$。弱点二：InfoNCE的负样本策略比较朴素。论文里用同一batch内其他样本做负样本，最大N=256，碰到状态分布高度多模态的高维HumanoidBench任务(h1hand 308维)时可能不足；可以引入memory bank或者MoCo-style的动量队列来扩充负样本规模，进一步抬高互信息下界。弱点三：faded PER 假设 $\epsilon_{low}=0.1$ 截断，但理论上仍然可能让"老但极重要"的transition过早退出采样，比如图17的visual-dog-stand和h1-run里，蓝色点(TD×forget权重)显示某些早期大TD样本被压到很低；改进方向是引入时序差分式自适应阈值(类似 PER中的rank-based priority)或者在TD误差大时自动放松 $\epsilon_{low}$。

作者在Conclusion里直接指出三条主线：在Atari等离散动作任务上验证、把InfoNCE替换为更紧的互信息下界(比如非线性MINE或 CLUB上界)、把DR.Q作为新通用基线扩展到语言或多模态RL。我补充的延伸方向：(1) 把InfoNCE推广到状态-动作表示和隐式policy的互信息上，借鉴BYOL-Explore的bootstrap思路，让表示学习真正捕获"决策相关"信息而非仅动力学信息；(2) 借鉴MAD-TD模型增强数据方案，把faded PER的旧经验与TDMPC2 latent imagination的synthetic rollouts混用，可能在低数据下进一步提升样本效率；(3) 联合训练世界模型并把DreamerV3风格的actor-critic嵌入DR.Q encoder，得到纯offline-to-online或sim-to-real版本；(4) 在更大规模HumanoidBench子任务(h1hand-21维action)上做few-shot fine-tuning研究，验证DR.Q表示的迁移性。

作者开源了代码、模型权重和训练日志在 https://github.com/dmksjfl/DR.Q。数据维度在表1-3中完整列出(MuJoCo 5个、DMC 28个、HumanoidBench 28个、DMC-Visual 12个，obs/action dim涵盖3维cartpole到308维h1hand-bookshelf)。所有任务跑10个随机种子(部分3-15)，95%置信区间通过rliable计算。算力方面，文章没有给出显式GPU小时数，但UTD=1、batch=256、replay buffer=1M、encoder hidden=750和H=5步展开是相对轻量的，理论上单张RTX 4090可在数小时内完成1M步训练；视觉DMC版本加上encoder后稍重但仍比TDMPC2经济。复现难度评估：中等——超参虽固定，但需要分别配置三个benchmark的env wrapper(尤其HumanoidBench需要Unitree H1 XML和Dexterous hands)。本工作的实验设计没有调过任务级超参，跨套件迁移性好，但faded PER的两个超参($\epsilon, \epsilon_{low}$)和InfoNCE温度 $\tau$ 在新任务上可能仍需小范围搜索。