UniRestorer++：基于多粒度退化建模的可扩展通用图像修复 UniRestorer++: Scalable Universal Image Restoration with Multi-Granularity Degradation Modeling
构建层次化退化专属LoRA专家与双路由机制，把通用修复模型扩展至2.9B参数并保持可预测增益
前置知识
通用图像修复（Universal Image Restoration）
用单个模型处理多种退化任务（去噪、去模糊、去雨、去雾、低光增强等）乃至其复合退化，区别于早期为单一退化训练专用模型的范式。主要路线有退化无关（所有任务共享骨干联合训练）和退化感知（用提示、退化表示或专家网络引导修复）两类。
本文的问题设定就是通用修复，全文围绕『单一模型如何同时覆盖越来越宽的退化空间并随参数扩展持续受益』展开，不理解这一范式就无法理解其动机与评估方式。
混合专家（Mixture-of-Experts, MoE）
一种稀疏架构：含 $N_{exp}$ 个并行专家模块 $\{F_a\}$ 和路由网络 $G$，每个输入只激活少数专家，输出 $y=\sum_a G_a(v)F_a(x)$；总参数 $P_{total}$ 与激活参数 $P_{act}$ 解耦，可在几乎不增加推理计算的情况下扩大容量。
UniRestorer++ 的容量组织方式是 MoE 的变体：理解『总参数 vs 激活参数』的区别，才能理解为什么 2.9B 模型能保持与 176M 模型几乎相同的 FLOPs 和延迟，以及 vanilla MoE 缩放为何会因路由错误而失效。
LoRA（低秩适配）
参数高效微调方法：冻结原权重 $W$，学习低秩残差 $\Delta W = BA$（秩 $r \ll d$），只训练 $A$、$B$；输出为 $Wx + \Delta Wx$，新增参数远小于全量微调，不同任务的 $\Delta W$ 可互不干扰地并存。
本文把每个退化组的专属容量实现为作用在共享 Restormer 骨干上的 rank-8 LoRA 专家 $\Delta F_{i,j}$，理解 LoRA 才能明白『新增层次=新增专家参数、共享知识保持冻结』的扩容机制。
缩放定律（Scaling Laws）
描述模型性能随参数/数据/算力增长的经验规律：期望误差服从幂律 $E(P) \simeq E_{floor} + cP^{-\alpha}$，$\alpha$ 为缩放指数，衡量参数效率；对数坐标下 PSNR 与 $\log_{10}P$ 呈线性，拟合斜率 $b$ 表示参数每增十倍的 PSNR 增益。
本文的核心主张是：层次化缩放策略比 vanilla MoE 缩放具有更高、更稳定的对数线性斜率（如 OOD 场景 0.386 对 0.133），必须读懂 PSNR=a+b·log10P 这类拟合及 R² 的含义才能理解其缩放结论。
退化表示（Degradation Representation, DR）
可学习的向量或空间图，刻画输入图像所受退化的类型和程度，作为先验引导修复网络（条件调制或专家选择）。本文用 ResNet-18 提取器输出 $p$ 通道稠密 DR 图，经与 CLIP 文本嵌入的对比损失学习，能表达空间变化的退化。
DR 是整个路由体系的地基：全局池化的 DR 用于 K-means 层次聚类构造退化组，稠密 DR 图则驱动每个像素位置的专家选择，没有 DR 概念就无法理解方法流程。
PSNR（峰值信噪比）
图像修复最常用的保真度指标：图像归一化到 [0,1] 时定义为 $-10\log_{10}(MSE)$，单位 dB，越高越好，衡量恢复结果与真值的像素级均方误差，但对细节纹理的感知质量不敏感（后者常用 LPIPS）。
本文所有实验（包括缩放拟合）都以 RGB 空间 PSNR/SSIM 为指标，论文中所有 dB 数字（如 32.24、27.05、44.06）都需要借助 PSNR 的对数性质来解读。
研究动机
通用修复希望用一个模型处理尽可能多的退化，但两条既有路线在扩展时都遇到瓶颈。其一是传统的稠密缩放：按 Restormer 风格均匀加深加宽共享骨干。由于所有任务共享未被划分的参数流形，相互冲突的修复目标（高频细节合成与低通去噪平滑等）之间的梯度干扰随参数增长而加剧，有效缩放指数在超过某个临界规模后衰减为零甚至转负，论文实验中稠密缩放在 CDD-50 与 FoundIR 上呈非单调曲线——性能饱和乃至崩塌。其二是退化感知方法：PromptIR 的提示、MoCE-IR 的复杂度专家、LoRA-IR 的低秩专家等都在单一固定粒度上选择处理路径，效果严重依赖退化估计的准确度；而更细的参数特化要求更高的估计精度，在分布外（OOD）和真实输入上估计误差会激活错配的专家，反而吞噬特化收益——论文的拟合显示 vanilla MoE 缩放在分布外 CDD-50 上斜率仅 0.133 dB/十倍参数，远低于分布内的 0.419。此外，现有方法普遍使用图像级退化表示做全局条件化，无法处理雾、模糊等空间上非均匀的退化；在 CDD-50 五阶复合退化上，MoCE-IR 分布外 PSNR 仅 18.60 dB。
本文的目标是论文要构建一个『可靠可扩展』的通用图像修复框架，成功标准是：总参数量的每次增长都能被可预测地转化为修复精度和泛化能力的提升——即在评估的参数范围内呈现稳定的近似对数线性 PSNR 趋势，且拟合斜率要在分布外和真实退化上显著超过 vanilla MoE 缩放。具体分解为三个子目标：第一，设计容量与退化特化耦合的参数组织方式，使扩容等价于退化划分的细化加对应专家的新增，从根本上避免多任务梯度冲突；第二，保证在退化估计出错时系统能自动回退到粗粒度的稳健专家，让特化不再是脆弱点，缩放指数不被路由错误侵蚀；第三，支持空间非均匀退化，让同一图像的不同区域可以走不同专家。在评估侧，配套构建 CDD-50 基准——50 个退化类别、从单退化到五阶复合、每阶配分布内/分布外双参数评估——并把模型一路验证到 2.9B 参数，建立已知最大的保真度导向通用修复模型。
与已有工作不同的是，本文的独特切入是把『退化层次结构』本身当作缩放的轴。语言模型的缩放定律 $E(P)\simeq E_{floor}+cP^{-\alpha}$ 与路由模型缩放定律虽已区分总参数与激活参数，但都没有回答参数应如何在异质退化子空间之间组织；本文用嵌套划分 $\Pi_0\prec\Pi_1\prec\cdots\prec\Pi_{L-1}$ 给出答案——层次每加深一层，退化划分细化一次，每个新子空间获得一组专属 LoRA 专家，使『模型变大』与『退化特化变细』严格同步，容量增长可解释、可增量。第二个差异点是双路由机制：退化估计路由（DER）在层次上选一条根到叶路径，粒度估计路由（GER）借方差头建模估计的不确定性、在该路径上选择合适层级——当估计含糊（如分不清大雪小雪）时自动降级到粗粒度祖先专家，把『估计误差』从缩放瓶颈变成被机制主动管理的变量。第三，用稠密退化表示图取代图像级条件，使专家选择下沉到像素级。这种『层次化容量分配 + 不确定性感知路由』的组合在此前的通用修复工作中没有对应物。
核心方法
直觉：当模型对退化判断把握不足时，路由到粗粒度『通才』专家比硬选细粒度『专才』更稳健，因此让专家在多个粒度并存，并让路由器知道何时降级。技术路线：（1）稠密退化表示提取器 $D$：ResNet-18 输出 $p$ 通道稠密 DR 图 $E=D(X)$，用 CLIP 文本嵌入监督——退化类型细分为程度区间，经 CutMix 合成空间变化样本与逐像素对比损失训练。（2）退化层次：对全局池化 DR 做 K-means 递归聚类，得 $L$ 层嵌套退化组（单退化设置 $\{1,7,19\}$）。（3）共享骨干：76M Restormer 承载跨退化共性知识。（4）层次专家：每个非根退化组配 rank-8 LoRA 残差 $\Delta F_{i,j}$，块输出为共享特征加至多一个被选专家残差（掩码 $M_{i,j}\odot\Delta F_{i,j}(H)$），每像素只激活一个专家。（5）路由：每块的 DER 与 GER 以稠密 DR 先验和当前特征为条件各做 top-1，分别决定『最细退化组』与『层级』，不同像素可用不同专家。训练按提取器→骨干→专家→联合微调四阶段推进。
核心创新是『层次化专家容量分配』与『粒度估计路由』这对机制。vanilla MoE 缩放维持单一粒度的平坦路由器，含糊或 OOD 输入上的路由错配会把理论容量指数 $\alpha_2$ 侵蚀成严重衰减的有效指数 $\alpha_{eff,vanilla}$（实测分布外 CDD-50 仅 0.133）。层次策略让所有层级专家同时存活：细粒度专家在估计可靠时提供窄域特化，粗粒度祖先专家覆盖宽分布作回退，加深层次只增特化不弃稳健。GER 的方差图 $E_g=\phi_{\sigma^2}(E)$ 量化估计可信度并参与 top-1 层级选择，含糊输入自动落到粗层——这正针对缩放模型 $E_\kappa\simeq E_{floor}+C_\kappa P_{total}^{-\alpha_{eff,\kappa}}$ 中的专家分配误差项，使 $\alpha_{eff,hier}$ 保持高位（分布外 0.386）。与 conditioning 类方法的本质区别：本文给每个退化子空间专属 LoRA 参数，容量增长与特化严格耦合；稠密 DR 图又把路由降到像素级，局部有雾与清晰区域可激活不同专家。
方法步骤详情
方法分五阶段。一，DR 提取器：ResNet-18 输出稠密 DR 图 $E=D(X)$，退化描述经 CLIP 文本编码为监督，用 CutMix 与逐像素对比损失训练。二，层次聚类：对全局池化 $e_n=GAP(E_n)$ 递归 K-means，得嵌套划分 $\Pi_0\prec\cdots\prec\Pi_{L-1}$。三，共享骨干：76M Restormer 用 $\ell_1$ 训练。四，专家：每个非根组从头训练 rank-8 LoRA 残差 $\Delta F_{i,j}$。五，联合微调：聚类标签初始化 DER；每块计算 $Z_d=G_{d,E}(E_d)+G_{d,H}(H)$ 与 $Z_g=G_{g,E}(E_g)+G_{g,H}(H)$，$E_d$、$E_g$ 为 DR 的均值与方差估计；每位置 DER top-1 选最细组、GER top-1 选层级，得掩码 $M_{i,j}$；骨干冻结，微调路由器与专家，损失 $L_{total}=\ell_1+\alpha L_{dg}+\beta L_{aux}$（$\alpha=0.1$、$\beta=0.01$）。
技术新颖性
技术新颖性有五点。第一，层次化缩放以『退化划分细化』为扩容轴：每次加层对应明确的子空间与新专家，容量组织可解释、可增量（加层只新增 LoRA 专家、不动共享骨干），区别于稠密缩放的盲目加深加宽和平坦 MoE 的单粒度专家池。第二，GER 是修复建模中少见的『粒度路由器』：回答的不是『选哪个专家』而是『该不该相信细粒度估计』，把不确定性显式纳入路由决策，机制化地解决了『缩放必须以估计鲁棒为前提』。第三，稠密 DR 图 + 区域感知路由把专家选择做成逐像素独立决策——两路 logits $G_{d,E}(E_d)$ 与 $G_{d,H}(H)$ 在同一空间网格相加，掩码按位置广播，此前图像级条件化或专家方法均未做到。第四，CDD-50 的分布内/分布外双参数评估把『对未见退化参数的泛化』变成可量化指标，五阶复合退化空间是该方向最广的，『先天气再混叠』的合成管线也系统化了复合退化构造。第五，缩放行为的经验刻画——$PSNR=a+b\log_{10}P$ 拟合 $R^2$ 最高 0.986——为图像修复提供了类似 LLM 缩放定律的可比实证框架，这在低层视觉中是稀缺的。
实验结果
（1）单退化：加权平均 32.24 dB（7T），超 UniRestorer 的 31.81，七项全最佳。（2）CDD-11：30.31 dB，超 MoCE-IR 1.26，全子集最佳。（3）CDD-50：分布内/外 26.54/23.46 dB，超 UniRestorer 26.04/23.09。（4）成本：对 UniRestorer 仅增 2.9%/8.6%/6.4%，2.9B 推理成本几乎不变。（5）缩放：154M→2.9B 使分布内 26.54→27.05、分布外 23.46→23.93、FoundIR 26.22→28.17 dB；拟合 $R^2$ 达 0.955/0.985/0.986，分布外/FoundIR 斜率 0.386/1.555 对 vanilla MoE 的 0.133/0.808。（6）零样本：七个真实测试集全部最佳。（7）少样本：五样本 17 个测试集中 14 个超专家（RealSnow 33.28 对 30.94）。（8）消融：$\{1,4,8\}$ 最优 24.46/19.45 dB，稠密 DR 与区域路由再增 0.43 dB。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 单退化七任务联合训练（7T 加权平均） | PSNR (dB) | 32.24 | UniRestorer 31.81 | +0.43 |
| CDD-11 三退化（11 子集平均） | PSNR (dB) | 30.31 | MoCE-IR 29.05 | +1.26 |
| CDD-50 五退化（分布内参数） | PSNR (dB) | 26.54 | MoCE-IR 25.28 | +1.26 |
| CDD-50 五退化（分布外参数） | PSNR (dB) | 23.46 | MoCE-IR 22.53 | +0.93 |
| SIDD 真实去噪（零样本） | PSNR (dB) | 24.85 | PromptIR 24.32 | +0.53 |
| RealRain 真实去雨（2.9B 五样本） | PSNR (dB) | 44.06 | 专家 Restormer 43.93 | +0.13 |
| RealSnow 真实除雪（2.9B 五样本） | PSNR (dB) | 33.28 | 专家 Restormer 30.94 | +2.34 |
| FoundIR 雨滴去除（2.9B 五样本） | PSNR (dB) | 37.22 | FoundIR 29.74 | +7.48 |
| 缩放效率（分布外 CDD-50 拟合斜率） | 每十倍参数的 PSNR 增益 (dB/decade) | 0.386（层次缩放） | 0.133（vanilla MoE 缩放） | 约 2.9 倍 |
局限与改进
作者承认：退化层次与专家池由 K-means 离线构建，推理阶段保持固定，无法为新型退化动态扩展。我的观察：其一，泛化收益依赖合成退化管线的多样性，合成到真实的差距需少样本弥合——SIDD 五样本 39.26 dB 仍落后专家 NAFNet 的 40.30 约 1 dB，RealRain 零样本仅 31.37 而五样本达 44.06，且五次重复实验标准差达 ±0.14~±0.42 dB，小样本结果有波动。其二，全部评估用 PSNR/SSIM 保真指标，未报告 LPIPS 等感知指标，$\ell_1$ 训练的模型在重度复合退化（五阶分布外均值 19.46 dB）下视觉质量存疑。其三，训练代价高：64 块 V100、2.9B 带 510 个专家约 23 天，普通实验室难以复现完整缩放曲线。其四，Table VII 真实世界的基线是仅在对应退化阶训练的 238M 弱基线，SIDD +14.78 dB 的参照系偏弱。其五，GER 有负载均衡损失防坍缩，DER 只靠聚类标签初始化，缺乏显式均衡机制。其六，CDD-50 按『先天气再随机混叠』的固定顺序合成，与真实复合退化的物理形成过程仍有差异。
独立分析的弱点
独立弱点及改进方向：（1）层次离线冻结——推理时遇新退化类型无法容纳，需重新聚类并训练专家；改进：把层次做成可在线扩展模块，支持运行时节点插入与增量专家训练。（2）合成数据依赖——所有样本来自合成管线，真实场景需少样本兜底且方差不小；改进：混入真实退化配对（如 SIDD 真实噪声）预训练，或用真实数据一致性自监督目标。（3）纯保真度导向——$\ell_1$ 加 PSNR 评估忽略感知质量，重度退化下可能数值尚可而视觉不自然；改进：引入对抗损失、扩散先验或保真/感知双分支。（4）算力门槛——2.9B 结论建立在数千 GPU 日之上，小团队只能验证 176M 版本；改进：研究层次 MoE 向稠密小模型的蒸馏、专家剪枝与量化。（5）DER 缺乏均衡机制——GER 有负载均衡而 DER 无，长尾退化组专家可能欠训练；改进：为 DER 补充专家级负载均衡或熵正则，并报告各专家路由频率。（6）层次形状靠人工设定——$\{1,4,8\}$ 加到 $\{1,4,8,16\}$ 收益递减且分布内反降，缺乏选择原则；改进：用信息论准则或自动搜索确定层次形状。
未来方向
作者明确提出：借鉴 Darwin Gödel Machine 等自改进智能体，把该框架扩展为递归自改进（RSI）修复智能体——能自己诊断失败、细化退化分组、新增或更新专家、修改路由策略，每次改动在留出数据上评估，从『预定义容量扩展』走向『反馈驱动的改进』，让修复能力跟随真实退化演化。基于本文成果还可延伸：（1）与多模态大模型结合，用自然语言指令直接索引层次（如『去掉左上角雨痕』），实现语言驱动的区域级专家选择，与 RestoreAgent 的任务规划路线互补；（2）把扩散/GAN 等生成先验引入专家设计，弥补纯 PSNR 导向的感知短板；（3）把层次缩放律推广到视频修复、RAW 域、医学影像，检验对数线性斜率的跨域普适性；（4）Fig. 9 显示 L+R 与 L+H+R 等组合共享最细层组，可研究专家复用、合并与稀疏化以压缩专家池；（5）少样本适配目前只微调路由器与 LoRA，可探索测试时自适应或用 HyperNetwork 快速生成新专家；（6）DER 引入在线不确定性校准，让估计方差跨域可比，提升路由稳定性。
复现评估
开源情况：论文承诺代码与预训练模型将在 github.com/mrluin/UniRestorerplusplus 公开，应含训练代码、配置与各规模权重。数据方面，CDD-50 用公开的 Urban100 经 SEAL 框架按 Table I 的 50 个组合合成，流程完整可复现；五退化训练数据由公开高质量集（DIV2K、Flickr2K、DIV8K、MIT-Adobe-5K、FFHQ、SA-1B 等）裁出 500 万个 $256\times256$ 块合成。算力方面，完整流水线（2.9B、510 个 LoRA 专家）用 64 块 V100 32GB 训练约 23 天，全量复现需数千 GPU 日，只有较大机构能承担；但标准 176M 模型（$\{1,7,19\}$ 层次）属 Restormer 量级预算，单机 8 卡可行，$\alpha=0.1$、$\beta=0.01$、rank-8 LoRA、四阶段训练次序等关键细节均已写明。综合评估：复现单个模型为中等难度，复现完整缩放曲线为高难度；若权重如约放出，下游最实用路径是直接下载 2.9B 模型做少样本适配。
论文图表
对比四类通用修复框架示意图：(a) 退化无关方法用共享骨干且无退化条件化；(b) 条件化方法用提示/退化表示调制共享骨干；(c) 基于专家的方法把特征路由到退化专属专家；(d) UniRestorer++ 提出多粒度退化建模，退化估计路由决定层次中的根到叶路径，粒度估计路由再在该路径上选择专家层级。
一张图讲清本文与两大类已有方法的范式差异，是理解『多粒度』这一核心贡献的最快入口。
CDD-11 上的路由频率可视化：左图为 DER 对八个最细层退化组的指派分布（各组主导退化类型如 H+R、L+S 等标在横轴），右图为 GER 对 11 个退化子集的层级选择，显示 GER 确实在粗细层级间灵活切换。
证明路由器学到的分组具有语义一致性（按退化组合聚类），且多粒度容量被真实利用而非坍缩。
展示稠密 DR 图在真实空间变化退化（ReLoBlur 运动模糊、DPDD 散焦模糊、FoundIR 雾）上的响应图，黑/灰表示退化强度高低，可见模糊集中在运动区域、散焦随深度变化、雾呈空间渐变。
直观证明稠密 DR 图确实捕获空间非均匀退化，是区域感知路由设计合理性的可视化依据。
列出 CDD-50 五个退化阶共 50 个测试组合：每阶 10 种组合，用 N(噪声)、B(模糊)、J(JPEG)、R(雨)、S(雪)、H(雾)、I(修补)、RL(Richardson-Lucy)、RG(振铃)、RS(缩放) 等缩写表示，含混合雨雾 RH 与雪雾 SH。
CDD-50 基准的完整定义，复现评估与理解退化空间广度（一到五阶复合）的必备表格。
单退化设定七任务结果：UniRestorer++ 在去雨 40.35、去雾 35.51、去噪 31.48、去模糊 31.59、低光 24.64、除雪 30.66、压缩伪影去除 31.48 dB 上全部最佳，3T/5T/7T 加权平均 35.78/32.71/32.24 dB，全面超过 AirNet、PromptIR、InstructIR、DaAIR、MoCE-IR 与 UniRestorer。
证明方法在经典单退化设定上不牺牲基线性能，是与通用修复 SOTA 的主对比表之一。
CDD-11（11 个一至三阶退化子集）结果：UniRestorer++ 平均 30.31 dB，高于 MoCE-IR 29.05、OneRestore 28.47、UniRestorer 30.02，11 个子集全部最佳，低光类子集提升最明显（L-H 32.66 对 MoCE-IR 29.93）。
验证三退化设定下的领先地位，且与 OneRestore 的官方设定对齐，便于社区比较。
CDD-50 五退化结果：分布内/分布外平均 26.54/23.46 dB（UniRestorer 26.04/23.09、MoCE-IR 25.28/22.53），一阶到五阶逐列领先，且退化阶数越高、分布外差距越能体现方法的稳健性。
展示方法在最宽退化空间上的表现，其分布外列直接支撑『对未见退化参数更稳健』的论点。
真实世界零样本对比：单退化设定训练的 UniRestorer++ 在 SIDD 24.85、RealBlur-J 26.25、DPDD 23.90、RealRain 29.95、RealSnow 27.80、WeatherStream 22.55、FoundIR 24.05 dB 上全部最佳，OneRestore 与 MoCE-IR 在部分真实集上甚至失效（如 SIDD 11.46/15.96）。
证明层次化训练带来最强的合成到真实泛化能力，是零样本结论的核心表格。
512×512 输入在单张 A6000 上 100 次推理平均：UniRestorer++ 176M 参数、1255G FLOPs、0.515s，相对 UniRestorer（171M/1156G/0.484s）仅增 2.9%/8.6%/6.4%，远小于 InstructIR 但性能更高。
说明多粒度路由的开销极小、top-1 激活让容量扩展几乎不增加推理成本，是『可扩展』主张的效率证据。
154M→2.9B 六个层次变体相对各行基线的提升：分布内一阶最多 +0.94 dB，真实世界提升更大——SIDD 最高 +14.78、RealBlur-J +4.39、FoundIR +2.29 dB，且所有列随参数增长单调改善，无饱和迹象。
缩放实验的完整数据表，逐行展示每个测试集上容量增长的边际收益，是缩放结论的定量支撑。
2.9B 模型零样本/一样本/五样本与专家模型对比（各重复五次报均值±标准差）：五样本在 RealRain 44.06、RealSnow 33.28、DPDD 26.28、WeatherStream 23.72 dB 超过专家，SIDD 39.26 仍低于 NAFNet 40.30，17 个测试集中 14 个被超越。
量化少样本迁移能力，说明大模型预训练加极少量目标数据即可逼近或超过专用模型。
FoundIR 11 个退化子集上的一/五样本对比：五样本在噪声 41.89、雨滴 37.22、雨 37.10、雨+雾 26.81 dB 等多数子集超过 FoundIR 原结果（如雨滴 29.74），仅 B+J、B+N+J 等少数组合略逊。
补充 FoundIR 全空间上的少样本结果，展示层次模型作为基础模型的适配潜力与边界。
上半部分：单 DER 组数从 1 到 16，分布内 PSNR 22.06→24.30 dB 持续提升但分布外在 4 组（18.49）后不再受益；下半部分：多粒度配置中三层 {1,4,8} 同时取得最优的 24.46/19.45 dB，加第四层 {1,4,8,16} 收益递减。
核心消融表，证明『单一粒度无法兼顾分布内特化与分布外泛化』这一方法动机，并确定层次配置。
三行递进消融：UniRestorer 基线（图像级 DR 全局路由）七任务平均 31.81 dB；换稠密 DR 但空间平均后 32.03；保留空间信息做区域感知路由后 32.24，其中去雾 34.94→35.51、去模糊 30.86→31.59 dB 提升最大。
逐项分离稠密 DR 与区域感知路由各自的贡献，证明空间变化退化是主要受益场景。
损失消融：仅 ℓ1 时分布内/外 24.14/18.37 dB；加退化分布负对数似然 L_dg 后 24.35/18.76；再加 GER 负载均衡 L_aux 后 24.46/19.45，分布外收益（+1.08 dB）大于分布内（+0.32 dB）。
说明不确定性学习与负载均衡两个训练目标的必要性，尤其在分布外泛化上的价值。