软化价值学习：离线目标条件强化学习中的几何正则化框架 Physics Informed Viscous Value Representations
用局部空间期望代替Eikonal微分约束，在离线GCRL中实现稳定的距离几何正则化
前置知识
离线目标条件强化学习（Offline GCRL）
目标条件强化学习（Goal-Conditioned RL, GCRL）是一类学习策略 $\pi(a|s,g)$ 使智能体从当前状态 $s$ 到达任意目标状态 $g$ 的强化学习方法。离线设定意味着训练数据来自一个固定的、预先收集的数据集 $\mathcal{D}$，不允许与环境进行在线交互。目标条件价值函数（Goal-Conditioned Value Function, GCVF）定义为 $V^\pi(s,g) = \mathbb{E}_{\tau \sim p^\pi(\tau|s_0=s,g)} \sum_{t=0}^{T} \gamma^t r(s_t, a_t, g)$，它同时充当策略提取的评论家和规划的指南。在稀疏奖励下（如简单的指示性奖励），如何为 $V(s,g)$ 提供有效的结构化归纳偏置是核心难题。
本文的方法直接作用于离线 GCRL 中的 GCVF 学习，理解这一点是把握'为什么需要结构化偏置'的前提。
Eikonal方程与物理信息神经网络（PINN）
Eikonal方程是非线性一阶偏微分方程 $||\nabla V(s,g)|| = 1$（或更一般的形式 $||\nabla V|| = c(s,g)$），源自 Hamilton-Jacobi-Bellman（HJB）最优性原理，描述连续空间中的最短路径（测地线）几何。物理信息神经网络（PINN, Physics-Informed Neural Networks）将 PDE 残差作为软约束加入损失函数 $\mathcal{L} = \mathcal{L}_{\text{data}} + \lambda \mathcal{L}_{\text{PDE}}$，用于近似 PDE 解。然而在离线 RL 中，由于数据覆盖稀疏、状态-动作分布偏移以及高维复杂运动学，PDE 残差的点态约束（即对每个 $(s,s')$ 强制 PDE 成立）会导致数值不稳定。
本文的 MVL 方法正是针对基于 Eikonal 的 PINN 在高维离线 RL 中'数值不稳定'的痛点提出，理解 Eikonal 与 PINN 的工作机制是理解 MVL 创新点的关键。
隐式价值学习与GCIVL
隐式 Q 学习（IQL, Implicit Q-Learning）通过 expectile 回归避免对分布外动作的查询，GCIVL（Goal-Conditioned Implicit Value Learning）将其扩展到目标条件设定。GCIVL 使用 dual-goal 表示同时建模 $V(s,g)$ 中'过去到未来'的时间结构。代表 DUAL+MVL 是本文的强基线，在 OGBench 的 cube-single 任务上达到 89%，加 MVL 后提升到 91%。
MVL 设计为可与 GCIVL、IQL 等隐式价值方法即插即用的正则化项，理解这种模块化设计是把握'方法定位'的关键。
Mollifier（软化子/磨光核）
Mollifier 是 PDE 理论中一种标准的平滑化工具：给定一个紧支撑的非负光滑核 $\rho_\delta(x)$ 满足 $\int \rho_\delta = 1$，函数 $f$ 的 mollification 定义为 $(f * \rho_\delta)(x) = \int f(x-y)\rho_\delta(y) dy$。它能在保持大尺度结构的同时衰减小尺度不规则性，常用于为非光滑函数构造弱解。本文将这一思想创新性地迁移到价值函数的几何约束上：用 $\rho_\delta(s'|s)$ 加权局部距离约束，使约束从'逐点严格成立'变成'在局部邻域上以期望成立'。
Mollifier 是 MVL 名称的来源，理解其作为'弱约束积分'的数学本质是理解为何该方法比 Eikonal 更稳定的核心。
测地线/拟度量（Quasimetric）结构
在最优控制中，最优价值函数 $V^*(s,g)$ 自然构成测地线（最短可行路径），具有三角不等式 $V(s,g) \geq V(s,s') + V(s',g)$ 的结构。Quasimetric 是对距离度量的弱化：非对称但满足三角不等式。MVL 利用这个性质导出局部空间约束 $V(s',g) - [c(s,g)\Delta t + o(\Delta t)] \leq V(s,g)$，从而将价值学习转化为保持局部准度量一致性的问题。
三角不等式是 MVL 正则化项的数学基础，理解它能帮助读者把握'为什么局部空间约束的累积能反映测地线结构'。
研究动机
离线目标条件强化学习（Offline GCRL）需要从静态数据集中学习目标到达策略，核心瓶颈在于 GCVF $V(s,g)$ 的估计质量差。在稀疏奖励和有限状态-动作覆盖下，单纯依赖时间差分（TD）递归的标准参数化方法（如普通 MLP 价值网络）会产生不准确、缺乏结构信息的值估计。现有物理信息方法——例如基于 Eikonal 方程 $||\nabla V|| \approx 1$ 的正则化 [1, 13, 14]——将 HJB 最优性原理的局部距离一致性以点态偏微分形式强加到价值函数上。问题在于：第一，PINN 在高维、稀疏数据下数值不稳定 [19, 20, 21]；第二，点态约束要求对每个 $(s,s')$ 精确计算一阶梯度并强制 PDE 成立，对噪声敏感且不鲁棒；第三，复杂运动学和接触动力学下局部微分结构本身难以准确估计。在 OGBench 基准 [49] 的 cube-double、puzzle-4x4 等高维操作任务上，Eikonal 基线 DUAL+EIK 的成功率常跌至 0-3%，cube-double 仅 1%，scene-noisy 直接归零，说明微分约束在数据稀疏时几乎完全失效。
本文的目标是本文提出 Mollified Value Learning（MVL），核心目标是为离线 GCRL 中的价值函数学习引入一种稳定、计算简单且无需显式微分运算的测地线几何归纳偏置。具体目标包括：（1）将局部距离一致性从'点态偏微分约束'重新表述为'局部空间分布上的期望约束'，避免一阶梯度计算；（2）实现与现有最强的物理信息基线（Eikonal [1]）相当甚至更优的成功率；（3）在数据噪声和真实机器人平台上验证其鲁棒性。
与已有工作不同的是，作者观察到弱监督（weak-supervision）范式 [22, 23, 24] 在神经 PDE 求解中已通过积分形式和随机松弛成功替代了点态 PINN 约束，但这一思路在基于 PDE 的价值正则化中尚未被引入。本文的关键切入角度是把最短路径几何约束重新解释为'局部空间测度上的期望'，使目标函数充当空间软化子（spatial mollifier），从而无需昂贵的微分算子即可在局部邻域上累积一致性约束。这一软化形式带来三大优势：（a）数值上规避一阶梯度的不稳定性；（b）天然对局部噪声取平均，形成几何低通滤波器；（c）实现上只需在状态 $s$ 周围采样 $N$ 个邻居 $s'_i \sim \mathcal{N}(s, \delta^2 I)$ 计算经验期望即可，无需求解 PDE。
核心方法
MVL 的整体思路可以一句话概括：把 Eikonal 类型的'逐点距离一致性约束'替换为'在状态局部邻域上的积分一致性约束'。在标准 PINN 设定中，Eikonal 通过 $\mathcal{L}_{\text{PDE}} = \mathbb{E}[(||\nabla V(s,g)|| - c(s,g))^2]$ 对每个 $s$ 都强制价值梯度范数等于运行成本；而 MVL 改用一个软化形式 $R_\delta[V](s,g) := \int \Phi(V,s,s',g) \rho_\delta(s'|s) ds'$，其中 $\Phi(V,s,s',g) := V(s',g) - V(s,g) - c(s,g)||s'-s||$ 度量从 $s$ 出发到 $s'$ 转移时局部测地线不等式 $V(s,g) \geq V(s',g) - c(s,g)\Delta t$ 的违反量，$\rho_\delta$ 是半径 $\delta$ 内的局部转移核。由于在 $\Delta t$ 很小时 $\Delta t \propto ||s'-s||$，且代价 $c(s,g)=1$，这一项直接反映'走一小步所需的代价是否小于价值差'。技术上 MVL 的总损失 $\mathcal{L}_{\text{MVL}}(\theta) = \mathbb{E}_{s,g}[\text{ReLU}(R_\delta[V_\theta](s,g))^2]$ 通过 $\text{ReLU}$ 截断负值（因为不等式允许 $V(s,g)$ 略大于右端），与标准 TD/IQL 损失直接相加，无需修改底层 RL 算法。直觉上 MVL 像在每个状态周围糊一层'几何雾'，让价值场在局部区域平滑地保持准度量结构，而不是被单点噪声钉死。
MVL 与已有物理信息价值学习方法（如 [1, 13] 中的 Eikonal、HJB）的本质区别在于：用'局部空间测度上的期望'取代'点态偏微分约束'。Eikonal 路线要求 $||\nabla V|| \approx c(s,g)$ 在每个 $s$ 处严格成立，这等价于对 $V$ 施加一种硬几何模板；MVL 则只要求'在 $\delta$ 邻域内测地线不等式的平均违反量为零'，这是一种弱化、积分形式的几何归纳偏置。这一转换带来三个本质差异：（1）Eikonal 需用自动微分计算 $\nabla_\theta V_\theta(s,g)$，计算和数值上都更昂贵；MVL 只需对 $V_\theta(s',g)$ 做前向评估，$N$ 次邻居采样即可，$\delta$ 和 $N$ 都是普通超参（论文用 $N=5$、$\delta=10^{-1}$ 等）。（2）Eikonal 对单点过渡噪声高度敏感——某个错误 $(s,s')$ 就会使梯度场大幅抖动（论文 Figure 3 中 DUAL 原始值场有'严重抖动'，加 Eikonal 后仍未完全消除），而 MVL 通过对 $\rho_\delta$ 加权平均天然形成低通滤波。（3）Eikonal 隐含假设 $V$ 沿任何方向都可微且梯度有界，对高维稀疏数据常不稳定；MVL 不需要 $V$ 的可微性，只关心局部期望，因此可在视觉/潜空间等非欧几里得结构下施加弱约束。
方法步骤详情
MVL 作为可插拔的正则化项，加在任意目标条件值函数 $V_\theta(s,g)$ 上。完整训练流程如下： 第一步，确定参数化与基线算法。本文沿用 GCIVL [8] 的 expectile 回归风格，配合多种表示学习头（Original、VIB [50]、VIP [4]、TRA [51]、BYOL [52]、DUAL），MVL 仅作为额外的正则项加入； 第二步，定义局部违反函数 $\Phi(V_\theta, s, s', g) = V_\theta(s',g) - V_\theta(s,g) - c(s,g) ||s'-s||$。论文在 $c(s,g)=1$、$\Delta t \propto ||s'-s||$ 的设定下，使该项退化为 $V_\theta(s',g) - V_\theta(s,g) - ||s'-s||$； 第三步，构造 mollified 残差 $R_\delta[V_\theta](s,g) := \int \Phi(V_\theta, s, s', g) \rho_\delta(s'|s) ds'$，其中 $\rho_\delta$ 是半径 $\delta$ 内的局部转移核（满足归一、非负）。 第四步，经验近似。在模型无关离线设定中，对每个状态 $s$ 从 $\mathcal{N}(s, \delta^2 I)$ 采样 $N$ 个邻居 $\{s'_i\}_{i=1}^N$（论文中 $N=5, 10, 20, 25$ 等），用 $R_\delta \approx \frac{1}{N} \sum_{i=1}^N \Phi(V_\theta, s, s'_i, g)$ 计算； 第五步，构造损失 $\mathcal{L}_{\text{MVL}}(\theta) = \mathbb{E}_{s,g \sim \mathcal{D}}[\text{ReLU}(R_\delta[V_\theta](s,g))^2]$。$\text{ReLU}$ 使不等式右端略大于左端时不产生惩罚，符合测地线方向性； 第六步，组合优化。总损失 $\mathcal{L} = \mathcal{L}_{\text{TD/GCIVL}} + \lambda \mathcal{L}_{\text{MVL}}$，$\lambda$ 是权重超参，$\delta$ 与 $N$ 同样按超参表（Table 3b）调优； 第七步（可选），扩展到真实机器人。论文在 7-DoF Franka Emika Panda 上收集 100 条演示（每条为带夹爪位姿的 7 维关节状态序列），转换为 OGBench 兼容格式后直接应用同一套损失，无需修改架构。
技术新颖性
MVL 的技术新颖性体现在四个层面。第一，理论创新：把 PDE 弱解理论中的 mollifier 概念首次系统地引入离线 GCRL 的价值正则化，给出一种无需计算梯度的弱约束形式，这是与已有 Eikonal/HJB 方法 [1, 15, 19, 20] 在数学基础上的差异化定位。第二，经验优势：在 13 个 OGBench 任务 + D4RL Kitchen 上，DUAL+MVL 在 80% 的 oraclerep 环境中超过普通 IVL，平均成功率 55% vs DUAL 49%；同时 MVL 在 cube-single-noisy 上从 0% 跃升到 99%，scene-noisy 从 0% 跃升到 53%，验证其作为'几何低通滤波器'的抗噪能力。第三，可解释性：论文用 PointMaze-Large 的值等高线消融（Figure 3）展示 MVL 显著将等高线对齐到目标方向，相比之下 DUAL 基线出现严重抖动，Eikonal 也仅部分缓解——这提供了可视化层面的因果证据。第四，部署可行性：MVL 不需要修改基线算法结构，作为即插即用正则化项即可与多种表示学习头组合，并在真实 Franka 任务上将 Reach and Grasp 成功率从 2/10 提升到 8/10、Pick and Place 从 0/10 提升到 10/10，是少有的从仿真直接迁移到真实机器人的几何正则化工作。
实验结果
论文在 OGBench 13 个 state-based 任务 + D4RL Kitchen + 真实 Franka 任务上系统评估 MVL，主要发现可归纳为四点。 **发现一：MVL 在大多数任务上一致提升基线。** 表 1（Table 1）显示 DUAL+MVL 在 13 项中大多数任务优于 DUAL：pointmaze-large 从 46±6% 提升到 77±1%（+31pp），antmaze-large 从 28±11% 提升到 39±3%（+11pp），humanoid-large 从 3±2% 提升到 7±2%（+4pp），cube-single 从 89±3% 提升到 91±1%，scene-play 从 72±6% 提升到 84±5%（+12pp），puzzle-4x4 从 23±3% 提升到 34±2%（+11pp），整体平均从 49±5% 提升到 55±4%。VIB+MVL 在 pointmaze-medium、antmaze-large、cube-double、scene-play、D4RL/kitchen-partial 等任务上均显著超过 VIB。 **发现二：MVL 在强噪声环境下展现极强鲁棒性。** 表 3a（Table 3a）显示在严重过渡噪声下，DUAL+Eikonal 几乎完全崩溃（0-1%），而 DUAL+MVL 仍能恢复可观性能：scene-noisy 从 0% 提升到 53±4%，cube-single-noisy 从 0% 提升到 99±1%，cube-double-noisy 从 1% 提升到 30±3%，puzzle-4x4-noisy 从 0% 提升到 24±1%。这直接验证了 MVL 的'几何低通滤波'假设。 **发现三：MVL 在与层级策略结合时与 Eik-HIQL 相当或更优。** 表 2（Table 2）显示在 point-nav-giant 上 DUAL+MVL 达到 77±7% vs DUAL+EIK 的 79±3%，在 ant-nav-large 上 DUAL+MVL 39±3% 略低于 DUAL+EIK 的 46±3% 但 HIQL+MVL 92±2% 显著高于 EIK-HIQL 86±2%，cube-single-play 上 DUAL+MVL 91±1% 大幅超过 DUAL+EIK 的 1±0%（+90pp），scene-play 84±5% 超过 DUAL+EIK 13±2%（+71pp）。这表明 MVL 不会因 Eikonal 风格的显式约束缺失而牺牲性能。 **发现四：真实机器人验证有效。** 在 7-DoF Franka Panda 上，Reach and Grasp 任务成功率从 2/10 提升到 8/10，Pick and Place 从 0/10 提升到 10/10，Viser 可视化（Figure 5）显示加入 MVL 后末端执行器路径（teal）相比 DUAL 基线（purple）更准确地朝向目标对齐。 **消融与超参敏感度（Table 3b）：** 在 pointmaze-large 上，邻居数 $N=1$ 时成功率为 57±3%，$N=5$ 提升到 77±2%，$N=20$ 维持 77±2%，$N=25$ 略降至 77±3%；半径 $\delta$ 从 $10^{-4}$ 到 $10^{-1}$ 时成功率分别为 55±2%、57±3%、77±3%、79±2%，$\delta=10$ 时降至 64±4%，表明过大或过小的邻域都会损失几何信息。 **视觉领域（Table 7，文中提及）：** 在 Powderworld-hard 上 MVL 10% vs 基线 7%，提升有限，作者明确指出这是因为潜空间非欧几里得，弱几何假设可能不充分。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| pointmaze-large（导航） | 成功率（4 seeds） | DUAL+MVL 77±1% | DUAL 46±6% | +31pp，提升 67% |
| antmaze-large（导航） | 成功率 | DUAL+MVL 39±3% | DUAL 28±11% | +11pp，提升 39% |
| humanoid-large（21-DoF 导航） | 成功率 | DUAL+MVL 7±2% | DUAL 3±2% | +4pp，绝对值翻倍 |
| cube-single（机械臂抓取） | 成功率 | DUAL+MVL 91±1% | DUAL 89±3% | +2pp，与 DUAL+EIK 的 1±0% 形成 +90pp 巨大差距 |
| scene-play（场景操作） | 成功率 | DUAL+MVL 84±5% | DUAL 72±6% | +12pp |
| puzzle-4x4（4x4 拼图） | 成功率 | DUAL+MVL 34±2% | DUAL 23±3% | +11pp，提升 48% |
| cube-single-noisy（强噪声抓取） | 成功率 | DUAL+MVL 99±1% | DUAL+EIK 0±0% | +99pp，从完全失败到几乎完美 |
| scene-noisy（强噪声场景） | 成功率 | DUAL+MVL 53±4% | DUAL+EIK 0±0% | +53pp |
| D4RL/kitchen-partial（厨房混合任务） | 成功率 | VIB+MVL 85±11% | VIB 75±11% | +10pp |
| Franka Reach and Grasp（真实机器人） | 10 次试验成功率 | MVL 8/10 | 无正则化 2/10 | +6/10，提升 4 倍 |
| Franka Pick and Place（真实机器人） | 10 次试验成功率 | MVL 10/10 | 无正则化 0/10 | +10/10，从全失败到全成功 |
| OGBench 13 任务平均（GCIVL+表示） | 平均成功率 | DUAL+MVL 55±4% | DUAL 49±5% | +6pp，提升约 12% |
局限与改进
作者在 Limitations 部分明确指出三点： （1）**几何假设限制**：当前实现使用欧氏距离 $||s'-s||$ 和各向同性高斯核 $\rho_\delta \sim \mathcal{N}(s, \delta^2 I)$，这并不是为了建模可行动力系统或可行轨迹，而是定义 mollification 算子的空间支撑。这意味着 MVL 只能对一类欧氏/弱欧氏状态空间给出准确的距离近似，不能处理非完整约束（如汽车模型的转弯半径）和复杂接触动力学（操作任务中的摩擦、碰撞等）。 （2）**非精确 HJB 解**：MVL 给出的是'距离约束的近似'而非'严格 HJB Hamiltonian 守恒'，因此可能存在一类 MDP 无法被这种简化几何归纳偏置完全捕捉到。 （3）**视觉/潜空间受限**：在 Powderworld 等视觉任务上，MVL 在 Impala 潜空间施加一致性只能带来 10% vs 7% 的微弱提升，因为潜空间不严格欧氏，弱几何假设可能不足。 此外，从我自己的观察看：MVL 的性能对 $\delta$ 和 $N$ 都较敏感（Table 3b 显示 $\delta=10$ 时掉到 64%），缺乏自适应半径机制；对所有任务固定 $c(s,g)=1$ 的简化在 reward shaping 非平凡时可能不再成立；Mollifier 形式虽然稳定但对全局几何结构（如多模态测地线）可能过度平滑。
独立分析的弱点
独立分析 MVL 的具体弱点如下： （1）**固定单位代价假设过强**。论文假设 $c(s,g)=1$，使 $\Phi$ 退化为 $V(s',g) - V(s,g) - ||s'-s||$。在 reward shaping 不平凡（例如抓取成功有大幅奖励、障碍物有大幅惩罚）的真实任务中，运行成本不均匀，固定为 1 会破坏'距离一致性'的语义基础，导致优化方向偏离。改进方向：让 $c(s,g)$ 可学习，例如用一个小网络从 $s, g$ 预测期望单步代价；或者用归一化的优势函数 $A(s,g) = r(s,g) + \gamma V(s',g) - V(s,g)$ 替换固定项。 （2）**邻域半径 $\delta$ 全局共享**。Table 3b 显示 $\delta$ 从 $10^{-4}$ 到 $10$ 性能差异可达 24pp，且最优值与状态空间维度、密度强相关。论文在所有任务上手动调 $\delta$。改进方向：让 $\delta$ 自适应，例如 $\delta(s) \propto \sigma(\text{MLP}(s))$ 学习一个依赖于状态局部密度的带宽；或者用局部数据密度的逆（k-NN 距离估计）作为 $\delta$。 （3）**各向同性高斯核的局限性**。当前 $\rho_\delta(s'|s) = \mathcal{N}(s, \delta^2 I)$ 在状态空间各方向尺度差异大时（如同时包含关节角度、末端位置），Mollifier 会'错误地拉宽/压窄'几何结构。改进方向：使用马氏距离 $||s'-s||_M$ 或在 PCA 白化后的空间采样邻居。 （4）**只对正向不等式有 ReLU 截断**。当前 $\text{ReLU}$ 只惩罚 $V(s',g) - V(s,g) - ||s'-s|| > 0$ 的方向违反，但当 MVL 在某些样本上 $V(s',g) - V(s,g) \ll -||s'-s||$（即价值场远低于应有距离）时，没有对称的惩罚机制。改进方向：使用双向的 hinge loss 或对称软约束。 （5）**缺乏与值函数 critic 之间的循环一致性**。MVL 只正则化 $V_\theta$ 自身，没有约束 $V_\theta$ 与 critic（如 $Q_\theta(s,a,g)$）之间的相容性，理论上可能产生 critic 估计精确但价值几何不一致的反例。
未来方向
作者在 Conclusion 中明确提出的方向是：**将 MVL 扩展到可学习或流形感知的表示空间**，特别是在像素域中欧氏假设在潜空间不成立的情况下。具体可延伸方向包括： （1）**流形上的 mollification**。将欧氏邻域 $||s'-s|| \leq \delta$ 替换为流形上的测地球（geodesic ball），例如在预训练表示上用 diffusion map 估计局部切空间，在切空间内做 mollification。 （2）**自适应核与代价**。结合 (1) 中的改进弱点的方向 1 和 2，开发数据驱动的 $\delta(s)$ 和 $c(s,g)$，使 MVL 摆脱对任务几何的强假设。 （3）**多模态测地线**。当 $V(s,g)$ 对应多个等长最短路径时（如迷宫分叉），当前 MVL 假设单一测地线可能产生过度平滑。可以在 $\Phi$ 中加入模式选择项。 （4）**与 diffusion model 结合**。在潜空间上预训练一个 diffusion model 作为平滑先验，MVL 的 $\rho_\delta$ 改为从该 model 采样，得到动力学感知的 mollifier。 （5）**离线到在线微调**。论文工作完全离线，但 MVL 的低通滤波特性使其天然适合 online fine-tuning 场景，可作为正则化项防止在线微调时价值场发散。 （6）**理论分析**。当前论文缺乏 MVL 的收敛性、收敛速度、偏差-方差权衡的形式化分析，未来可证明在某些假设下 mollified 损失是 HJB 损失的上界或下界。
复现评估
论文**完全开源**：作者在摘要中明确给出代码地址 https://github.com/HrishikeshVish/MVL。论文附录（Table 3b 和 Table 8）中提供了 $N$、$\delta$、$\lambda$ 的全部超参表，覆盖 13 个 OGBench 任务和 4 种表示学习头（Orig、VIB、DUAL、HIQL），方便其他研究者精确复现。 **数据集与算力**：OGBench [49] 是公开基准，包含 13 个 state-based 任务（pointmaze、antmaze、humanoidmaze、cube、scene、puzzle），数据规模与格式与 GCIVL [8] 一致。仿真实验使用标准 GPU（论文未明确说明型号，但 OGBench 和 D4RL 任务计算量中等，单卡 A100/V100 应可在数日内完成所有种子）。真实机器人实验使用一台标准 7-DoF Franka Emika Panda，收集 100 条演示每任务，数据被转换为 OGBench 兼容格式（seq-to-goal），硬件门槛低。 **复现难度**：低-中。基线 GCIVL、Eikonal [1]、HIQL 等代码均已开源，MVL 仅需在其上加入 ~20 行正则化代码（采样邻居 + 计算 $\text{ReLU}$ 残差）。主要调参工作量在 $\delta$ 和 $N$，作者已给出参考表。 **潜在复现陷阱**：（a）$\delta$ 对性能影响大，建议优先在 PointMaze 上做小规模 $\delta$ 扫描；（b）$N$ 在 5-20 之间稳定但 $N=1$ 时性能下降明显；（c）真实 Franka 实验需要 ROS+Franka Interface 的额外工程量。
论文图表
