视觉等价性奖励模型：为视觉到代码任务提供细粒度视觉监督 Visual-ERM: Reward Modeling for Visual Equivalence

方法分为三个主要步骤： 步骤1：训练数据构建。从公开数据集收集图表(104K)、表格(125K)、SVG(111K)的参考图像和真实代码。通过两种方式生成不完美预测：(a) 定向编辑——使用GPT-5-mini和Qwen3-VL-235B-Instruct对真实代码注入预定义类型的错误（结构、数据、文本、样式）；(b) 自然推理——使用Qwen3-VL-8B-Instruct直接预测，产生实际RL训练中会遇到的错误分布。每个预测代码渲染为图像，与参考图像配对。然后使用GPT-5-mini对每对图像进行结构化差异标注，输出JSON格式的错误列表。 步骤2：模型训练。在Qwen3-VL-8B-Instruct基础上进行监督微调。训练目标是负对数似然损失，学习率1e-5，批大小32，训练3个epoch。 步骤3：部署应用。在RL场景中，对于每个rollout输出，渲染为图像，查询Visual-ERM获得错误集和严重程度。计算归一化奖励（将严重程度求和并归一化到0-1范围），最终奖励为渲染成功奖励加上保真度奖励。使用GRPO算法优化策略。在测试时扩展场景中，模型生成初始预测后，Visual-ERM返回结构化错误描述，策略根据反馈进行修正，迭代最多T轮。

Visual-ERM的技术新颖性体现在多个层面。首先，在奖励模型架构上，它开创了生成式判别器的范式——虽然模型是生成式的（输出文本序列），但其训练目标是判别式的（学习图像对之间的差异映射）。这与传统奖励模型（Bradley-Terry排序器或标量回归器）有本质区别。其次，在训练数据构建上，定向编辑和自然推理的双轨策略系统性地覆盖了理论错误空间和实际错误分布，这种组合在之前的工作中未见。第三，在奖励聚合上，从结构化错误到标量的可逆映射（通过求和严重程度）既保留了细粒度信息的可用性，又兼容了现有RL算法的标量奖励接口。第四，在跨任务统一上，通过共享的错误分类框架（结构/数据/文本/样式）和任务特定的提示词，实现了单一模型覆盖三种视觉到代码任务，而之前的方法要么针对单一任务设计，要么使用任务特定的奖励函数。最后，在测试时扩展应用上，利用可解释的错误描述而非标量分数来指导迭代修正，这是一种新的推理时优化范式。

基于独立分析，Visual-ERM存在以下弱点和改进方向： (1) 错误分类体系的覆盖范围：当前错误类别（结构/数据/文本/样式）虽然覆盖了主要错误类型，但可能遗漏特定领域的错误。例如在表格任务中，单元格合并错误可能跨越结构和布局两个类别。改进方向是引入层次化错误分类，允许细粒度子类别。 (2) 严重程度评分的一致性：Sc指标（严重程度评分与真值的相关性）在不同任务间波动较大（Chart 61.2，Table 74.8，SVG 59.6），表明严重程度的校准不够稳定。改进方向是引入校准损失或对比学习目标来稳定严重程度预测。 (3) 单轮评估的局限：Visual-ERM对每对图像只进行一次评估，无法捕捉修正后的改进是否足够这一动态信息。改进方向是设计迭代评估协议，让模型在多轮修正中追踪改进幅度。 (4) 对渲染器的依赖：奖励信号完全依赖于渲染器的质量。如果渲染器无法正确呈现某些视觉元素，奖励信号可能误导。改进方向是引入渲染器无关的评估路径，或在训练中加入渲染器不确定性建模。 (5) 计算效率：虽然论文报告Visual-ERM（8B）的RL训练延迟（0.17小时/步）低于DINOv2-large（0.3B，0.24小时/步），但未分析单次推理延迟。对于需要大量rollout的RL训练，奖励模型的推理效率至关重要。

论文和基于成果可延伸的未来研究方向包括： (1) 扩展到更多视觉到代码任务：论文提到UI重建和数学图表是自然扩展方向。Visual-ERM的错误分类框架（结构/数据/文本/样式）具有通用性，可以通过添加任务特定的提示词和训练数据扩展到新领域。 (2) 与更先进的RL算法结合：当前使用GRPO作为策略优化算法，但Visual-ERM的结构化输出可以支持更精细的奖励塑形（reward shaping），例如根据错误类别分配不同权重，或使用层次化奖励函数。 (3) 自举式训练数据扩展：当前依赖GPT-5-mini进行标注，但Visual-ERM本身可以作为教师模型生成新的训练数据，形成自举循环。这可能进一步提升模型能力，减少对闭源API的依赖。 (4) 与人类偏好对齐：当前训练数据由AI模型标注，但视觉保真度的最终评判标准是人类感知。引入人类反馈（如RLHF或DPO）可能进一步提升奖励信号与人类偏好的对齐。 (5) 多模态推理增强：Visual-ERM当前是纯视觉评估，但某些错误（如数据值错误）可能需要结合文本信息（如轴标签）才能准确判断。引入链式推理或多模态注意力机制可能提升细粒度错误检测的准确性。

论文在可复现性方面做得较好。代码已开源（https://github.com/InternLM/Visual-ERM），训练数据（340K实例）和评估基准（VC-RewardBench，1,335实例）将在未来公开。实验设置在附录中详细描述：Visual-ERM基于Qwen3-VL-8B-Instruct训练，学习率1e-5，批大小32，3个epoch；RL使用GRPO，学习率1e-6，批大小256，每次更新采样8个rollout。论文还提供了完整的提示词模板（附录C），支持独立复现数据生成和评估流程。 复现的主要挑战包括：(1) 训练数据构建依赖GPT-5-mini进行标注，需要API访问；(2) VC-RewardBench的构建使用了多个闭源模型（GPT-5-mini、Gemini-2.5-Pro、Gemini-3-Pro）进行标注并人工筛选，完整复现标注流程成本较高；(3) RL训练需要运行渲染器生成图像，增加了计算开销。总体而言，模型训练和评估可以复现，但数据构建流程需要较大的API成本和人工投入。