LexReward：面向法律语言模型的分类学驱动奖励框架 LexReward: A Taxonomy-Driven Reward Framework for Legal Language Models

第一步，构建分类学：专家审阅 Qwen、Llama 等模型在 LawBench 等基准上的回复并与参考答案对比，归纳错误类型，与领域知识整合成 Style（词义专业性、主观词控制、句间衔接、句式结构、搭配正确性）、Element（主体/事实/法条/裁判）、Chain（顺序/完整性/正确性/非冗余）。第二步，实现量表奖励：Style 对五个属性分别用 KL 散度（法律术语与 HowNet 情感词分布）、连接词频率绝对差、句长统计欧氏距离、3至6-gram 覆盖向量欧氏距离计算偏差 $d_k(y)$，除以校准尺度归一化，$R_{Style}(y)=-\frac{1}{|K_{Style}|}\sum_k \hat{e}_k(y)$，其中 $\hat{e}_k(y)=d_k(y)/(s_k+\epsilon)$；Element 由 DeepSeek-V4-Flash 对四个子维度各打 0-1 分取平均；Chain 有预定义步骤时规则评分，否则 LLM 按四准则评分。第三步，构造偏好数据：从 Qwen3-4B、Qwen3.5-4B、Qwen3.5-9B、Llama-3.1-8B-Instruct、gemma-4-12B-it 各采样一条回复，在同查询内构造高分对次高、高分对中分、中分对低分三类偏好对（全同分的查询丢弃），如 Element 维度得到 2244 对。第四步，训练 LexRM：以 Qwen3-8B 为骨干，用 Bradley-Terry 损失 $\mathcal{L}_{BT}^{(d)}=-\mathbb{E}_{(x,y^+,y^-)\sim P_d}\log\sigma(R_\theta^d(x,y^+)-R_\theta^d(x,y^-))$，DeepSpeed ZeRO-3、学习率 $1\times10^{-7}$、batch 32、LoRA 训练 2 个 epoch。第五步，下游应用：偏好数据做 DPO（直接从 Qwen3-8B 初始化）；先 SFT 后 GRPO，GRPO(RM) 用维度专属 LexRM 作奖励，GRPO(rule) 用结果奖励或 ROUGE；三个维度模型因任务向量余弦相似度平均不超过 0.03、最高 0.14，可用 $\theta_{merged}=\theta_0+\sum_{d\in\mathcal{D}}\lambda_d\tau_d$（$\lambda_d=1$）合并。

技术新颖性体现在四点。其一，首个中文法律奖励模型家族 LexRM，填补了法律垂直领域奖励建模的空白，实验显示通用 RM（Skywork-Reward-V2 系列）在法律三维度上系统性弱于领域专用模型。其二，Style 奖励完全基于与真实裁判文书语料（中国裁判文书网 1000 篇文书）的统计差异，包括法律术语分布 KL 散度、情感词分布、jieba 词性标注的连接词率、句长分布与 n-gram 搭配覆盖率，归一化尺度在独立的 986 篇校准集上估计，可解释且零样本即可打分。其三，偏好对按分数区间分层构造（高-次高、高-中、中-低三类），兼顾强回复间的细微差别与跨质量层级的大差异。其四，用任务向量分析证明三个维度 RM 的参数更新近似正交（余弦相似度平均 $|\cos|\le 0.03$，最高不超过 0.14），从而支持零成本的任务算术合并为单一模型，省去三倍推理开销。

具体分析几个弱点。其一，Style 奖励是纯表层的：它度量的是与裁判文书的词汇、句长、搭配统计距离，一个内容错误但措辞地道的回复可能得高分，五个特征均无语义一致性检查；改进方向是叠加法律 NLI 或引用一致性校验。其二，LLM judge 的客观性风险：Element/Chain 依赖单一 judge（DeepSeek-V4-Flash），既无多 judge 交叉验证，也未报告 judge 分数与人工标注的相关性；改进方向是多 judge 投票或与人工标注对齐校准。其三，偏好对的构造完全由量表分数决定，全部同分的查询被丢弃会引入训练分布偏移，粗粒度的高/中/低分层也可能带入噪声标签；可改为软标签或按分数差加权。其四，GRPO(rule) 与 GRPO(RM) 的对比中规则侧对 Style 用 ROUGE、对 Element/Chain 用结果匹配，两种奖励的信号密度不同，结论虽合理但维度间可比性依赖逐一配平。每个弱点都指向后续可量化的实验。

作者提出的方向：把框架扩展到其他语言与法律体系，研究分类学与奖励准则如何迁移适配；系统研究多维度统一奖励的聚合权重 $\lambda_d$ 学习、偏好数据组合与训练策略。基于本文成果可延伸：用 LexRM 的维度分数做错误诊断与可解释评估工具，定位模型在文风/要素/推理上的具体短板；将“分类学驱动奖励”模板推广到医疗、金融、代码审查等其他垂直领域；探索过程奖励与结果奖励的混合（Element 上两者信号互补）；在更大骨干（如 30B+）上验证任务向量正交性是否保持，以及把量表奖励用于推理时拒绝采样与 self-correction 的多轮优化。

复现条件较好。代码与数据已在 GitHub（thunlp/LexReward）开源；训练骨干为 Qwen3-8B，SFT/DPO/GRPO/RM 训练全部用 LoRA 配合 DeepSpeed ZeRO-3，学习率 $1\times10^{-7}$、batch 32、2 个 epoch，单节点多卡即可承担；偏好数据来源模型（Qwen3-4B/3.5-4B/3.5-9B、Llama-3.1-8B、gemma-4-12B）均为开源权重；评估数据集 CLASE、JEC-QA、LexChain、Legal∆ 均为公开学术数据集。主要障碍有两处：LLM judge 需要 DeepSeek-V4-Flash API（产生费用且评分可能随模型版本漂移），以及 Style 校准需要 1000 篇裁判文书网语料的获取与清洗；此外 CLASE-Mix 主观部分调用 GPT-4o-mini、LexChain 评测用 GPT-4o-2024-05-13，评测 API 成本也需预算。总体属于中等偏易的复现难度。