选择越多，决策越少：JEV类直接决策模型的序数尺度利用偏差 More Choices, Fewer Decisions: Ordinal-Scale Bias in JEV-like Direct-Decision Models
直接决策模型在序数任务上只用65–76%的有效候选等级，且该压缩可被BA-LoRA后训练大幅修复
前置知识
直接决策模型
指 JEV、KEV 这类不生成解释文本、而是把候选集作为输入一部分、直接返回候选概率分布与 argmax 决策的语言模型。用户给定文本、问题和候选列表，模型输出每个候选的概率，如对 NLI 返回 Entailment/Neutral/Contradiction 的分布，或对评分任务返回 Level 01–14 的分布。其特点是低延迟、输出结构化，常被用作分类器或自动评测器。
本文研究的正是这类模型的可靠性：它们形式上支持所有候选，但最终决策是否真正用满候选尺度，是全文要回答的核心问题。
香农熵与有效标签数
对分布 $r=(r_1,\dots,r_K)$，香农熵 $H(r)=-\sum_{j=1}^{K}r_j\log r_j$ 度量不确定性；取指数得到 $\exp(H(r))$ 即'有效标签数'（Hill 数），表示该分布等效占用了多少个等概率类别。若预测集中在 2 个等级，$\exp(H(p))\approx 2$，无论名义 K 多大。
本文的利用率指标 $U_{\text{arg}}$、$U_{\text{soft}}$ 和核心指标 $R$ 全部建立在 $\exp(H(\cdot))$ 上，不理解它就无法理解'候选空间压缩'如何被量化。
全变分距离（TVD）
两个离散分布的距离度量 $\text{TVD}(p,q)=\tfrac{1}{2}\sum_{j=1}^{K}|p_j-q_j|$，表示把一个分布改造成另一个所需移动的最小概率质量。它衡量分布的'形状'差异，与只比较有效支撑大小的 $R$ 互补。
论文反复强调 $R=100\%$ 不代表预测分布与金标形状相同，因此每个实验都同时报告 TVD，两者配合才能完整刻画偏差。
序数分类与语义耦合
序数任务的候选沿有梯度的尺度排列（如毒性 14 级、句对相似度 0–5 分），相邻等级语义接近，错到相邻级比错到远端代价小，常用 nMAE（归一化平均绝对误差）和 QWK（二次加权 kappa）评价。本文用'语义耦合'作序数/名义的操作性判据：相邻候选在语义上是否彼此接近。
论文的核心对照就是序数 vs 名义任务：压缩集中在语义耦合的序数尺度（R 仅 65–76%），而 SNIPS、DBpedia 等名义任务达 87–102%，这一对比是论证偏差本质的关键证据。
LoRA 与 BA-LoRA 后训练
LoRA 冻结主干权重，只在注意力/MLP 等模块注入低秩适配器（本文 rank=16）做参数高效微调。BA-LoRA（Bias-Alleviating LoRA）在其上加入偏差感知目标：监督决策损失之外，加对原始冻结模型的一致性项（$\lambda_{cons}=0.025$，温度 2.0）、多样性项（$\lambda_{div}=0.005$）和 SVD 正则（$\lambda_{svd}=0.005$）。
第 4.4 节用 BA-LoRA 证明候选空间压缩是'可学可改'的：32,000 条样例就把 R 从约 47% 提到约 86%，这是全文'偏差可修复'结论的实验基础。
研究动机
JEV 1.13 和开源 KEV（0.8B/4B/9B，基于 Qwen3.5）等直接决策模型把文本转成低延迟的结构化标签和分数，被广泛用作分类器和自动评测器。但可靠性不只要求单条判断正确，还要求忠实使用用户提供的决策尺度。作者的切入点是 ANLI：JEV 1.13 在全部 6,400 条开发+测试样例上准确率 74.95%，却把 38.8% 的预测和 1,603 个错误中的 51.3% 都给了 Neutral，而金标几乎均衡（Entailment 2,140 / Neutral 2,136 / Contradiction 2,124），且 Neutral 在每个候选位置上出现约三分之一、被选比例 37.2–39.6%，说明这既不是数据不均衡也不是固定槽位偏好能解释的。已有工作记录了标签先验、选项顺序、评测器的冗长/自偏好等偏差，Stureborg 等也发现生成式评测器稀疏使用 1–100 分制，但'直接决策模型是否系统性欠用序数尺度'此前没有系统答案——单看准确率会完全掩盖这种总体层面的尺度滥用。
本文的目标是本文的目标是把这一现象升级为可测量、可归因、可修复的可靠性问题。具体而言：（1）提出'序数尺度利用偏差'的形式化定义——最终决策占用的有效序数等级系统性少于同一总体中金标占用的有效等级，并给出以熵为基础的度量 $R=\exp(H(p))/\exp(H(q))$；（2）在 40 个数据集（36 序数 + 4 名义）、每集 5,000 条、共 20 万条样例的面板上，对 JEV 1.13 和三个 KEV 模型系统测量压缩程度；（3）通过候选顺序随机化和同题尺度细化实验，把压缩与准确率低、金标不均衡、固定位置偏差、候选数多这四种相邻解释区分开；（4）用 BA-LoRA 后训练检验压缩是否可学习、可修改，并考察其向 28 个未见序数数据源的迁移能力是否依赖模型规模。
与已有工作不同的是，本文的独特之处在度量对象和归因方式。以往偏差研究多针对'固定偏好'：偏好某个标签（Neutral/低分）、偏好某个展示位置、偏好冗长答案或自己的输出；而本文发现偏好的'锚点'随任务和模型改变（同一模型在不同尺度上偏好不同区域，不同模型在同一任务上锚点也不同），共同点不是偏向某个具体值，而是'有效决策空间被压缩'。为此作者构造金标归一化的利用率 $R$：比较预测分布与金标分布的熵有效支撑而非绝对熵，天然剔除金标不均衡的干扰；用按候选文本（而非位置）映射回标签的随机置换实验分离位置敏感性与压缩；用在同 1,400 条样例、同一源分数上把 K 从 2 细化到 14 的等频分箱实验分离候选数与压缩；再用平均候选概率的 $U_{\text{soft}}$ 与 argmax 层面的 $U_{\text{arg}}$ 对比，证明压缩发生在最终决策边界而非概率表征。这套'诊断—解耦—修复'组合在直接决策模型上是首次。
核心方法
直觉上，一个模型可以像'90% 的日子都预报晴天'的天气预报员：单条判断常对，总体上却只用了尺度的一小段。技术上作者搭建三层实验。第一层是观测：40 个数据集（36 序数、4 名义）、每集 5,000 条按金标分层抽样，对 4 个模型计算 argmax 利用率 $U_{\text{arg}}$、金标相对利用率 $R$、TVD，以及概率侧软利用率 $U_{\text{soft}}$、归一化熵、top-1 margin 和序数指标 nMAE/QWK。第二层是干预：（a）在 6 个序数 + 3 个名义数据集上对每条样例生成两个随机候选排列，检验位置偏差能否解释压缩；（b）在 3 个连续分数来源上固定同样的 1,400 条样例，用等频/等宽分箱把 K 从 2 细化到 14，顺序随机化且金标位置均衡，检验候选数的作用，并用 DBpedia 随机子集作名义天花板参照。第三层是修复：从基线 R<70% 的 8 个强压缩来源各取 4,000 条（与评测面板双重隔离），对 KEV-0.8B/4B 做 BA-LoRA 后训练，观测监督尺度上的恢复与向 28 个未见序数来源的迁移。
核心创新是把'候选空间压缩'确立为与准确率正交的总体级可靠性指标，并用 $R=\exp(H(p))/\exp(H(q))$ 使其可比较、可归一：$p$ 是 argmax 决策的经验分布，$q$ 是金标分布，$\exp(H(\cdot))$ 是'有效标签数'，$R=100\%$ 表示决策占用的有效等级数与金标相同。与已有工作的本质区别有三。先前关于标签偏差、选项顺序的研究在单条样例层面解释'为什么选错'，本文问'为什么整个尺度只用了一部分'，且证明锚点因任务、模型而异，不是某个固定标签。其次，解耦设计：随机置换后按候选文本映射，若压缩只是位置偏好应大幅减弱，实际序数 R 只从 55–65% 升到 68–74%，残差巨大；同题细化中金标有效覆盖保持 97% 以上而模型 R 从约 96% 跌到 26.5–74.9%，说明压缩随语义耦合的邻近等级增多而加剧。最后，$U_{\text{soft}}$ 与 $U_{\text{arg}}$ 的分离显示：KEV-4B/9B 在所有 K 下 $U_{\text{soft}}\ge 96\%$，而 top-1 margin 从 50–54 个百分点跌到 4–6 个百分点——模型'知道'所有候选，只是在 argmax 边界反复坍缩，这是决策边界瓶颈而非表征缺失。
方法步骤详情
步骤一，构建面板：40 个公开数据集各抽 5,000 条（按金标分层、固定种子），36 个依语义耦合标为序数（K=3–14，覆盖情感、毒性、评分、翻译质量等），4 个标为名义（SNIPS/Yahoo/SCOTUS/DBpedia，K=7–14）。步骤二，查询模型：JEV 1.13 走托管 System One 端点，KEV-0.8B/4B/9B 为开源 Qwen3.5 权重；输入文本+候选列表，按候选文本把概率映射回语义标签，指标与展示位置无关。步骤三，计算决策层指标（$U_{\text{arg}}$、$R$、TVD）、序数指标（nMAE、QWK）与概率层指标（$U_{\text{soft}}$、归一化熵、top-1 margin），按数据集宏平均。步骤四，顺序干预：9 个数据集每条样例生成 2 个随机排列，报告排列间标签一致率、概率 TVD 与宏准确率变化。步骤五，尺度细化：3 个连续分数来源各固定 1,400 条，等频与等宽分箱，$K\in\{2,\dots,14\}$，顺序随机、金标位置均衡，DBpedia 随机子集作天花板参照。步骤六，BA-LoRA：冻结 Qwen3.5 主干，rank-16 LoRA 作用于全部注意力/MLP/投影层，目标为决策损失加一致性/多样性/SVD 正则（λ=0.025/0.005/0.005），2 epoch、1,000 步、有效批 64，评测与训练样本按来源 ID 和文本哈希双重隔离。
技术新颖性
从技术新颖性看，本文的贡献不是新架构而是新的测量科学。首先，把生态学中的有效多样性（Hill 数 $\exp(H)$）引入 LM 决策审计，构造金标归一化利用率 $R$，使不同 K、不同金标分布的数据集可在同一把尺子下比较——解决'预测集中究竟因数据集中还是模型偷懒'的归因难题。其次，三项干预实验构成完整排除链：随机置换（排除固定位置）、同题细化（排除候选数与样例难度）、$U_{\text{soft}}$/$U_{\text{arg}}$ 与 margin 的联动分析（排除概率表征坍缩），把'决策边界瓶颈'逼成唯一剩下的解释。第三，修复实验把偏差从'描述'推进到'干预性因果'：BA-LoRA 后 $U_{\text{arg}}$ 提高 38.2–38.7 个百分点而 $U_{\text{soft}}$ 只变动 0.9–6.3 个百分点，说明训练改变的正是'哪个候选赢得 argmax'而非把分布抹平；且 4B 模型能向 28 个未见来源迁移（R 73.2%→81.3%）而 0.8B 反而退化（75.0%→72.7%），为'偏差是学出来的而非架构必然'提供了证据。
实验结果
第一，主面板（Table 1）：36 个序数数据集上四模型R 仅 67.2–75.8%，TVD 29.8–37.5%，准确率 28.8–37.7%；4 个名义任务 R 达 86.6–101.9%、TVD 6.0–18.6%。如 RealToxicity：JEV 在均衡 14 级任务上把 66.2% 的预测给了 Level 01（R=25%）；序数 R 与 K 的 Spearman ρ 为 −0.66 至 −0.77；规模提升准确率（28.8%→35.0%）却不单调改善利用率（R 68.9%→67.2%→73.2%），锚点亦随任务而变。第二，顺序随机化（Table 2）：随机排列间序数标签一致率仅 58.1–59.9%（KEV）及 JEV 的 74.4%，概率 TVD 移动 9.4–10.1 个百分点（名义仅 2.4–5.1），宏准确率变化 ≤0.55 个百分点，R 升至 67.7–73.9% 后仍有大残差。第三，同题细化（Figure 3）：等频分箱下 K=2→14，R 跌至 54.5%（JEV）、26.5%（0.8B）、68.4%（4B）、74.9%（9B），金标有效覆盖保持 97–99.8%，top-1 margin 从 50–54 跌至 4–6 个百分点；DBpedia 参照全程 R≈100%。第四，BA-LoRA（Table 3）：8 个训练来源上 R 47.4%→86.8%（0.8B）、46.4%→85.6%（4B），TVD 降至约 19%，准确率 +13.0/+15.3 个百分点；全 36 序数集 QWK 0.370→0.488、0.456→0.606；未见来源迁移 4B 正向（R 73.2%→81.3%）、0.8B 退化（75.0%→72.7%）。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 36 个序数数据集（四模型宏平均） | 金标相对利用率 R | 67.2%–75.8% | 理想值 100%（有效支撑等于金标） | 压缩缺口 24.2–34.7 个百分点（$D_R$），呈系统性欠用 |
| 4 个名义数据集（SNIPS/Yahoo/SCOTUS/DBpedia） | R / TVD | 86.6%–101.9% / 6.0%–18.6% | 理想值 100% | DR 仅 1.5–13.4 个百分点，与序数任务形成鲜明对照 |
| ANLI（6,400 条，JEV 1.13） | Neutral 预测占比 / 错误占比 | 38.8% / 51.3% | 金标均衡（Neutral 占 33.4%），各位置均衡 | 准确率 74.95% 下仍偏斜 +5.4pp（预测）/ +17.9pp（错误） |
| 受控尺度细化 K=2→14（等频分箱，同 1,400 条） | R 端点变化 | 四模型跌幅 21.2–50.9 个百分点，最低 KEV-0.8B 26.5% | 金标有效覆盖保持 97.0%–99.8% | 证明压缩随粒度细化加剧而非数据/难度变化 |
| BA-LoRA 后训练（8 个监督来源，KEV-0.8B） | R / TVD / 准确率 | 47.4%→86.8% / 54.7%→19.7% / +13.0pp | 训练前 47.4% / 54.7% / 15.5% | R +39.4pp，TVD −35.0pp，全部 8 个来源均改善 |
| BA-LoRA 后训练（8 个监督来源，KEV-4B） | R / TVD / 准确率 | 46.4%→85.6% / 52.9%→19.0% / +15.3pp | 训练前 46.4% / 52.9% / 17.3% | R +39.2pp，TVD −33.9pp |
| 向 28 个未见序数来源迁移（KEV-4B vs 0.8B） | R | 4B：73.2%→81.3%；0.8B：75.0%→72.7% | 各自训练前水平 | 迁移正向仅出现在 4B，揭示规模依赖的可修复性 |
局限与改进
作者承认的局限包括：语义耦合只是二元的序数/名义分类，没有耦合强度的连续度量，'为什么序数任务更压缩'仍停留在任务类型层面的关联；同题细化只覆盖 3 个序数来源，名义参照 DBpedia 上所有模型接近天花板，只能证明'候选多本身不必然导致压缩'，不是难度匹配的对照；位置干预每条样例只有两个随机排列，且所有结果都是点估计、无置信区间；R 只比较有效支撑大小，R=100% 不意味分布形状一致，需搭配 TVD 阅读；模型只覆盖一个托管系统和一个 Qwen3.5 主干上的开源家族；且 SST-5、DBpedia-14、IMDb 本身就在 KEV 训练来源之列，KEV 在这些数据集上的表现可能部分反映训练暴露，作者也未做条目级重叠审计。我的补充观察：所有数据集均为英文，跨语言有效性未知；BA-LoRA 的三个正则项没有单独消融，无法判断哪个成分对恢复利用率最关键；JEV 结果绑定特定版本快照，API 校准变化可能改变结论；R 对分箱与抽样方式敏感，跨数据集比较仍需谨慎。
独立分析的弱点
独立分析有如下弱点。第一，语义耦合只是关联证据：DBpedia 是高准确率天花板参照而非难度匹配对照，'邻近等级增多导致压缩'的因果链没有被真正钉死，改进方向是构造难度匹配的名义对照（例如对同样文本使用语义无关的 K 类标签）做因果检验。第二，迁移的规模依赖性缺乏机制解释：为什么 4B 能向未见来源泛化去偏而 0.8B 反而恶化？论文只报告现象，未分析表示几何或梯度冲突，可尝试混合领域内与通用去偏数据、按规模调整正则强度、或对 0.8B 做逐层干预分析。第三，统计强度不足：每条样例仅 2 个随机排列、无置信区间，位置效应可能被低估，应做全排列或更大规模重采样并报告区间估计。第四，R 是全局标量，可能掩盖'某些等级过度使用、某些完全不用'的定向模式，建议补充逐等级的预测/金标比值曲线等定向分解。第五，BA-LoRA 需要每个来源 4,000 条标注样本，实际部署中许多评分任务没有这么多标注，基于合成数据或少量锚点的低成本尺度感知训练会更实用。
未来方向
作者提出的方向是把 R 和 TVD 纳入直接决策模型的标准审计：评测级联中的评分器、rubric 评审和置信度网关不仅应报告准确率，还应报告利用率、多随机顺序下的稳定性和尺度细化下的利用率曲线。在此基础上可延伸：（1）把二元序数/名义分类升级为连续的语义耦合度量，系统研究耦合强度与压缩程度的剂量关系；（2）研究决策边界瓶颈的几何机理——为什么相邻细粒度等级在 argmax 处坍缩而概率表征保持宽泛，可能与训练目标对邻近类别的梯度结构有关；（3）把尺度感知目标引入预训练或通用后训练阶段而非事后 LoRA 修补，并在更大规模与多主干（非 Qwen3.5）上检验'可修改性'结论；（4）与 LLM-as-a-judge 的分数分布偏差（如 1–100 分稀疏使用）统一成'评分尺度利用'理论，并检验奖励模型是否同样压缩；（5）探索仅用模型自身置信度或少量锚点的校准式去偏，减少对大规模标注的依赖；（6）跨语言与多模态评分场景复现，以及利用率审计在论文评审、内容审核等真实评测流水线中的部署效果。
复现评估
复现条件总体较好。代码与数据开源于 github.com/Glax147/jev_ordinal_scale_bia；三个 KEV 模型权重公开在 HuggingFace（jaredpalmer/kev-0.8b/4b/9b），数据集均为公开来源，抽样固定种子，附录给出完整分箱边界、候选字符串、均衡表和 BA-LoRA 全部超参（rank 16、学习率 2e-5/1.5e-5、2 epoch 1,000 步、有效批 64、bfloat16 前向、λ=0.025/0.005/0.005）。算力需求适中：LoRA 只训练 0.8B/4B 模型的低秩适配器，32,000 条样本、2 个 epoch，单机 1–2 张 A100 级 GPU 可完成。主要障碍有两个：JEV 1.13 只能通过托管 System One API 访问，结果绑定 typesafe/jev-1.13-20260917 版本快照，API 下线或更新后宿主侧结果无法完全复现；部分数据集依赖第三方上传（如 Pitchfork、Metacritic 评测），长期可用性有不确定性。总体难度中等：开源部分（KEV 实验、细化与干预实验）可直接复跑，托管部分与跨版本对比需额外注意。
论文图表
柱状图对比 JEV 1.13 在 ANLI 6,400 条开发+测试样例上金标、全部预测、错误预测中三类标签的份额：金标几乎均衡（约 33.4%/33.4%/33.2%），但全部预测中 Neutral 占 38.8%，错误预测中 Neutral 占 51.3%，明显偏斜。
这是启发全文的关键观察：74.95% 的高准确率可以与系统性分布扭曲并存，直接引出'总体级尺度利用'这一可靠性问题，并说明该偏斜既非金标不均衡也非位置效应所致。
四联曲线图，K 从 2 到 14：(a) 等频分箱 R（端点跌幅 21.2–50.9 个百分点）；(b) 等宽分箱 R；(c) 软利用率 Usoft（KEV-4B/9B 全程 ≥96%）；(d) top-1 margin（从 50–54 跌至 4–6 个百分点）；DBpedia 名义天花板参照（虚线）在所有 K 下 R≈100%、准确率 ≥98.9%。
全文标题'More Choices, Fewer Decisions'的直接证据：同一批样例、同一分数、均衡金标下，候选越细模型有效决策空间增长越慢，且失败发生在决策边界而非概率表征。
报告每个受控条件（3 来源 × 2 分箱 × K=2..14，各 1,400 条）中金标落在各展示位置的数量：观察值与理想值 N/K 至多相差 1 条（如 K=14 时每位置理想 100 条，观察 100–100）。
排除金标位置不均衡这一混杂因素，确保细化实验中观察到的压缩完全来自模型对尺度的使用方式。