Jev 中的跨基元一致性：PRIMACONS 四轴基准与 CPRC 残差校准器 Cross-Primitive Consistency in Jev
PRIMACONS 四轴基准量化跨基元不一致，CPRC 校准器降低不一致 58.57%
前置知识
系统一决策模型与查询基元
指跳过自由文本生成、通过类型化查询基元直接输出结构化决策的 LLM 用法：二元基元（论文中的 Noul）对单一命题输出真/假概率，多选基元（Choice）在候选集合上输出一个概率分布。同一语义状态可以用不同基元表达，模型一次前向即给出结构化结果，无需生成再解析自然语言，推理开销小，适合幻觉检测、安全审核、内容分类等决策型场景。
全文的问题设定就是固定语义、更换基元，理解基元与结构化输出是读懂四条一致性轴的前提。
全变差（Total Variation, TV）
衡量两个离散概率分布差异的度量，定义为 $TV(u,v)=\frac{1}{2}\sum_{c}|u_c-v_c|$（论文 Eq.6），取值在 0 到 1 之间：0 表示两分布完全相同，1 表示完全不相交。它对概率质量的挪动非常敏感，常用于比较模型在两个语义等价视图下输出的类别分布是否发生了偏移。
轴 II 与轴 IV 的主要一致性指标都基于 TV，理解它才能读懂 $D_C/D_M/D_F$ 与 $TV(p^r,p^n)$ 等表格数据。
ROC-AUC
ROC 曲线下的面积，评估一个连续分数对二分类结果的排序能力：随机抽取一个正例和一个负例，AUC 即该分数把正例排在负例之前的概率。0.5 等于随机猜测，1.0 为完美排序，与阈值选择无关，适合评估某个连续量能否预警失败。
论文核心发现之一是跨基元概率残差 $|p_{n^+}-p_{n^-}|$ 能以 ROC-AUC 0.91 预测决策失败，这是把一致性从评测维度升级为失败信号的关键证据。
残差校准（residual calibration）
保持原模型（骨干）冻结，在旁路挂一个小网络，输入特征后预测对原始 logits 的修正量并直接相加：$z_i=z_i^{raw}+\Delta_i$，$\Delta_i=\tanh f_\theta(x_i)$。tanh 把修正限制在 $(-1,1)$ 内以避免破坏原模型；由于只训练小网络，成本低、延迟开销小，是典型的参数高效后处理方案。
CPRC 正是这种架构，理解残差修正机制才能看懂它的输入（PCA 隐状态+原始概率+元数据）、双头设计与 +0.75% 延迟的意义。
留一域外协议（LODO）
Leave-One-Domain-Out：训练时使用其余域的数据，完整留出一个域不参与训练、仅用于测试，用以检验方法学到的是通用规律还是域内统计记忆。本文用轴 I/II/III 的校准集训练 CPRC，把差异最大的轴 IV（AG News 四分类）留作未见域。
Table 6/7 的域外结果全靠 LODO 支撑，是判断 CPRC 是真正修复不一致还是过拟合校准数据的关键证据。
研究动机
Jev 这类系统一决策模型通过类型化查询基元让 LLM 一次前向直接输出结构化决策，已被用于幻觉检测、安全审核、临床评估、内容分类等场景。然而现有研究只在单一基元下评测准确率、校准与鲁棒性，从未系统检验：同一个语义状态换一种基元表达，决策是否仍然一致？论文开篇的例子很直观：给定上下文（埃菲尔铁塔位于巴黎）与错误回答（埃菲尔铁塔位于柏林），二元 Noul 返回 False（非幻觉），而语义等价的多选 Choice 却选了 Hallucinated，两个视图直接互相矛盾。这种矛盾无法归因于任务本身的变化，是传统准确率评测完全捕捉不到的可靠性缺陷；当这类模型被部署到高风险决策场景时，同一个问题换个问法就翻转结论，后果不可忽视。
本文的目标是本文目标分两层。评测层：构建 PRIMACONS 基准，沿补集一致性、标签层级一致性、弃答对齐一致性、标签-描述一致性四条轴，在语义不变的前提下只改变查询基元或呈现形式，量化 JevK5-2B/4B/9B 三个规模模型的跨基元不一致，并刻画其系统性规律。修复层：提出跨基元残差校准器 CPRC，冻结骨干、外挂轻量残差网络，用交叉熵与一致性罚项的联合目标 $\mathcal{L}=\mathcal{L}_{CE}+\alpha\mathcal{L}_{cons}$ 同时优化预测准确率与跨视图对齐，并在留一域外（LODO）协议下验证域内与未见域双重效果。
与已有工作不同的是，与已有 LLM 一致性研究（输入扰动鲁棒性、量化敏感性、推理链忠实度）不同，本文的切入角度有两个独特之处。其一，它固定决策语义、只动查询接口，从而把不一致的归因干净地隔离到基元层面，并为每条轴锚定一个明确的理论不变量——二元同构、分类学一致性、程序不变性、描述不变性、投影不变性——使指标不再是经验性的输出抖动，而是对明确逻辑约束的违例度量。其二，它发现跨基元残差不只是缺陷，还是有用的信号：$|p_{n^+}-p_{n^-}|$ 排序决策失败的 ROC-AUC 达 0.91，把一致性从被动的评测维度升级为可操作的失败预测器，这是以往单基元评测范式做不到的。
核心方法
整体思路是先量化、后修复。量化侧：PRIMACONS 从 HaluEval、PKU-SafeRLHF、AbstentionBench、AG News 四个公开数据集构造语义等价的多视图样本（各轴 4000–6000 条校准/测试数据），四条轴对应补集、层级、弃答、描述四种受控变换，用概率间隙 $G_{u,v}=\frac{1}{M}\sum_{m=1}^{M}|p_m^u-p_m^v|$、全变差 TV、硬标签冲突率等指标量化分歧。修复侧：CPRC 冻结 Jev 骨干，抽取第 $L-1$ 层隐状态做 PCA 降维，与原始概率、视图级元数据（如预测熵）拼接后送入轻量 MLP；二分类与多分类两头分别输出 logit 修正 $\Delta_i=\tanh f_\theta(x_i)$，直接加到原始 logits 上；训练目标 $\mathcal{L}=\mathcal{L}_{CE}+\alpha\mathcal{L}_{cons}$，$\mathcal{L}_{cons}$ 按各轴度量（Eq.1–6）构造。超参只在校准集上调，测试集独立评估，另以 LODO 检验跨域泛化。
核心创新有两点。第一，把跨基元一致性形式化为可计算的理论不变量违例：轴 I 要求正向与反向 Noul 满足 $p_{n^-}=1-p_{n^+}$ 的二元同构；轴 II 要求细粒度概率质量聚合后复现粗粒度决策（分类学一致性）；轴 III 要求从选项集中选弃答与二元问能否回答两种引导程序给出同一判断（程序不变性）；轴 IV 要求改写选项描述不移分布（描述不变性），且 $K$ 个类别专属 Noul 归一化后应恢复 Choice 分布（投影不变性，$\{0,1\}^K \to \Delta^{K-1}$）。第二，CPRC 与温度缩放等全局校准本质不同：它学习的是状态×视图条件化的样本级残差修正，把各轴的不一致度量直接写进损失，使对齐发生在每个输入上，而非拟合一个全局参数。
方法步骤详情
第一步，数据与视图构造：轴 I 用 HaluEval 幻觉判断（6000 校准+6000 测试），施加正向 Noul、反向 Noul、二元 Choice 三视图；轴 II 用 PKU-SafeRLHF 不安全样本（6000+4000），12 个细粒度类别两两配对成 6 个中等父类再投影为粗粒度，比较 Choice 与 Noul 在粗/中/细三层的分布；轴 III 用 AbstentionBench（6000+6000），三选一 Choice（正确答案、干扰项、无法回答）对比二元 Noul 可答性；轴 IV 用 AG News 四类（6000+6000），构造原始 Choice、描述增强 Choice、类别专属 Noul 归一化三视图。第二步，按 Eq.1–7 计算概率间隙、弃答间隙 $G_A$、冲突率 $K$、层级质量残差与 TV。第三步，CPRC 训练：冻结 Jev，输入第 $L-1$ 层隐状态的 PCA 投影、原始概率与元数据，双头 MLP 输出修正 $z_i=z_i^{raw}+\tanh f_\theta(x_i)$，最小化 $\mathcal{L}_{CE}+\alpha\mathcal{L}_{cons}$。第四步，域内测轴 I/II/III（Table 5），LODO 留出轴 IV 测泛化（Table 6/7）。整个过程严格防止数据泄漏：PCA 维度与学习率、权重 $\alpha$ 等超参均只在校准划分上选定，再迁移到测试划分评估。
技术新颖性
技术新颖性体现在三处。其一，PRIMACONS 是首个系统的跨基元一致性基准：此前的 Jev 研究只做单基元能力/校准/鲁棒性评测，一致性研究都停留在任意输入扰动层面，没有语义固定、接口变化的受控设定。其二，发现的不一致规律本身有信息量：跨基元残差预测决策失败达 ROC-AUC 0.91；不一致随粒度变细而放大且伴随概率质量膨胀（中等层级残差均值为负）；分歧方向取决于基元类型（轴 III 中 24.74% 样本 Noul 弃答而 Choice 不弃答，反向仅 4.45%）；描述增强会进一步放大跨基元漂移（$TV(p^d,p^n)>TV(p^r,p^n)$）。其三，CPRC 以冻结骨干+轻量残差方式修复，仅 +0.75% 延迟，且在未见域上仍把 $TV(p^r,p^n)$ 降低 58.57%，说明学到的是跨域通用的对齐规律而非域内记忆。
实验结果
PRIMACONS 校准集评测（Table 1–4）显示三个模型四轴全面违例。轴 I：正反 Noul 概率间隙 $G_{n^+,n^-}$ 为 0.1858/0.1360/0.0892（2B/4B/9B），Choice 与 Noul 也不对齐（4B $G_{n^+,c}$=0.1132）；残差 $|p_{n^+}-p_{n^-}|$ 预测决策失败的 ROC-AUC 达 0.91。轴 II：粗层分歧小（4B $D_C$=0.0870）但细化后暴涨至 $D_M$=0.5329、$D_F$=0.6323，且中等类别质量残差均值为负——细化时模型膨胀而非重新分配概率。轴 III：$G_A$ 为 0.1928–0.2614，硬标签冲突率 17.18%–36.54%，精度差 9.66%–11.72%；24.74% 样本 Noul 弃答而 Choice 不弃答，反向仅 4.45%。轴 IV：描述增强即致 $TV(p^r,p^d)$=0.0439–0.1013，投影不一致 $TV(p^r,p^n)$ 达 0.2227–0.4386。CPRC 域内（Table 5）：2B 轴 I $G$ 0.1832→0.0869（−52.56%），准确率 65.03%→79.00%；2B 轴 II $D_M$ 0.4806→0.1296（−73.03%），准确率 77.67%→98.48%；4B 轴 II $D_F$ 0.6325→0.3545（−43.95%），准确率 95.20%→99.65%。LODO 域外（轴 IV 未见）：2B $TV(p^r,p^n)$ 0.4391→0.1819（−58.57%），raw 准确率 84.90%→87.42%；9B 同指标 0.2251→0.0936（−58.42%），准确率 88.02%→89.75%；额外延迟仅 +0.75%。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 跨基元残差预测决策失败（轴 I，JevK5-4B） | ROC-AUC | 0.91 | — | 残差 $|p_{n^+}-p_{n^-}|$ 可高效预警决策失败 |
| 轴 I 补集一致性（JevK5-2B，域内） | $G_{n^+,n^-}$ | 0.0869（CPRC） | 0.1832 | −52.56%，Choice 准确率 65.03%→79.00%（+13.97%） |
| 轴 II 标签层级一致性（JevK5-2B，域内） | $D_M$（中等粒度 TV） | 0.1296（CPRC） | 0.4806 | −73.03%，准确率 77.67%→98.48%（+20.81%） |
| 轴 II 标签层级一致性（JevK5-4B，域内） | $D_F$（细粒度 TV） | 0.3545（CPRC） | 0.6325 | −43.95%，准确率 95.20%→99.65%（+4.45%） |
| 轴 IV 投影一致性（JevK5-2B，LODO 域外） | $TV(p^r,p^n)$ | 0.1819（CPRC） | 0.4391 | −58.57%，raw 标签准确率 84.90%→87.42% |
| 轴 IV 投影一致性（JevK5-9B，LODO 域外） | $TV(p^r,p^n)$ | 0.0936（CPRC） | 0.2251 | −58.42%，raw 标签准确率 88.02%→89.75%（+1.96%） |
局限与改进
作者承认与观察到的局限：其一，只评测 JevK5 一个家族的 2B/4B/9B，结论对其他决策模型（如从通用 LLM 微调的 Jev 风格模型）是否成立未知。其二，CPRC 需要每域 4000–6000 条校准数据训练，冷启动与持续维护成本未讨论。其三，域内轴 III 上 2B 的弃答概率间隙 $G_A$ 反而从 0.1884 升到 0.2260（尽管冲突率与准确率改善），说明联合目标内部存在被牺牲的维度。其四，LODO 只选轴 IV 一个未见域，且四个域本质是四个数据集，与真正的新任务类型分布外还有距离。其五，全部为文本分类式决策，未覆盖生成、回归或多模态任务。此外正文一处留有 [citation] 占位符，2B 域外准确率提升在不同位置分别写作 +2.52% 与 +2.97%，细节一致性欠佳，暗示论文尚处早期版本。
独立分析的弱点
独立分析的弱点与改进方向：(1) CPRC 按视图类型分二分类/多分类两个头，本质是学习每个视图族的系统性偏差方向，遇到训练中未见过的新基元组合（如五选一、有序量表、成对比较）能否迁移未知——可改为视图无关的对称化损失或用视图嵌入做条件化。(2) 一致性与准确率提升混在同一联合目标里，无法区分对齐与顺手修正错误两种效应——应补充仅用 $\mathcal{L}_{cons}$（去掉 $\mathcal{L}_{CE}$）的消融实验。(3) 失败预测信号（ROC-AUC 0.91）只在轴 I 的 4B 上报告，其他轴与规模的预测力未验证——可把该信号用于推理时路由：检测到跨基元不一致即升级到完整 LLM 或触发弃答。(4) 轴 II 揭示的概率质量膨胀只有现象学描述，机理（softmax 归一化、训练分布对细标签覆盖不足）未探究。(5) 一致性修复后可能出现一致地错（两个视图对齐但都错），论文未报告校准后两视图同时出错的比率变化。
未来方向
作者方向：希望跨基元一致性成为高风险部署（医疗、安全审核）中决策模型的可靠性评估维度，CPRC 帮助此类模型真正可部署。基于成果可延伸的研究：(1) 把一致性目标前移到预训练或后训练阶段（RLHF/DPO），从根上消除视图间漂移而非事后补偿；(2) 将跨基元残差做成在线失败检测器与自适应弃答策略，与 AbstentionBench 场景结合形成可靠性管线；(3) 从理论上解释粒度细化导致概率质量膨胀的原因，并分析与量化、蒸馏等效率技术的交互（低比特量化是否加剧跨基元不一致）；(4) 扩展第五轴：选项顺序置换、标签同义替换、提示模板变化等对抗性视图；(5) 检验多语言与多模态决策模型上的跨基元一致性规律是否跨语言稳定。
复现评估
复现评估：论文给出代码仓库 https://github.com/67L1/PrimaCons-CRPR；基准的四个底层数据集（HaluEval、PKU-SafeRLHF、AbstentionBench、AG News）全部公开，构造规则（划分大小、12→6→1 类别映射、Eq.1–7 指标公式）交代完整，重建 PRIMACONS 本身难度低。复现 CPRC 需要白盒访问 JevK5-2B/4B/9B 的倒数第二层隐状态与 logits；校准器只是 PCA+小型 MLP，单张消费级 GPU 即可训练，推理开销 +0.75%。风险点：论文属早期版本（正文含占位引用），仓库与三个模型权重的实际可得性未经验证；PCA 维度、$\alpha$、学习率等超参只说在校准集上选择，未给出具体值，严格复现需自行扫描。总体而言基准部分易复现，校准器部分取决于模型开源情况，难度中等。
论文图表
幻觉检测示例：上下文给出埃菲尔铁塔位于巴黎的事实与位于柏林的错误回答。Noul 基元返回 False（即非幻觉，概率 0.1/0.4），而语义等价的 Choice 基元却选择 Hallucinated，两个视图结论直接矛盾。
这是全文的问题引入：用最直观的例子说明跨基元不一致是什么、为何传统准确率评测无法捕捉，读懂它才能理解四条轴的动机。
CPRC 架构总览：冻结的 Jev 骨干输出原始 logits；第 $L-1$ 层隐状态经 PCA 投影后与原始概率、视图级元数据（如预测熵）拼接，送入轻量 MLP；二分类与多分类两个头分别输出 logit 修正，加到原始 logits 得到校准后决策；训练用校准集，测试用留出的测试集。
方法部分的核心架构图，理解 CPRC 修什么、在哪修、为何延迟仅 +0.75% 都依赖此图。
LODO 协议下（轴 IV 为未见域）的一致性：2B 的 $TV(p^r,p^n)$ 0.4391→0.1819、$TV(p^d,p^n)$ 0.4736→0.2369；4B 与 9B 的 $TV(p^r,p^n)$ 分别降至 0.1719 与 0.0936；$TV(p^r,p^d)$ 在 2B 上略升（0.0825→0.0988）。
证明 CPRC 学到的是跨域通用的对齐规律而非域内记忆，且提示 2B 上同基元描述不变性存在轻微恶化。
LODO 下的准确率：2B raw 标签 84.90→87.42、描述标签 86.80→87.90；4B raw 准确率几乎持平（84.08→84.12）；9B raw 88.02→89.75、描述 89.03→90.07。
说明一致性修复在未见域上不以牺牲准确率为代价，同时显示 4B 的准确率收益有限，帮读者客观评估泛化收益的规模。