Jeva：从第一性原理构建的系统一决策模型 Jeva: System One Models from First Principles
独立编码候选、状态读取候选记忆的决策原生架构，统一实现空答案感知、置换不变、可扩展与缓存复用
前置知识
系统一模型（System One Models）
不生成推理文本、直接输出结构化决策（选选项、布尔判断、数值评分）的模型，追求低延迟的类型化输出。与依赖思维链的系统二相对，这类模型通常把请求与候选拼进同一上下文，再从答案符号的 logits 或任务专属预测头读出概率分布，代表工作包括 SemIf、JevK5、Intern-Decision、KEV、Re·Flex、Laya 等。
Jeva 就是为这类模型设计的原生架构，全文的四大结构性质都是针对现有系统一模型读出机制的缺陷提出的，不了解这个背景就看不出问题从何而来。
独立编码与后期交互
双塔式设计：查询与候选用共享编码器分别独立编码，候选向量可离线预计算，查询时只做轻量匹配（点积、MaxSim 等），代表工作有 DPR 与 ColBERT。优点是候选计算可复用、检索高效；缺点是独立打分难以表达候选之间的相互影响。
Jeva 的“共享编码器独立编码 + 状态读取候选记忆”正是这条路线的延伸与超越，论文命题 1 专门论证了纯独立打分器原理上无法做到的偏好逆转。
置换不变性与置换等变性
集合函数的性质：输入元素顺序改变时，整体输出不变（不变性）或按元素一一对应地重排（等变性）。Deep Sets 证明对称聚合（求和、池化）是置换不变集函数的充要条件，Set Transformer 进一步用注意力实现集合元素间的交互。
permutation-invariant 是论文四大性质之一，Jeva 实测翻转率 0%、平均总变差 3.17e-8；理解对称聚合如何经归纳保持状态不变，才能读懂命题 3 的证明。
覆盖门控与弃答
区分“没有任何候选适用”（答案缺失）与“多个候选都可行但不确定”（竞争）的机制。SQuAD 2.0 评估可答性，选择性分类允许弃答以控制风险。Jeva 用 $\rho=\sigma((\max_i s_i-b_{\mathrm{cov}})/\tau_{\mathrm{cov}})$ 单独估计至少一个候选可用的概率，再与候选间条件分布相乘。
null-aware 是第一个结构性质；不理解覆盖与 softmax 竞争的区别（扁平 softmax 会引入强制的 $-\log K$ 基数偏置），就看不懂命题 2 和空答案检测实验的意义。
LoRA 低秩适配
冻结大模型权重，只训练低秩分解 $\Delta W=BA$（秩 $r\ll d$）进行微调，可训练参数量极小。Jeva-4B 使用 rank-64 的 LoRA 作用于注意力与 FFN 映射，加上两个投影矩阵和决策核共 13,370,117 个可训练参数，部署前将 LoRA 合并进权重。
这决定了复现所需的算力规模与“冻结骨干 + 可训练决策核”的工程形态，也是缓存身份必须绑定固定权重、更新参数要失效缓存的原因。
KV 缓存与原子化选项记忆
Transformer 推理时缓存每层的 key/value 投影以避免重复计算。Jeva 把候选的语义向量与逐层 K/V 打包成原子条目 $M(o_i)=(u_i,\{k^{h,\ell}_i,v^{h,\ell}_i\}_{\ell,h})$，可跨请求复用，包括重新组装的新候选集合；整集合缓存与混合缓存是两种不同粒度。
cacheable 是第四个结构性质，MLDR 场景 27.86 倍的 p50 延迟加速来源于此；“缓存计算而非缓存答案”这一区分是理解复用实验的关键。
研究动机
现有开源系统一模型（SemIf、JevK5、Intern-Decision、KEV、Re·Flex、Laya 等）把请求和候选拼成一段文本联合编码，再从答案 token 的 logits 或任务专属预测头读出决策。这种做法带来四类结构性缺陷。其一，可复用的候选内容被困在请求相关的联合上下文里，换一个请求或重组候选集合就要重新联合编码，长文档、工具注册表这类持久候选被反复重复计算（MLDR 长文档场景 Cache-Off 下 p50 延迟高达 2,102.0 ms）。其二，模型把无序候选集合当有序序列处理，候选的偶然位置会影响预测：基线在候选重排下的决策翻转率高达 17.00%–26.83%（Qwen3.5-4B label LP 甚至 84.50%）。其三，基于固定答案符号表的实现限制候选数量，Intern-Decision 在 K=32 时只支持 84 个请求中的 65 个，更大规模直接超出接口上限。其四，对给定候选做 softmax 归一化只能回答“哪个最好”，无法回答“是否有任何一个可用”——答案缺失与候选间不确定性被耦合在同一个预测过程里。
本文的目标是本文的目标是构建一个决策原生（decision-native）架构 Jeva，把四大结构性质作为架构的一等公民而不是事后修补：（i）null-aware——用单独的覆盖估计区分“没有可用候选”与“候选间不确定”；（ii）permutation-invariant——候选重排不改变决策；（iii）option-scalable——候选集合增长不需要重新定义输出空间或塞进一个联合上下文窗口；（iv）cacheable——候选的请求无关计算（语义向量与逐层 K/V 投影）可跨请求精确复用。同时不能牺牲集合相关性：单个决策块就要能根据周围候选逆转两个保留候选之间的偏好（这是独立打分器原理上做不到的，见命题 1），并在此基础上保持强的类型化决策精度、接近完美的空答案检测以及数量级级别的延迟降低。
与已有工作不同的是，独特的切入角度是把语义表示、候选交互、答案可用性三个耦合的角色在架构层面显式分离：共享编码器只负责把请求与每个候选独立映射为紧凑向量；一个紧凑决策栈只精炼请求状态、把它对准不可变的候选记忆读取；覆盖门控与候选竞争用不同参数（$\tau_{\mathrm{cov}}$ 与 $\tau_{\mathrm{dec}}$）解耦。与 Deep Sets/Set Transformer 等集合函数工作相比，Jeva 是“状态读记忆”式精炼而非对称池化；与 DPR/ColBERT 的双塔路线相比，它保留集合条件化的判断力；与联合编码系统一模型相比，它把候选侧计算变成可缓存的原子条目（含逐层 K/V 投影）。作者还配套给出三条可证明的结构性质：单块集合相关表达力（命题 1）、无 $\log K$ 基数偏置的覆盖估计（命题 2）、候选对称与精确缓存复用（命题 3），让理论、架构与系统形成闭环。
核心方法
直觉上，Jeva 把一次决策看作“请求状态到不可变候选记忆中读取证据”。请求（状态 $x$、问题 $\iota$、类型 $t$）与每个候选用两个模板分别格式化，经同一个 Qwen3.5-4B 骨干独立编码：$z^0=P_xE_\theta(T_x(t,\iota,x))$，$u_i=\mathrm{nrm}(P_oE_\theta(T_o(t,o_i)))$，无偏置投影加 $\ell_2$ 归一化；候选文本不含请求内容，天然与请求无关、可缓存。随后一个紧凑决策模块（仅 1 块、8 头、宽 768）只精炼请求状态：状态作 query、候选作 key/value，注意力把候选证据按熵正则方式聚合进状态，使偏好依赖整个候选集合，而候选向量保持冻结。精炼后的状态与每个候选点积打分 $s_i=z^{L\top}u_i$，softmax 得到竞争分布 $q$；独立的覆盖门控估计 $\rho$ 并把概率分配给 null 与候选集合。同一套计算通过输出解释统一 Choice/Noul/Score 三类输出；决策复杂度 $O(L(d^2+Kd+df))$ 关于 $K$ 线性，不物化 $K\times K$ 矩阵。
核心创新是“候选条件化的状态精炼 + 不可变选项记忆”的组合，以及覆盖与竞争的显式解耦——这是与既有两条路线的本质区别。联合编码系统一模型把候选放进请求上下文，交互存在但候选计算不可复用、顺序敏感；独立打分器（双塔）候选可复用，但分数 $s_i=g(x,\iota,o_i)$ 经 softmax 后共享分母在比值中抵消，加入或移除其他候选只能整体缩放概率，永远无法逆转两个保留候选间的偏好。命题 1 用二维构造证明：固定请求与候选 $A$、$B$，仅把第三个候选从 $C_+$ 换成 $C_-$，单块 Jeva 可分别在两个集合中唯一选中 $A$ 与 $B$，而任何带固定平局规则的独立打分器做不到。同时，null 概率由 $\max_i s_i$ 过学习阈值的 sigmoid 给出，而非扁平 softmax 的第 $K+1$ 个分数，避免了强制性的 $-\log K$ 基数偏置（命题 2）；候选向量与逐层 K/V 投影不含请求信息，替换为缓存条目时输出逐位一致（命题 3）。表达力与复用性由此在单一架构中兼得。
方法步骤详情
完整流水线六步。①格式化：请求按“决策类型/问题/状态”三段模板编码，候选按“Option for {t}: {文本}”单独编码；候选文本不含问题、状态、索引或其他候选，右填充取最后非 padding 隐状态池化。②独立编码：共享骨干分别编码请求与候选，得状态 $z^0$ 与归一化候选向量 $u_i$。③状态精炼：每头由状态生成 query、由候选生成 key/value，兼容度 $c_i=q^\top k_i$；注意力权重唯一最大化 $a^\top c+\tau_\ell H(a)$（熵正则证据分配），聚合成消息后经缩放残差 $z^\ell+\alpha^\ell m^\ell$ 与 SwiGLU 分支更新状态；投影恒等初始化、FFN 输出零初始化。④打分读出：$s_i=z^{L\top}u_i$，$q=\mathrm{softmax}(s/\tau_{\mathrm{dec}})$；覆盖 $\rho=\sigma((\max_i s_i-b_{\mathrm{cov}})/\tau_{\mathrm{cov}})$，$p_i=\rho q_i$。⑤类型化输出：Choice 取 argmax，Noul 取正布尔候选概率，Score 取期望 $\sum_i q_i v_i$。⑥训练：损失 $\ell=\mathrm{BCEWithLogits}(g,c_y)-\sum_i y_i\log q_i$ 加阶段辅助项；Qwen3.5-4B 上 rank-64 LoRA 共 13.37M 参数，课程约 110 万样本十阶段，服务前合并并预计算选项记忆。
技术新颖性
技术新颖性有四点。①表达力与复用性的和解：把候选交互压缩进每请求的状态精炼（$O(Kd)$ 消息聚合，不物化 $K\times K$ 矩阵），候选侧保持请求无关；与 Deep Sets/Set Transformer 的对称池化不同，Jeva 是状态读记忆式精炼，与 DPR/ColBERT 双塔不同，保留了集合条件判断。②覆盖-竞争分解：$\rho$ 与 $q$ 用不同温度 $\tau_{\mathrm{cov}}$、$\tau_{\mathrm{dec}}$ 建模，附录 B.4 证明联合交叉熵可分解为覆盖误差与 $\rho^\star$ 加权的竞争误差，训练信号独立、可分别诊断。③熵正则聚合有精确变式刻画：注意力权重唯一最大化 $a^\top c+\tau_\ell H(a)$，等价于最小化到 softmax 解的 KL 散度；$0<\alpha_\ell/\tau_\ell<1/\sqrt{L}$ 的耦合保证有界更新，附录 B.3 还给出新增候选影响的定量界。④理论指导实现：恒等初始化与零初始化使命题 1 的二维构造可嵌入部署的 768 维/8 头配置，三条命题是设计约束而非事后解释。
实验结果
（1）类型化精度（Table 1）：8 切片中 7 个第一——Typed Decisions 78.30%（InternDecision-4B 78.70%）；BANKING77 K=8/16 为 92.05%/91.62%、MASSIVE 为 91.09%/90.22%（基线最高 86.14%/84.63%）；Mind2Web 跨任务/网站/域 79.99%/62.25%/66.23%（基线最高 66.26%）。（2）保真与稳定性（Table 2）：Noul Brier 0.0184（基线最好 0.0340）、Score MAE 0.2315；600 个 Choice 例子在原始、逆序与随机排列下零翻转、平均 TV 3.17e-8、全序精度 76.67% 不变，基线翻转率 17.00%–26.83%。（3）空答案检测：3,080 条 BANKING77 K=16 请求（588 条无答案）AUROC 98.66%（KEV-BF16 93.61%、JevK5 79.44%），5.02% FPR 下检出 93.88%。（4）ToolRet 六队列（K=32…2048）：聚合精度 78.40% vs JevK5 递归 64.00%，K=2048 时 69.88% vs 67.47% 且延迟减半；批处理把 p50 从 31.730s/94.459s 降至 7.519s/12.040s（7.85×）。（5）嵌套集合：83 查询从 32 到 2048，Jeva 全规模全对 58/83（69.88%）vs JevK5 48/83、CLM 7/83。（6）缓存：MLDR 全复用 p50 从 2,102.0ms 降至 75.1ms（中位 27.86×），Typed 共享库 93.1→46.6ms、避免 99.2% 行编码，决策零变化。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| Typed Decisions（Choice 选择） | 首 argmax 精度 | 78.30% | InternDecision-4B：78.70% | −0.40 pts（唯一未领先的切片，基本持平） |
| BANKING77 意图选择 K=16 | 首 argmax 精度 | 91.62% | 最佳基线 Jev-1.13.0：82.50% | +9.12 pts |
| MASSIVE 意图选择 K=16 | 首 argmax 精度 | 90.22% | 最佳基线 Jev-1.13.0：81.61% | +8.61 pts |
| Mind2Web 跨任务选择 K=16 | 首 argmax 精度 | 79.99% | 最佳基线 Jev-1.13.0：66.26% | +13.73 pts |
| BANKING77 空答案检测（3,080 条，588 条无答案） | AUROC | 98.66% | KEV-4B BF16：93.61%（JevK5 仅 79.44%） | +5.05 pts；5.02% FPR 下 TPR 93.88% |
| Choice 候选重排稳定性（600 例） | 翻转率 / 平均总变差 | 0.00% / 3.17e-8 | 最佳基线 Jev-1.13.0：17.00% / 0.0858 | 翻转减少 17 pts，TV 降低约 6 个数量级 |
| ToolRet 大规模候选（6 队列聚合） | 聚合精度 | 78.40% | JevK5 递归选择：64.00% | +14.40 pts |
| ToolRet K=2048 | 精度 / p50 延迟 | 69.88% / 12.040 s | JevK5：67.47% / 约 28 s | +2.41 pts 且延迟降低 2× 以上（批处理加速 7.85×） |
| MLDR 长文档候选全复用 | p50 延迟 | 75.1 ms | Cache-Off：2,102.0 ms | 配对中位加速 27.86×，决策零变化 |
局限与改进
作者承认的局限：集合精炼仍可能改变分数，候选增加时对 $p$ 的联合 argmax 不必保持不变（附录 A.3），命题 2 只保证固定分数下 $\rho$ 不变；命题 1 是存在性陈述，不保证任何集合变化都应逆转偏好，且只对弱注意力新增候选给出定量界；理论假定精确算术，浮点归约与批处理变化会扰动近平局分数（实测缓存条件最大概率偏差 0.00736）；平局需在语义身份层面处理；缓存身份绑定权重、分词器、模板与数值配置，参数更新必须失效缓存；稠密分布输出需要 $\Omega(K)$，每条文本仍有长度上限。我的补充观察：Typed Decisions 上以 0.40 个点之差输给 InternDecision-4B，通用类型化决策并非全面领先；决策栈只有 $L=1$，更深决策块未探索；嵌套集合实验仅 83 查询、ToolRet 每队列 83–84 条，样本量偏小；基线生态封闭，缺少与更大通用 LLM 的对照；Mind2Web 网站切片 62.25% 说明真实网页动作选择仍难；覆盖阈值 $b_{\mathrm{cov}}$ 的跨域校准有待检验。
独立分析的弱点
（1）单块决策栈可能限制多跳证据组合：$L=1$ 意味着状态只做一轮读记忆，复杂任务（Mind2Web 跨网站 62.25%）或需多轮精炼；可探索 $L>1$ 的深度-精度曲线，架构本就支持逐层 K/V 缓存视图。（2）固定覆盖阈值可能跨域脆弱：$\rho=\sigma((\max_i s_i-b_{\mathrm{cov}})/\tau_{\mathrm{cov}})$ 的校准依赖训练分布，换到医疗、法律等新域可能需要重校准，可组合后验温度缩放或分布外检测器。（3）零翻转依赖精确算术与固定缓存身份：跨硬件、跨批处理部署时 3.17e-8 的 TV 可能被放大，近平局决策有翻转风险，部署层需强制 FP32 打分并提供语义平局策略。（4）评测生态封闭：基线以 2026 年小型开源系统一模型为主，ToolRet 改造引入弱/未判负例，缺少与 GPT/Claude 级模型的成本-精度对照，结论普适性待验证。（5）缓存收益依赖复用率：0% 复用时整集合缓存完全失效（Fig 9a 显示 novel-set 中位加速约 0），冷启动场景收益有限，可用近似检索预取、异步预编码缓解。
未来方向
作者提出的方向：用后训练温度缩放做概率校准（相关工作中明确提及互补性）；扩展到更长文本与更大候选池（课程已含约 80k 长文本/大池样本）；把状态读记忆范式推广到更多类型化输出。基于本文成果可延伸：（1）多块决策栈的理论刻画，把命题 1 的单块表达力推广为 $L$ 块的表达力层级与代价曲线；（2）候选库在线更新——参数更新破坏缓存等价性，可研究分层失效、函数等价微调或基于哈希的版本化缓存；（3）与工具调用/Agent 框架集成，把工具注册表当作持久选项库，统一检索-决策延迟优化；（4）跨模态选项（图像、代码、结构化 schema）的原子记忆编码；（5）把 20 倍级缓存加速与推测解码、服务调度结合做系统级优化；（6）利用覆盖-竞争分解结构做可控弃答与风险敏感决策（如医疗分诊、合规审核）。此外，零翻转性质可作为其他决策模型的蒸馏目标或一致性正则。
复现评估
复现信息相当充分：附录 B.7 给出输入模板、归一化、温度初始化（$\tau_{\mathrm{set}}=0.15$、$\tau_{\mathrm{dec}}=\tau_{\mathrm{cov}}=0.10$）、LoRA 配置（rank 64、scaling 128、dropout 0.05）与精确参数量 13,370,117；附录 B.8 给出类型专属损失与梯度裁剪；附录 C 给出训练课程逐阶段样本量（约 80k→500k→250k→60k→20k→60k→10k→80k→2k→70k）、评测协议、批量配置与 H200 计时方法。数据集全部公开（Typed Decisions、BANKING77、MASSIVE、Mind2Web、ToolRet、MLDR），骨干 Qwen3.5-4B 开源；推理评测单卡 H200 即可，LoRA 训练算力适中。需要注意的是，论文明确给出的是各基线的开源链接，未看到 Jeva 自身代码/权重的发布说明；若不开源，需按附录细节自行实现决策核（核心约几百行），理论命题可用附录的二维构造直接数值验证。综合评估：复现难度中等，主要风险在训练课程的数据构造细节。
论文图表
三个请求依次带来候选集 {A,B,C}、{B,C,D}、{A,C,D}：原子选项库（编码 + K/V 投影）命中数从 0/3 → 2/3 → 3/3 递增，而整集合缓存每次查找都未命中；无论缓存状态如何，状态编码与决策模块始终对每个请求新鲜执行，绝不缓存答案。
一张图讲清“复用计算而非复用答案”的核心设计，以及混合缓存与整集合缓存的粒度差异，是缓存实验（图 9）的概念铺垫。