Safin-1：通过记忆原生状态演化实现由内而外的安全 Safin-1: Safety from Within through Memory-Native State Evolution
用可路由的状态锚点记忆与可拆卸安全状态，把安全内化为模型原生能力
前置知识
线性注意力与循环状态
线性注意力类模型（如 Gated DeltaNet）不保留逐 token 的 KV 缓存，而是把整个前缀压缩为一个固定大小的矩阵状态 $S_t \in \mathbb{R}^{d_v \times d_k}$，每来一个 token 就用门控 delta-rule 式更新写入新信息、衰减旧信息。解码时每个 token 只需读一次当前状态，内存恒定、速度快。KDA 在此基础上加通道级衰减，GDN2 进一步解耦擦除与写入。
Safin-1 的 MARCH 架构正是叠加在这类循环骨干（GDN/KDA/GDN2）之上，理解循环状态如何被写入和读出是理解状态锚点与路由机制的前提。
KV 缓存与长上下文瓶颈
自回归 Transformer 解码时必须缓存所有历史 token 的 key/value 向量，缓存大小随序列长度线性增长，128K 上下文时内存与带宽成为主要瓶颈；训练时注意力的计算量对序列长度呈二次增长。稀疏注意力方法（MoBA、Native Sparse Attention 等）通过只选部分 token 块参与计算来缓解，但操作对象仍是 token 级键值表示。
本文把稀疏选择的单元从 token 级 KV 块换成压缩后的循环状态快照，这是与现有高效长上下文方法对比时必须分清的核心区别。
Top-K 路由与可学习 null 选项
路由器把当前 token 的隐状态投影为查询 $\rho_t$，与各候选的键 $\kappa_j$ 做内积打分，softmax 得到权重 $\pi_{t,j}$ 后加权聚合候选内容。null 选项是一个负载固定为零、logit 由 $n_t = w_\varnothing^\top x_t + b_\varnothing$ 给出的特殊候选，参与同一 softmax，使模型在不需要历史记忆时能自动跳过检索分支。
MARCH 的检索机制完全建立在此之上；消融显示去掉 null 选项后 NIAH 平均分从 51.33 掉到 45.98，说明它是鲁棒路由的关键部件。
LoRA 与训练匹配对照
LoRA 在冻结的主干权重旁注入低秩矩阵 $\Delta W = BA$（秩 $r$ 远小于原矩阵维度）实现参数高效微调。训练匹配对照指用完全相同的数据、优化器、批大小和更新步数训练对照模型，从而把性能差异归因于方法本身而非训练预算。本文用 rank-8 LoRA（$r=8, \alpha=32$, dropout 0.05）作为 Safety State 的同预算对照。
第 4.2 节的核心结论——安全状态比 LoRA 的过度拒绝更少——依赖这种严格对照设计，不懂 LoRA 就无法评判该对比是否公平。
越狱攻击成功率（ASR）与过度拒绝率（ORR）
ASR 在 WildJailbreak、FORTRESS、StrongREJECT、Jailbreak-R1、JailbreakBench 等对抗基准上衡量恶意提示成功诱导出有害回复的比例（越低越好）；ORR 在 XSTest 等良性提示集上衡量模型把无害请求也拒绝的比例（越低越好）。两者必须成对报告，才能刻画安全与可用性之间的权衡。
本文的安全贡献必须同时看这两个指标：只压 ASR 而推高 ORR 是安全对齐的典型失败模式，表 9 中 LoRA 对照的 ORR 飙升正是例证。
研究动机
长程复杂任务要求模型既能在超长上下文中积累和保留信息，又能在恰当的时机调用合适的行为能力，但现有两条技术路线各有硬伤。其一是记忆：自注意力保留了对历史的细粒度访问，但训练代价随序列长度呈二次增长，解码时 KV 缓存随上下文线性膨胀；循环/线性注意力模型（如 Gated DeltaNet）把前缀压缩成固定大小状态实现常数内存解码，却只暴露最新状态——一旦早期关联被衰减或覆写，旧信息便无法从当前状态恢复。其二是安全：安全性长期依赖外部护栏或事后对齐流程（如监督微调），要改动全部主干权重；而常规参数高效对齐会带来明显的过度拒绝——本文实验中训练匹配的 rank-8 LoRA 使 35B 模型在 XSTest 上的过度拒绝率从 17.60% 飙升至 27.60%，4B 上也从 8.60% 涨到 13.60%。
本文的目标是本文要构建一个把记忆与安全统一进模型原生计算的基础模型家族 Safin-1，目标有三。第一，设计 MARCH（Memory-Anchor Routing across Context History）架构：把循环状态的演化轨迹周期性快照为可寻址的状态锚点，让任何 token 都能按内容检索历史状态，突破单状态循环模型的信息瓶颈，同时完全不改动底层递归更新。第二，在同一路由状态库中引入可学习的持久能力状态，并以安全作为首个实例——冻结主干语言模型，只训练一个可挂载、可卸除的 Safety State，使安全成为由内而外、随取随用的模型原生能力，而非外部约束。第三，通过 0.8B 受控预训练实验隔离架构贡献，再在 4B 和 35B-A3B 规模上做匹配的持续预训练与 SFT，系统验证通用能力、长上下文、检索、安全和效率五个维度的收益。
与已有工作不同的是，已有工作分布在三个方向：token 级稀疏检索（MoBA、Native Sparse Attention 检索的是 KV 缓存的键值块）；扩大循环记忆容量（Multi-State RNN、HGRN2、Log-Linear Attention 维护多个或分层组织的状态）；表示层安全干预（ReFT、CAA 等逐 token 激活转向）。Safin-1 的独特切入是：检索单元不再是 token 或键值块，而是模型自身循环状态的累积快照——记忆与底层循环计算完全同源、因果、端到端可训练；同时让上下文记忆与能力特化共用同一路由状态库：持久安全状态作为矩阵值候选，与动态锚点经同一个 softmax 联合归一化，其逐 token 贡献由既有路由器按上下文动态分配，而非像适配器那样以固定权重叠加，也非像激活干预那样逐位置修改隐藏状态。
核心方法
MARCH 的直觉是：既然循环状态会随时间演化并被覆写，那就在覆写发生前把状态拍快照存进一个不断增长的锚点库，再让后续 token 按需回来查阅。技术上，每 $C=512$ 个 token 设一个边界；边界处不重置、不修改递归更新，只是把当前状态快照为锚点 $A^{(m,\ell)} = S^{(\ell)}_{b_m}$，随后插入的共享锚点嵌入 $\xi_m$ 只读不写，负责生成紧凑的路由元数据。每个文本 token 将归一化隐状态投影为路由查询 $\rho_t$，对因果可见的全部锚点键加可学习 null 选项做 softmax 得权重 $\pi_{t,j}$，再用循环模型原生的读出查询 $q_t$ 加权读取锚点矩阵，以残差方式融合回当前状态读出。实现上采用生产者-读取器分离：生产者沿用 Gated DeltaNet 的 chunkwise 核，读取器按 FlashAttention 风格联合分块、流式归约；默认 Top-4 稀疏路由，128K 长度下吞吐较稠密路由翻倍以上。
核心创新有两点。第一是状态锚点：不同于 Log-Linear Attention 的分层多状态，也不同于 MoBA/NSA 的 token 级 KV 块检索，MARCH 保留的是同一循环记忆在时间轴上的累积快照；锚点键 $\kappa^{(\ell)}_m = W^{(\ell)}_k u^{(\ell)}_m$ 由锚点位置先读取自身对齐的检查点、再经逐层传播生成，因此路由是按锚点内容而非时间索引寻址的，且状态库随上下文自然增长、完全因果、端到端可训练。第二是持久能力状态：状态库除动态锚点外还可存放可学习参数 $P_j$，本文把安全实例化为逐层集合 $\{P^{(\ell)}_{\text{safe}}\}_\ell$，在冻结主干的前提下仅优化这些矩阵值状态。它与动态锚点经同一 softmax 联合归一化（式 8），路由器按每个 token 的上下文决定其贡献——这使安全成为可挂载、可卸除、按需调用的原生状态能力，这也是论文所称 Safety from Within 的确切含义：安全在哪里被表示和调用是原生的，但其监督仍来自外部有害/良性样本。
方法步骤详情
流程分五步。（1）锚点放置：按边界集分段并插入共享锚点嵌入，文本位置执行原始递归更新，边界处把当前状态检查点为 $A^{(m,\ell)}$，不重置递归。（2）锚点元数据：锚点位置只读自身检查点，投影出 $d_r=64$ 维路由键 $\kappa^{(\ell)}_m$。（3）内容路由：$\rho_t = W_R x_t$ 与各键内积打分，可学习 null 选项 logit 为 $n_t = w_\varnothing^\top x_t + b_\varnothing$，softmax 得 $\pi_{t,j}$。（4）融合与稀疏化：$o_t = S_t q_t + \sum_j \pi_{t,j} A^{(j)} q_t$，默认 Top-4；Safin-1 在 16 个 GDN 层启用。（5）安全特化：STAR-1 的 1000 条有害加 STAR-benign 的 915 条良性对话共 1915 个目标，配 0/512/2048 token 前缀得 5745 条样本；冻结主干，仅优化 Safety State（逐 token 交叉熵），同数据 rank-8 LoRA 作对照。
技术新颖性
技术新颖性体现在三个层面。架构层面：把可扩展记忆的成本从保存更多 token 表示降为保存压缩状态快照——锚点矩阵 $A^{(m,\ell)}$ 与循环状态同构，是端到端训练出的内容寻址记忆；且论文证明同一读取器可跨状态库布局迁移（C=512 训练的模型推理时换用 C=256 甚至训练中未见过的 Fenwick 树组织仍保持竞争力，NIAH 4K 达 63.33）。机制层面：动态上下文记忆与持久能力参数首次在同一路由框架下统一，安全状态无需额外门控或固定系数，其贡献完全由既有路由器的 softmax 权重决定，天然实现按需调用。工程层面：生产者复用 Gated DeltaNet 的 chunkwise 核保持张量核友好，读取器按 FlashAttention 原则对查询 token 与状态候选联合分块、复用候选 tile、流式完成打分-归一化-加权读出，避免物化稠密路由矩阵和逐候选读出张量；Top-4 稀疏路径使 128K 时核心运行时较稠密路由降低约一个数量级，端到端吞吐翻倍并超过 FlashAttention-2。
实验结果
结论分三块。（1）0.8B 受控验证：MARCH 在 8 个常识基准平均 41.5，超过 GDN 的 40.1 与两个全注意力参考（41.3/41.4）；LongBench 14.9 对 GDN 11.9（+25%）；六个真实检索集 23.3 对 20.5；RULER NIAH 24 个组合中 19 个领先，32K 外推增益最大；加到 GDN/KDA/GDN2 后 11/12 个设置提升（GDN 版 31.58→46.43）。（2）规模化（CPT 50B + SFT 30B）：4B 宏平均 66.79→69.20，35B 76.25→78.35；AIME 2025 +8.02/+8.22，MMLU-Pro(4B) +9.28，GPQA(35B) +6.56；平均 ASR 降至 6.65（4B）/5.89（35B）。（3）Safety State：4B 平均 ASR 6.65→3.84（−42.3%），35B 5.89→2.81（−52.3%），优于 LoRA（5.33/3.04）；LoRA 把 XSTest 过度拒绝推到 13.60/27.60，安全状态仅 9.00/19.60。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| RULER NIAH（0.8B，6任务4K-32K平均，GDN骨干） | 准确率 | 46.43（GDN+MARCH） | 31.58（Gated DeltaNet） | +14.85 分（相对 +47%） |
| LongBench（0.8B，12任务平均） | 分数 | 14.9 | 11.9（GDN） | 相对提升 25% |
| AIME 2025（35B-A3B，CPT+SFT后） | Avg@64 | 80.10（Safin-1） | 71.88（匹配的 Qwen3.5） | +8.22 |
| MMLU-Pro（4B，CPT+SFT后） | 准确率 | 67.55（Safin-1） | 58.27（Qwen3.5） | +9.28 |
| 平均越狱 ASR（35B-A3B + Safety State） | ASR%（越低越好） | 2.81 | 5.89（未适配）/ 3.04（rank-8 LoRA） | 相对降 52.3%，且低于 LoRA |
| XSTest 过度拒绝（35B-A3B + Safety State） | ORR%（越低越好） | 19.60 | 27.60（rank-8 LoRA） | 低 8.0 分 |
| 训练吞吐（128K 序列长度） | tokens/s | MARCH Top-4（超过 FlashAttention-2） | MARCH 稠密路由 | >2倍，核心运行时降约一个数量级 |
局限与改进
作者承认的局限：状态库随上下文增长，稀疏路由只省读取不省存储；固定间隔锚点会保留冗余快照；大规模证据仅覆盖两个 Qwen3.5 配置和单一 CPT-SFT 流水线；安全语料很小（5745 条）且只在英文基准评估，未覆盖自适应攻击、多语言攻击和状态篡改；35B 能力保留呈任务依赖性（AIME 80.10→74.21，MMLU-Pro 75.98→72.61）。我的补充观察：多个越狱基线的 ASR 本就在 1% 量级（StrongREJECT 1.28、JBB 1.00），改进的绝对空间有限，且 4B 上 StrongREJECT 反而从 1.28 升到 1.60，显著性存疑；可拆卸性带来新的完整性攻击面——持久状态及其路由通路必须防卸载、防替换、防对抗抑制，论文只提出问题未给防御；35B 上 MMLU、XSTest 等少数指标出现回退，说明逐层注入矩阵状态并非无代价；安全声明依赖有限的五个英文基准，距离真实部署环境的对抗压力还很远。
独立分析的弱点
独立分析四个弱点。一是存储可扩展性：C=512 时 128K 上下文每层需存 256 个 $d_v \times d_k$ 矩阵，乘以 16 个启用层在 35B 级模型中显存开销可观，改进方向是自适应锚点创建、合并与淘汰（作者已列入议程），或对陈旧锚点做低秩压缩。二是安全评估强度不足：JBB、StrongREJECT 的基线 ASR 已在 1% 上下，小样本下随机波动即可掩盖差异，且未测试自适应攻击者——对手可构造抑制路由权重或诱导 null 选项的提示，建议增加针对路由通路的对抗鲁棒性基准。三是 35B 能力保留代价：AIME 掉 5.89 分（80.10→74.21），说明安全状态注入会扰动长链推理，可探索多目标联合优化或在路由 softmax 中给持久状态设上限。四是对照可能偏弱：rank-8 是很小的 LoRA 预算，与更大秩、全参对齐或 DPO 的比较缺失，结论外推性受限；CPT+SFT 的数据混合细节若不开源，匹配复现也困难。
未来方向
作者提出的议程：自适应锚点创建、巩固与淘汰机制；在更广泛模型家族与上下文区间上验证；研究多个持久状态如何无路由冲突、无能力干扰地共存与组合；保护持久状态与路由通路的完整性以抵御卸载、替换和对抗抑制。基于本文成果可进一步延伸：把持久能力状态推广到安全之外的可复用行为（领域推理风格、格式遵循、多语言切换、长程规划），研究持久状态之间的组合代数与干扰度量；把 Top-K 状态路由与层次稀疏注意力统一成混合检索框架；利用锚点库在解码端做状态复用以加速推理；训练多语言、对抗鲁棒的安全状态以弥补当前仅英文、非自适应攻击的评估空白；以及探索持久状态的签名与校验机制，把 detachable 的工程优点转化为可审计的安全治理接口。
复现评估
论文页首给出 GitHub 与 Hugging Face 链接（上海 AI 实验室 Safin 团队），若模型与代码如期开源则门槛分层明显。容易复现：0.8B 受控实验（21 层、hidden 1536、6 值头、约 0.8B 参数，Long-Data-Collections 的 50B token 子集，16K 序列，配置见表 10）属学术规模；最亮眼的安全状态训练只需 5745 条样本、冻结主干、逐 token 因果交叉熵（见表 13），少量 GPU 即可，是最值得独立验证的部分。困难：4B/35B 的持续预训练（Intern-S2 混合 50B token）与 SFT（Nemotron-Cascade-2-SFT-Data 30B token、32K 序列）需要大规模集群，独立复现不现实，但可用开源权重做评测对齐。评估全部基于公开资源：LM-Evaluation-Harness、RULER、LongBench、五个越狱基准与 XSTest。关键超参披露完整：$d_r=64$、$C=512$、Top-4、LoRA $r=8/\alpha=32$/dropout 0.05。
论文图表
左半部分是三组代表性结果柱状图：0.8B 架构验证中 MARCH 使 NIAH 提升 +47.0%（31.58→46.43）；35B-A3B 上 AIME 2025 Avg@64 提升 +11.4%（71.88→80.10）；4B 安全面板显示 Safety State 使平均 ASR 相对下降 47%（6.65→3.84）。右半部分是架构示意：模型对上下文导出的记忆状态和持久记忆状态进行路由，实现选择性读取。
一图总览论文的三大贡献点（0.8B 架构验证、35B 能力扩展、4B 安全特化）及各自的关键数字，是快速把握全文贡献的最佳入口。