训练模型而非阅读器：面向可验证激活解释的可解码性监督 Train the Model, Not the Reader: Decodability Supervision for Verifiable Activation Explanations

完整流程分五步。第一步选定 tap 层（沙盒 layer 4/8，Pythia-160M layer 6）与外部 target 设计：沙盒里指定 name/place/object 等 slot 值，真实规模上指定 trailing-64 词窗口里的 top-K 内容词 presence 和 offset-8 token identity，其中 target 必须满足'不真判别就无法最小化损失'的设计规则。第二步把类平衡 BCE + CE 头损失以权重 $w$（沙盒 0.3、真实规模 0.1）加进 LM 损失，对 $\theta$ 和 $\phi$ 联合训练 3,000 步（沙盒）或 500M token（Pythia-160M，batch 64×1024，AdamW lr $10^{-4}$ cosine 到 10%，bf16 autocast 但强制 fp32 参数以避免 AdamW 在 fp16 下 epsilon 下溢毁权）。第三步用独立拟合的 ridge/logistic 探针在 tuple-disjoint 或 held-out 切分上验证可解码性，确认指定 target 达到 ~1.0 AUC 而 never-designated 桶留在控制水平（不可能性控制）。第四步在 RECAP 训练好的目标模型上从头训练一个全新的 NLA（与控制组用完全相同的 cold-start SFT + 重构器拟合 + 拒绝采样流程，只换底下的目标模型），读其解释并与精确 ground truth 比对。第五步部署探针监督：fresh per-slot 探针读 tap，对每条口头化器声明在 $p>0.9$ 置信度下做真伪裁定，并在必要时按 disjoint calibration split 校准阈值、用 held-out 词带做反循环性控制。

技术新颖性体现在四个互锁的设计选择上。其一，把深度监督（Lee 2015 deeply-supervised nets、Szegedy 2015 GoogLeNet aux heads）的目标从'任务标签'换成'要保持可解码的外部内容'，这是深度监督谱系里新的用途。其二，把可解释性干预从'解释已训练模型'翻转为'训练一个可被独立验证的模型'，与 concept bottleneck、concept whitening、codebook features、gradient routing 等只在表示几何上加约束的方法不同，RECAP 只加线性头而不约束信息流。其三，作者系统性地识别并解释了三种解释性动机的替代方案为何失败：重构目标导向的目标会崩塌可解码内容（非对比 SSL 崩塌）、冻结探针会在漂移下失配、直接奖励 grounding 只重组句子而不增加 claim-level 接地。其四，论文把'可解码性 ≠ 可口头化性'这一不对称作为方法论警钟：probe 在 decode-point 能读出 0.79–0.81 AUC，但同一个重构器生成的精度只有 0.56–0.63，说明自由文本是把稀疏叠加特征序列化的有损渲染，因此最终可靠的 readout 是探针而非散文。

弱点一，规模与开放性：核心 claim-level 忠实性证据全部来自闭集沙盒和一个 160M 小模型，前沿规模（7B+）下 LM loss 代价、presence 头捷径、漂移速率都可能不同。改进方向是把 RECAP 接到继续预训练的中型模型（1B–7B）上，并用更丰富的自监督 target（如多跳关系、实体共指）测试开放词表的迁移。弱点二，'可口头化性缺口'未解决：即使内容可解码，自由 verbalizer 仍只能传达一部分（精度 0.44–0.63 对 probe 0.79–0.81），论文尝试了重构器扩容到 3B、直接 truth reward、注入带宽、显式负监督都没补上，作者归因于序列化稀疏叠加特征的固有代价。改进方向是把 verbalizer 从自由生成换成探针引导的受约束解码（probe-guided constrained decoding），让生成轨迹由探针读数显式评分。弱点三，RECAP 是运行成本而非一次性设置：head-free 微调在 ~250 步内就侵蚀大部分可解码性（b1/b2 从 0.983/0.992 掉到 0.789/0.812），且这是可解码性本身的消失（比冻结读者失配更强）。改进方向是把间歇监督（每 10 步一次，1/10 算力）做成标准 post-training pipeline 的一部分，或研究最小维持剂量的自适应调度。弱点四，行为惰性：patching tap 几乎不动行为（~0.003），说明被指定的内容是'可检查但行为无关'的，监视器可能查出模型并不真用的'幽灵内容'，给虚假安全感。改进方向是把 RECAP target 与下游行为任务挂钩（如因果中介分析选定的特征），保证可解码性同时是行为因果有效的。

作者直接提出的方向：(1) 把审计协议（grounded-vs-true 交叉、evaluator swap、Lie-Ladder）标准化为开放工具，供社区审计任意 NLA；(2) 解决'可口头化性缺口'，让自由生成能完整传达可解码内容；(3) 把 RECAP 扩展到前沿规模并测开放词表 claim；(4) 研究间歇监督的最优调度。基于成果可延伸的方向：其一，RECAP 的'外部 ground truth 深度监督'框架天然可对接稀疏自编码器——用 SAE 特征作为 target，让指定特征可解码且与行为因果挂钩，可能同时解决行为惰性问题。其二，evaluator swap 检测私有代码的思路可推广为通用的'协同训练泄漏检测器'，用于审计任何 reader/writer 对（如 RLHF 中的 reward model 与 policy 是否共谋）。其三，drift-and-repair 的线性 map 解剖（旋转恢复一半、rank 16–64 非正交恢复全部）可与模型缝合 (model stitching)、tuned lens 的工作结合，给出表示漂移的精细几何理论。其四，把探针监督从报告空间（编辑文本）扩展到激活空间对抗（Bailey 2024 obfuscated activations），测试 RECAP 在 activation-level 攻击下的鲁棒性，这是论文明确留作 future scope 的威胁模型。其五，研究'指定内容的因果有效性'判定标准，区分'幽灵存储'与'真实计算路径'。

复现评估总体良好。算力门槛低：所有实验在单张 NVIDIA A100-80GB 上跑（Modal 平台，Debian-slim，Python 3.12，PyTorch/Transformers/Accelerate/NumPy 版本在发布的环境文件里 pin 死），沙盒 8 层 d=256 transformer 从头训练 120k 故事，Pythia-160M 继续预训练 500M token，普通学术组可负担。数据全部公开或可合成：Pile、FineWeb、Pythia-160M checkpoint 都是开放的，沙盒域用闭集模板语法生成，grammars/seeds/hyperparameters 在附录 K 给出。方法超参（aux weight、target count K、designation dose、tap layer、head capacity）在 Ablation Index（表 11）里列了测试值与选择规则，optimizer 超参固定为标准值未做 sweep。统计严谨：全程用 95% bootstrap CI 和 disjoint-interval 比较，held-out band null 还做了 Hanley–McNeil power analysis。关键陷阱有记录：fp16 checkpoint 在 AdamW 下因 epsilon 下溢一步毁所有权重（loss/grad 还显示正常），必须强制 fp32 参数。独立性原则贯彻：所有可解码性数字用全新探针测，K=512 朴素头的捷径正因如此才被发现。主要的不可复现风险：已发布的 Qwen-2.5-7B AV/AR 对虽是公开的，但作者自己的 RECAP 模型 checkpoint、沙盒 NLA checkpoint、audit artifacts 是否完全开源未在正文明确（附录提到'artifacts persist per-claim reconstruction deltas'但未给出仓库链接），这是复现 §5.4 verbalizer audit 和 Lie-Ladder 的潜在障碍。