VisionHOPE：作为自修改学习系统的视觉主干网络 VisionHOPE: Visual Backbones as Self-Modifying Learning Systems

第一步，序列化：内部特征图 $Z\in\mathbb{R}^{B\times D_m\times H\times W}$ 经 $P_r$ 沿 →、←、↓、↑ 四向展开为 $Z^r\in\mathbb{R}^{B\times N\times D_m}$；行主序路由 chunk 长度为 $W$、列主序为 $H$（层级模型四阶段为 56/28/14/7，plain 模型为 14），每方向独立的五记忆状态由可学习初值初始化。第二步，chunk 内并行生成：边界状态 $M^k,M^v,m^\eta,m^\alpha$ 对 chunk 内所有 token 并行算出 $k_t,v_t$，以及 $\eta_t=\gamma_\eta\,\mathrm{softplus}(s_t^\eta)$（$\gamma_\eta=0.025$）和 $\alpha_t=\sigma(s_t^\alpha+\mathrm{logit}(\alpha_{init}))$（$\alpha_{init}=0.9$），键做稳定 L2 归一化。第三步，步长控制：由 $\delta_t=k_t-v_t$ 得 $r_t=\sqrt{\|\delta_t\|^2+\epsilon^2}+\epsilon$ 与注入上限 $\eta_t^{inj}=(1-\alpha_t)/r_t$，软帽得 $\bar\eta_t$；再取谱限 $\eta_t^{spec}=2\alpha_t/\|k_t\|_2^2$，执行步 $\tilde\eta_t=\min(\bar\eta_t,\eta_t^{spec})$。第四步，SR-DGD 更新：每记忆计算学习信号 $g_t^\square=M_{t-1}^\square k_t-\hat v_t^\square$，按 $M_t^\square=M_{t-1}^\square(\alpha_t I-\tilde\eta_t k_t k_t^\top)-\tilde\eta_t g_t^\square k_t^\top$ 更新，chunk 末状态成为下一 chunk 的边界。第五步，读出融合：查询 $q_t=W_q x_t$ 读内容记忆得 $y_t=M_{t-1}^m q_t$，四向输出经 $P_r^{-1}$ 恢复到网格后按 $Y=\sum_r \lambda_r\odot P_r^{-1}(Y^r)$ 融合。第六步，块结构：双 pre-norm 残差分支，第一支 Projin→门控 DW 卷积→VisionHOPE 算子→Projout，第二支 FFN；头维 $d=16$、内部宽度 $D_m=D/2$，层级模型配 MESA 训练。

概念上，这是第一个被形式化为自修改学习系统的通用视觉主干，把 fast weights、learned optimizer、自参考权重矩阵（Irie et al. 2022）与 NL 等线索统一到视觉领域，将图内适应范围从内容推进到学习规则本身。理论上，它给出自参考循环记忆的首个视觉稳定性证明：互补算子界 $\|A_t\|_2\le\alpha_t$、$\|B_t\|_2<1-\alpha_t$ 经三角不等式得逐 token 非扩张，再借共享右乘增益表示 $M_t^\square=M_b^\square G_t$、$G_t=G_{t-1}A_t+B_t$ 把结论推广到 chunk 级（Theorem 1），且证明是构造性的、含有限精度保护（$1-10^{-3}$、$1-10^{-6}$ 内缩因子）。设计上软帽与硬钳各司其职：软帽一阶保真小步长、保留学习率记忆的梯度式调制（换硬钳后 49.68% 更新被截断、精度掉到 81.8），谱钳实测仅 0.0044% 更新激活、纯作理论兜底（去掉精度不变）。工程上行/列对齐 chunk 与四向扫描结合，$C=14$ 相比 $C=1$ 推理加速 2.86 倍且精度相当。

第一，方向性扫描的各向异性：单方向记忆会沿扫描轴形成偏置（Vim 的 ERF 呈强方向性模式即为例证），VisionHOPE 用四向加通道融合缓解，但四条独立 SRNL 实例使状态量与延迟近似翻两番。改进方向：探索非因果或二阶动态扫描在自参考框架下的等价物，用更少方向覆盖二维依赖。第二，chunk 边界陈旧性：chunk 内固定边界状态生成 $k_t,v_t,\eta_t,\alpha_t$，长 chunk 滞后于图内演化——消融中 $C$ 从 14 增到 28 掉至 82.0，$C=1$ 反而 82.4 但慢 2.86×。改进：自适应 chunk 长度或细粒度生成、粗粒度刷新边界的层级 chunk。第三，稳定性界保守：证明走三角不等式 $\|T_t\|_2\le\|A_t\|_2+\|B_t\|_2$，实际 $\|A_t+B_t\|_2$ 可能远小于 1，逐 token 都被过度约束，可能压制有效学习率。改进：让网络学习保留与注入间的余量分配函数，或直接对 $T_t$ 做联合谱约束。第四，记忆容量受限：每头记忆是 $16\times16$ 线性矩阵，表达力有限（原版 NL 用 MLP 记忆但无闭式 L2 递推）；消融显示 $d$ 从 16 增到 32 参数涨到 27M 而精度反降至 82.2，说明单纯加宽无效。改进：为非线性记忆设计带稳定性证书的隐式更新。第五，训练技巧依赖：层级模型依赖 MESA（epoch 75 起、EMA 衰减 0.9998、软损失权重 1.0/1.5/1.5）而 plain 模型不用，削弱了跨配置对比的干净程度，应报告统一无增广训练下的对比。

作者明确提出的方向：把 VisionHOPE 作为 MLLM 的视觉编码器，检验自修改记忆在多模态理解中的价值；扩展到医学影像、遥感等领域专用任务。基于成果可自然延伸的方向：其一，与 NL 的 CMS 结合，为判别视觉设计图内自监督在线目标（如图像块遮挡重建、扫内对比学习），实现多时间尺度记忆，逼近完整 HOPE 在视觉的对应物；其二，扩展到视频，把时间轴作为第五扫描方向或让记忆跨帧保留，检验自修改机制在长时序中的记忆保持优势——这正是保留因子 $\alpha_t$ 设计的用武之地；其三，把稳定性理论推广到非线性记忆与记忆-注意力混合架构，给出更紧、更少保守的界；其四，系统级 scaling 实验：在 1B 级参数与更高分辨率预训练下检验自修改收益是否随规模增长，回答它是否具有 ViT 式的扩展曲线；其五，利用执行步长图（Figure 6）与物体对齐的现象，把 $\tilde\eta_t$ 空间图发展为免费的显著性/定位输出，或用于弱监督定位任务。

复现条件较好。代码开源（摘要给出链接）；三个基准全部公开（ImageNet-1K、COCO、ADE20K）；附录提供完整配置：层级/plain 模型的逐 stage 宽度、深度、头数（Table 6/7），训练协议（AdamW、300 epoch、lr $10^{-3}$、全局 batch 1024、20 epoch warmup、随机深度率、层级模型的 MESA 细节），以及初始化与数值细节（截断正态 0.01、$m^{\eta_0}=m^{\alpha_0}=0$、$\gamma_\eta=0.025$、$\alpha_{init}=0.9$、$\epsilon=10^{-6}$、谱钳分母下界 $10^{-20}$、有限精度内缩因子 $1-10^{-3}$ 与 $1-10^{-6}$）。效率测量注明单张 A100、BF16、固定 batch 8，Tiny/Small/Base 三档齐备。理论部分（附录 B.1–B.4）推导完整可逐行验证。难点在工程：四向扫描 × 多头 × 五记忆的分块递推需要高效 CUDA/Triton 算子，纯 PyTorch 逐步循环会极慢；ImageNet 300 epoch 从零训练需多卡（估计 8×A100 数天），检测/分割迁移还需额外微调预算。总体复现难度：中高，代码到位后可复现主要结论，但从零训练成本不小。