HY-WU (Part I)：可扩展的函数式神经记忆框架及其在文本引导图像编辑中的实例化 HY-WU (Part I): An Extensible Functional Neural Memory Framework and An Instantiation in Text-Guided Image Editing

完整的方法流程按模块依次为：（i）混合条件提取——使用 SigLIP2 编码器对图像 $I$ 和文本 $p$ 编码并拼接，得到 $U \in \mathbb{R}^{L_U \times D}$，作为 NNT 的 cross-attention 上下文。（ii）秩锚定的 2D 参数 tokenization——对每个 LoRA 适配器 $A \in \mathbb{R}^{d_{in} \times r}$、$B \in \mathbb{R}^{r \times d_{out}}$，先求 $d = \gcd(d_{in}, d_{out})$、$d_{in} = nd$、$d_{out} = md$，再把 $A$、$B$ 沿通道维切成 $r \times d$ 的小片并重组为统一张量 $\mathcal{T}_W \in \mathbb{R}^{(n+m) \times r \times d}$；跨层的 token 进一步拼成 $\mathcal{T} \in \mathbb{R}^{l \times s \times r \times d}$。这个设计把"秩"作为稳定的锚定维度，让所有层的 token 形状一致但保留了二维结构。（iii）Neural Network Transformer（NNT）——采用 24 层、32 头、hidden 4096 的 Transformer（详见 Table 2），但把标准 self-attention 替换为 factorized attention：层内 attention 沿 $s \cdot r$ 维度捕捉同层不同模块的相关性，层间 attention 沿 $l$ 维度捕捉跨层演化；位置编码用独立 RoPE 施加于 $l$、$s$、$r$ 三个轴以保留结构索引；条件 $U$ 通过 cross-attention 注入；LoRA B 的输出投影零初始化以保证训练起点不破坏预训练主干。（iv）端到端 on-the-fly 训练——冻结主干 $\theta$，训练循环为 $U \leftarrow \mathrm{Enc}(I,p), \Delta\theta(x) \leftarrow g_\phi(U), \hat{I} \leftarrow f_{\theta+\Delta\theta(x)}(I,p), \phi \leftarrow \phi - \eta \nabla_\phi \mathcal{L}_{edit}$，梯度穿过生成的 LoRA 反向传播到 $g_\phi$。（v）系统优化——冻结的图像/文本编码器用 Data Parallel，主干和生成器用 FSDP2 分片参数、梯度和优化器状态，主干的长序列用 DeepSpeed-Ulysses、生成器用 DSP 做序列并行；MoE 推理用 FlashInfer、训练用 Triton kernel，并整体启用 torch.compile。

技术新颖性主要体现在四个层面。第一，**训练范式层面**：之前的超网络路线（Schürholt 2024、Wang 2025a、Liang 2025 等）几乎都依赖预收集 checkpoint 的重建损失，HY-WU 是少数直接用下游任务损失训练参数生成器的工作（Figure 2c），可扩展性显著提升。第二，**tokenization 层面**：提出 rank-anchored 2D tokenization，把异构的 $d_{in} \times d_{out}$ 矩阵统一映射到 $\mathbb{R}^{(n+m) \times r \times d}$ 的规则张量，既保留二维结构又让所有层 token 形状一致，避开了简单 flatten 会破坏秩与通道语义的问题。第三，**attention 层面**：用 factorized attention 把 $O(l^2 s^2 r^2)$ 的全局 attention 拆为层内 + 层间两次较低复杂度的 attention，配合 RoPE 在 $(l, s, r)$ 三轴分别编码，让生成器对网络结构位置保持敏感。第四，**机制证据层面**：Section 5 用 conflict 编辑（restoration vs aging / deblurring vs blurring）、梯度余弦相似度矩阵（图 9）、alignment ablation（Table 7）、参数空间 t-SNE（图 10、12）等多视角证据系统证明"路由而非容量"才是增益来源——这些诊断实验的设计本身就是方法贡献的一部分。

在独立分析视角下，几个值得关注的弱点：（1）**NNT 自身的开销与延迟**：8.11B 参数的 transformer 在每张编辑图上都要跑一次，理论上可以通过 cache 重复条件、跨扩散 timestep 摊销生成成本，但论文只在 Section 7.6 简要提及"caching generated adapters"而未给出实测数据。一个具体的改进方向是引入条件向量量化（VQ）把高频条件路由到缓存的"原型 LoRA"上，只对长尾条件才调用完整 NNT。（2）**对齐实验的对照粒度**：Table 7 用 Average PG 和 Shuffle PG 证明 routing 必要，但未测试"在路由中引入噪声"等更细粒度的扰动，难以判断系统对条件质量的鲁棒性。改进方向是引入 condition dropout 或 noise injection 做敏感度分析。（3）**功能记忆的存储语义尚未工程化**：HY-WU 把 $g_\phi$ 类比为"神经记忆"，但它本身是一个固定的 8.11B 模型，没有真正的"新增条目"操作；用户级个性化时如何隔离不同用户的记忆空间并未讨论。一个可能的改进是为不同 session 维护不同的 NNT adapter 或 prompt prefix，从而让 $g_\phi$ 真正具备"长时记忆可加性"。（4）**编辑任务的"目标冲突度量"尚未量化**：论文用 qualitative 的 conflict pair 演示 Shared LoRA 的妥协，但缺乏对冲突程度与性能差距之间的定量曲线；改进方向是引入任务间梯度余弦相似度的统计量作为"冲突预算"，并报告 HY-WU 在不同冲突预算下的鲁棒性。（5）**风格化编辑的细节仍待加强**：Figure 13–17 的定性示例中，对极端风格化（油画、卡通）和大幅度身份替换的细节仍偶有伪影，论文未提供失败案例的系统性分析。

论文 Section 7 提出了 HY-WU 系列的明确路线图 R1–R6，包括：（1）**R1 检索 + 功能记忆的协同**：设计 retrieval-only / retrieval + static / retrieval + functional 三组对照实验，明确"事实性任务归检索、规则性任务归功能记忆"的分工。（2）**R2 在线持续学习协议**：在 $g_\phi$ 端实现真正的 sequential task arrival，研究 replay、regularization、modular expansion 在生成器层面的新形态。（3）**R3 神经记忆的规模律**：固定 backbone、扫描 NNT 容量、LoRA 秩、token budget、conditional entropy，绘制第二维缩放曲线。（4）**R4 超越 LoRA 的算子接口**：扩展到 adapters、gating、input-conditioned modulation 等更丰富的 PEFT 接口，甚至层级化算子合成（粗更新控制高层行为、细更新控制局部编辑）。（5）**R5 长时多模态记忆**：R5.a 视频人物一致性生成、R5.b agentic 多模态系统的程序性技能。（6）**R6 安全与治理**：在 $\Delta\theta(x)$ 上加 norm/rank 约束、安全 filter、可回滚的记忆删除机制。此外，基于本文成果可自然延伸的方向还包括：用本框架对 RLHF 阶段的奖励模型做条件化，让奖励信号本身按 prompt 路由；把功能记忆接入世界模型或具身智能体的策略网络中以缓解多任务策略的干扰。

复现难度整体偏高。（1）**模型权重与代码**：项目主页 https://tencent-hy-wu.github.io 已建立，但截至论文发表未明确给出权重和训练代码的发布时间，复现门槛主要看后续开源节奏。（2）**数据**：训练数据未完全披露（Section 4.1 只给出 backbone 名称），评测使用了内部 WU-Eval（单图 346 例 + 多图 64 例中英双语，覆盖 60 个子任务）以及公开的 GEdit-Bench 和 ImgEdit-Bench，后两者可直接获取。（3）**算力**：NNT 8.11B + 主干 HY-Image-3.0-Instruct（80B-A13B）的端到端训练需大规模 GPU 集群，论文 Section 3.7 提到的 FSDP2、DeepSpeed-Ulysses、DSP sequence parallel、FlashInfer、Triton kernel、torch.compile 等组合都指向工业级基础设施；论文未给出 GPU 小时数或训练 token 数。（4）**关键超参**：Table 2 详细列出 NNT（24 层、32 头、hidden 4096、intermediate 16384）和生成 LoRA（rank=16、layer 32、token/layer 24、dim d=128）的设置，但训练学习率、优化器、batch size 等未披露。**总体判断**：核心思路（条件参数生成 + on-the-fly 训练）可在更小规模（如 SDXL + Qwen2-VL + 1B 级 NNT）上复现并验证机制，但要复现 Table 3–5 的 SOTA 数字几乎只能依赖腾讯团队的完整资源。