WeLM-Image：面向视觉智能的统一图像生成模型 WeLM-Image: A Unified Image Generation Model towards Visual Intelligence

全流程分数据、预训练、后训练、蒸馏四步。数据：约 50 亿原始图文对经分辨率/模糊/去重/安全过滤得 6 亿 curated 池（59.74% 分辨率不低于 1024）；以 Cilin + 微信知识图谱构建含本体层级、同义词与检索扩展的视觉词表，用 Qwen3-VL-Embedding 加平衡层次球形 k-means 对数亿图聚类；T2I 数据按 KG 概念配额采样并做图像-概念双向语义校验；编辑数据在簇级做任务均衡分配（编辑标签作为硬先验）、簇内真实图像对挖掘（图变体成小图、两两组合扩增）与专家模型构造（多采用反向构造保持真实目标），再经 VLM 质检和差异锚定的指令改写；多参考数据覆盖 18 类任务、约 75 万实体池、数十万样本，指令显式绑定每张 Image k 的角色。训练：双路径均从 Kimi-VL 检查点初始化（GEN 复制 UND 权重），按 512→1024→1536→SFT 四阶段渐进（上下文 16K→32K→64K，学习率 $10^{-4}$，SFT 降到 $2.5\times10^{-5}$，时间步 shift 从 1.0 调到 4.0），混合比从含 20% 理解数据过渡到纯生成任务（SFT 为 T2I 60%/编辑 30%/多参考 10%），caption 长短比 4:3:3。后训练：冻结骨干只训生成侧 LoRA（含 MoE 层，消融显示这持续有益），T2I 分支用四项 VLM 奖励（rubric 逐条对齐、成对美学、专用中英字形结构异常感知模型的文字渲染、视觉自然度；GDPO 归一化，DiffusionNFT 优化），I2I 分支按 27 类编辑动作、难度 3:5:2 配比，用 checklist 三维奖励并以指令遵循为乘性门控 $r_{edit}=r_P(0.4+0.4r_C+0.2r_Q)$；随后噪声感知 OPD 把两个专家合入单个学生（$\hat{v}=v^T_q+h_t(v^T_q(x_t,t,c_{PE})-v^T_q(x_t,t,c))$，高噪声用 prompt 增强教师管全局布局、低噪声用 RL 教师管局部细节）；最后以 MeanFlow 一致性蒸馏 + DMD 式在线轨迹对齐 + 局部轨迹锚定，得到 8/4 步 guidance-free 的 WeLM-Image-Turbo。

技术新颖性可归纳为五点。其一，MoT–MoE 把 MoT 的任务参数分离与 MoE 的稀疏扩容正交组合，且专家池按路径隔离、路由容量不对称（top-6 vs top-20），这种「分离内部的稀疏化」在统一图像模型中少见。其二，3D RoPE 追求的是「精确兼容」而非近似：不在语言 RoPE 之上叠加第二套空间编码，而是在单一旋转算子内重排 32 个通道对，文本相位恒等退化 $\phi^{3D}_k(p,p,p)=p\omega_k$，交错分配同时规避了高频对落入时间轴引发的梯度尖峰。其三，流匹配损失按图像级归一化（先在图内 latent 平均、再按图聚合），使不同分辨率目标贡献相等，防止大图主导梯度。其四，噪声感知 OPD 用阶跃函数 $h_t$ 在去噪不同阶段切换 PE 教师/RL 教师监督目标，把两个 RL 专家的互补能力合并到单模型，免去推理时切换适配器。其五，训练期评估驱动的数据反馈回路：rubric 通过率按维度跟踪、失败模式回灌为语料重采样与配比调整，使数据组成成为主动优化变量而非固定配方；多参考构造中「VLM 裁判优于指标阈值」的受控腐蚀实验也是有价值的工程结论。

独立分析四点弱点。其一，组合推理薄弱：GenEval 计数/位置与 OneIG 推理维都偏低，说明理解路径虽存在但未把空间规划能力转化为生成约束，改进方向是把计数、空间关系类 rubric 维度纳入 RL 奖励并按类别重采样失败语料，配合更强的 CoT 空间规划数据。其二，多参考一致性依赖 VLM 裁判且只支持 2–4 张参考，身份保持缺少显式机制（如身份解耦表征或注意力级参考绑定损失），在换装、合影等任务上可能仍有属性串扰，可引入 ID embedding 与逐参考对比学习。其三，推理管线完全未优化：4.98s 相对 Qwen Lightning 的 3.21s 仍有差距，FP8 量化、定制注意力 kernel、step caching、图编译都有空间；Turbo 已支持 4 步模式但主推 8 步，可研究按难度自适应分配步数。其四，理解路径的 2.2B 激活参数基本只用于条件编码，语言与视觉问答能力没有量化报告，「统一带来视觉智能」的核心主张缺乏理解侧证据，应补齐理解基准并消融理解数据占比对生成质量的因果贡献。

作者明确提出三个方向：更强的视觉推理、复杂指令下更可靠的控制、持续提升效率；并计划在下一版本系统改进视觉理解能力，同时保持生成与编辑为主要应用目标。基于本文成果可延伸的方向包括：把任务分离 RL + 噪声感知 OPD 的后训练范式推广到视频生成与编辑；将 MeanFlow 少步蒸馏与 OPD 合并为单阶段端到端训练以避免多级蒸馏的累积损失；利用微信真实用户反馈做在线 RLHF 与个性化风格适配；把 KG 词表 + 视觉聚类的数据引擎抽象为可复用的开源数据构建框架；探索 2K+ 原生分辨率与超过 4 张参考图的长上下文扩展（上下文并行已就绪）；以及量化理解路径对生成质量的贡献，验证「理解促进控制」的因果链条。

复现难度很高。这是一份纯技术报告，全文未提及代码、权重或数据开源；数据引擎依赖微信内部知识图谱、内部图池与专有基础设施（COS/Ray/Pulsar/ES，持续 15,000+ QPS、部分模块超 100,000 QPS），50 亿到 6 亿的原始池无法获得；训练算力总量未披露（只给出 FSDP shard 32、上下文并行 2 等并行配置，未给 GPU 数量与训练时长）；四个奖励模型、视觉词表、聚类索引以及 WeGenBench/WeGenEditBench 等评测集均为内部资产。可复现的部分：模型架构的超参数（27 层、hidden 2048、专家数与路由数、RoPE 轴分配、损失权重 0.25/1/1e-4）、四阶段训练配方（学习率、混合比、上下文长度、时间步 shift）、RL 与蒸馏算法细节（DiffusionNFT、GDPO、噪声感知 OPD 公式、MeanFlow 框架）以及全部公开基准上的对照数字都完整给出，有大规模算力与数据的团队可以据此复现架构与方法论；但完整端到端复现基本不可行，难度评级：高。