MOSS-Image 技术报告：面向信息密集图形生成的开源文生图系统 MOSS-Image Technical Report
从零预训练 5B DiT 并搭配代理式提示增强，实现中英长文渲染与精确布局的开源文生图系统
前置知识
扩散 Transformer（DiT）与流匹配
潜空间扩散生成范式：VAE 先把图像压缩为低维潜码，去噪网络（本文为纯 Transformer 结构）在潜空间迭代去噪。流匹配（flow matching）用线性插值路径 $z_\sigma=(1-\sigma)z_0+\sigma\epsilon$ 训练网络预测速度场 $v_\theta\approx\epsilon-z_0$，损失为逐 token 的均方误差 $\mathcal{L}_{FM}$，扩散调度共 $T=1000$ 步。
MOSS-Image 的生成主干就是一个 5B 单流 DiT，论文的训练损失（式 3）、噪声采样调度（表 6）、去噪案例研究（图 9）全部建立在这套框架上，不懂流匹配就读不懂训练配方。
RoPE 与本文的 4D RoPE
旋转位置编码通过对注意力 query/key 的特征对做平面旋转来注入相对位置。本文把每个 128 维注意力头切成 $z=[z_r;z_t;z_w;z_h]$ 四段，分别绑定参考图索引 $r$、序列位置 $t$、宽度 $w$、高度 $h$ 四个坐标，即 $\mathrm{RoPE}_{4D}(z,p)=[R_r(r)z_r;R_t(t)z_t;R_w(w)z_w;R_h(h)z_h]$。无参考输入时 $r=0$，$R_r(0)=I$，前 32 维不旋转，称为部分 RoPE。
4D RoPE 是布局控制（宽高坐标）与未来参考图扩展（预留 $r$ 轴）的位置基础，附录 D 还专门消融了四种坐标分配方案，是理解架构设计的关键。
Muon–AdamW 混合优化器
Muon 对二维权重矩阵的动量更新做 Newton–Schulz 正交化（本文用 5 步、动量 0.95、RMS 匹配到 $5\times10^{-5}$ 学习率），嵌入、标量、输出头等非矩阵参数仍用 AdamW（$\beta_1=0.9,\beta_2=0.95$）。1B 消融显示达到相同损失可比纯 AdamW 少 28.6%–33.2% 的训练步数。
这是本文预训练收敛效率的核心工程选择，附录 E 用专门的损失收敛实验（0.41 与 0.403 两个目标损失）支撑，是复现其训练配方绕不开的一环。
Bradley–Terry / Elo 人类评测
成对比较模型下 $P(i\succ j)=\exp(\theta_i)/(\exp(\theta_i)+\exp(\theta_j))$，再换算为 Elo 分 $E_i=1500+\frac{400}{\ln 10}\theta_i$；平局和“两者都差”各计半胜，并用 Fisher 信息给出渐近 95% 置信区间。它把大量离散的人工投票压缩成可排序、带误差棒的单一分数。
RLA 基准的端到端系统对比、提示策略消融、共享提示跨主干对比三组结论（图 4）全部由该模型拟合排名，是理解本文主结果统计口径的前提。
JSON 结构化布局条件
把图内可见文字（逐字转写、保留换行）、物体/文本元素、包围框（$[y_1,x_1,y_2,x_2]$，归一化到 [0,1000]）、字体颜色、构图关系等序列化成 JSON 字符串，与自然语言一样通过文本编码器进入 DiT。训练时对字段做随机 dropout、元素乱序、三种坐标表示混采（归一化 0.4/绝对像素 0.3/中心相对 0.3）。
这是全文最核心的设计：提示增强器的输出就是这种规格，主干靠它在 7Bench 上拿到 0.88 的 mIoU_det，理解它才能理解“规格化如何被字面执行”。
SSCD 去重与“标注而非过滤”
SSCD 是基于自监督拷贝检测向量的图像去重方法，配合自研 AI 生成图检测器，把约 50 亿原始图文对缩到约 30 亿；此后不再按美学、水印、分辨率等标准做质量过滤，而是把瑕疵（水印、模糊、压缩伪影）写进描述文本作为监督信号。
这是预训练配方里最反直觉的设计，附录 B.2 的消融（OneIG 文本分从 0.5243 跌至 0.1180）是作者论证“广保留”的关键证据。
研究动机
闭源系统（GPT Image 2、Seedream 5.0 Pro、Qwen Image 3.0 Pro、Nano Banana Pro）已能从一句话生成信息图、UI、知识卡等信息密集图形，而开源权重模型（Stable Diffusion、SDXL、FLUX、Qwen-Image、Z-Image、ERNIE-Image、Boogu-Image）在密集文本与复杂版式上仍明显落后：整体外观看似合理，但文字不可读、内容残缺、空间组织混乱。对“设计一张英文考拉知识信息图”这种不足十个词的请求，开源模型会输出乱码标题、无法辨认的小字、错误事实（考拉出生体重写错）、碎片化构图和千篇一律的均匀行布局。作者把差距归因于两个耦合挑战：一是渲染（rendering），即精确复现长文本并遵循空间约束；二是规格化（specification），即把简短请求翻译成恰当详细程度的内容与布局指令。二者缺一不可——详细的规格不能保证忠实渲染，而渲染能力本身也无法替用户决定请求中未说明的内容与设计。
本文的目标是本文要构建一个开源的复杂图形生成系统 MOSS-Image，包含三个层面。其一，从零预训练一个 5B 单流扩散 Transformer（DiT）：通过广保留语料、多粒度与结构感知的文本监督、渐进式分辨率训练，使其同时具备中英双语长文本渲染与多元素布局控制，且让自然语言描述与显式布局规格共享同一条文本条件通道。其二，开发意图感知的代理式提示增强（PE）模块，在推理时把哪怕少于十个词的请求，经任务路由、知识与视觉参考检索、结构化 JSON 布局规划，转化为可执行的生成规格。其三，建立与能力匹配的评测：LLTB 评测长文中英渲染，RLA 以人类盲测成对比较评测端到端系统，并用提示策略消融和共享提示跨主干对比，把“规格化”与“渲染”各自的贡献分离开。最终模型、训练配方与评测框架全部开源。
与已有工作不同的是，本文的独特切入有三点。第一，架构上不走 ControlNet、GLIGEN 那类外挂空间控制分支的老路，而是让结构化布局标注（逐字文本、包围框、字体排印）直接以文本形式与自然语言共用同一个冻结文本编码器通道，使单一 DiT 同时学会“跟散文”和“跟坐标”。第二，与 Qwen-Image-Agent 等 generator-agnostic 代理只能通过自然语言与现成模型交流不同，本文把代理规划与从零预训练的渲染器闭环对接：PE 输出的 JSON 规格与训练时的结构化标注同构，模型能逐字、逐框地执行。第三，评测上指出 LongTextBench 已近饱和（各家集中在 96.05–98.85，目标平均仅 120.3 字符），于是构造平均 1339.8 字符（约 11.1 倍）的 LLTB，并以 RLA 把“简短请求→完整设计”作为系统级评价对象；数据上则反直觉地主张“标注而非过滤”，用消融证明额外质量过滤反而损害生成质量（OneIG 文本分从 0.5243 跌至 0.1180）。
核心方法
直觉上，复杂图形生成失败来自两个独立环节：模型“画不出”长文与版式（渲染），用户请求“没说清”内容与排版（规格化）。MOSS-Image 相应分为渲染器与增强器两部分。渲染器是 5B 单流 DiT：文本侧用冻结 Qwen3.5-9B 编码器取末层 4096 维隐状态，投影到 3072 维并过两层文本-only Transformer；图像侧用冻结 FLUX.2 VAE（32 通道、8 倍下采样），2×2 潜块 patch 化得 16 像素步长。主干 42 个 joint block（隐藏 3072、24 头×128 维、FFN 8192），采用 joint self-attention、shared modulation 与 SiTU-GLU 门控前馈 $\mathrm{FFN}(x)=W_o\,c_\beta(g)\odot\sigma(g)\odot c_\beta(u)$，其中平滑截断 $c_\beta(v)=\beta\tanh(v/\beta)$；位置编码为 4D RoPE（$r,t,w,h$ 四轴，前 32 维留给参考轴）。训练用流匹配损失、$T=1000$ 步、分段 logit-normal 噪声采样，512 卡、每更新约 878 万 token。增强器是推理时的 GPT-6 代理：按媒体路由（海报/信息图/UI）→ 检索知识与视觉参考 → 产出含八字段（scene_type、gen_brief、aspect_ratio、layout、elements、anchors、must_not、palette）的 JSON 规格（bbox 归一化 [0,1000]）→ 校验后经同一文本通道送入 DiT 渲染。
核心创新是“单一文本条件通道统一自然语言与结构化布局”加“广保留、多粒度、结构感知的数据配方”。与已有方法的本质区别在于：不添加任何控制分支，布局控制完全来自训练数据中的结构化标注，因此 PE 的输出（逐字文本与 bbox JSON）天然落在模型学过的条件分布内，可以被字面执行。数据配方上，SSCD 去重与 AI 图过滤把约 50 亿缩到约 30 亿之后不再做质量过滤，水印、模糊等瑕疵由 gemma4 生成的多粒度描述（短/中/长，平均 20.86/76.61/235.12 token）“写进”监督信号；子集追加 scene/element 与 summary/items 两类 JSON 标注，可见文字逐字转写并保留换行——作者强调“换行也是版式”，附录 J 的去噪案例显示显式换行能让每行字符在第 8 步就可辨认。训练调度把分辨率与文本上下文同步扩展（320→4096 文本 token，图像从 256px 到混合 ≤2×1024²），配合 Muon–AdamW 混合优化器与预留参考轴的 4D RoPE。这四件事共同把“信息密集图形生成”变成可预训练、可执行、可评测的问题。
方法步骤详情
分四步。①语料构建：混合 ReLAION（19.5 亿→11.9 亿）、OmniCorpus（32.1 亿→18.2 亿）、DataComp（2.91 亿→1.67 亿）等 16 个公开源，SSCD 去重+自研 AI 图检测，约 50 亿→30 亿张，按原始比例混合、不再做质量过滤，瑕疵交给标注描述。②标注：gemma4 为每图生成短/中/长三种描述（可见文字逐字转写、保留换行与字体颜色；4,335 个三元组平均 20.86/76.61/235.12 token）；子集构造 scene/element 与 summary/items 两类 JSON（全局描述+局部 bbox），训练时做几何对齐、字段 dropout、元素乱序与三种坐标表示混采（归一化 0.4/绝对像素 0.3/中心相对 0.3）。③渐进训练：阶段 1 为 256px、320 token、210 万步；阶段 2 为 512px、512→2048 token、210 万步；阶段 3/4 为混合分辨率（≤1024² 至约 2×1024²）、4096 token、37 万+52 万步；Muon 更新二维矩阵、AdamW 更新其余，EMA 0.9999。④推理时 PE：GPT-6 按请求媒体路由，执行 1–3 次检索、查看 2–4 张参考图（海报 3–5 例、UI 3–6 张截图），信息图按 6–9 模块、22–36 知识单元、300–500 英文词、1024×(1400–1600) 画布规划；自检 JSON（语法、坐标、文字逐字性、文本放得下）后交给 DiT 渲染。
技术新颖性
技术新颖性体现在五点。其一，相对 ControlNet/T2I-Adapter/GLIGEN 等外挂空间控制模块，本文不引入任何辅助分支，布局控制来自“训练数据里就有结构化标注 + 统一文本接口”，架构是纯单流 DiT，条件路径零改动。其二，相对同期工作 Ideogram 4（也用 JSON 结构描述训练、支持 bbox 控制），本文公开完整预训练配方（语料、监督设计、四阶段调度、优化器与噪声调度），而 Ideogram 4 仅放出 FP8/NF4 量化权重。其三，相对 TextDiffuser-2 用 LLM 规划布局但渲染器文本能力有限，本文把“代理规划”与“从零预训练的渲染器”闭环：PE 的 JSON 与训练标注同分布，规划结果不会因接口不匹配而衰减；相对 Qwen-Image-Agent 等 generator-agnostic 代理只能用自然语言，本系统利用了 DiT 对坐标和换行的字面遵循能力。其四，架构组件组合较新：4D RoPE 预留参考轴（$r=0$ 时该子空间不旋转，形成部分 RoPE），SiTU-GLU 用 $c_\beta(v)=\beta\tanh(v/\beta)$ 做平滑截断的门控前馈。其五，“标注而非过滤”不是口号而是有前置消融支撑的方法论主张：过滤版在全部 32 个检查点上 FDR6-LAION 都更差，OneIG 文本分从 0.5243 跌至 0.1180。
实验结果
①LLTB 文本渲染（240 任务，平均目标 1339.8 字符）：Mean-6=96.3 为开源最高（EN-S/M/L=98.0/97.1/97.1，ZH-S/M/L=96.3/96.7/92.4），比最佳开源基线 Qwen Image 2512（64.9）高 31.4 分，超 Nano Banana Pro（96.6），逼近闭源最高的 GPT Image 2（99.0），最长中文仍是短板（92.4）。②7Bench 布局控制：mIoU_det=0.8786、Layout AUC=0.7031、mIoU=0.6788，576 个目标检出 445 个（77.26%），全面领先 Ideogram 4.0（0.4449/0.2046/0.2433）与 GPT Image 2（0.3042/0.1554/0.1431），Acc@0.7 达 0.7221（Ideogram 仅 0.0487）。③RLA 端到端（61 任务人工盲测）：1698.70 Elo（CI 1655.96–1741.43）列第二，次于 GPT Image 2（1844.35），优于 Seedream 5.0 Pro（1661.16）与 Nano Banana Pro（1590.19），胜率 75.1%（293 胜/100 平/64 负）。④共享增强自然提示下其主干 1807.34 Elo 最高（超 ERNIE Image 1748.51、SenseNova U1 1689.23，胜率 83.6%）——同一规格下渲染器最强。⑤提示策略：JSON 布局 1622.87 > 直接扩写 1541.45 > 详细 1509.21 ≈ 自然语言布局 1506.20 ≫ 简短请求 1081.70，详细规格带来约 541 Elo、结构化 JSON 再高约 117。⑥GPT-6 评分端到端 94.93（GPT Image 2 97.72）、共享提示 87.62 断层第一，各消融均支持设计选择。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 长文本渲染（LLTB，中英×三档长度共 6 组） | Mean-6 覆盖率 (%) | 96.3 | Qwen Image 2512：64.9（最佳开源基线）；GPT Image 2：99.0（闭源最高） | 较最佳开源基线 +31.4 分 |
| 布局控制（7Bench，224 提示、576 目标框） | mIoU_det / Layout AUC | 0.8786 / 0.7031 | Ideogram 4.0：0.4449 / 0.2046；GPT Image 2：0.3042 / 0.1554 | mIoU_det 约翻倍，AUC 提升 0.50 |
| 端到端复杂图形生成（RLA，61 任务人工盲测） | Bradley–Terry Elo | 1698.70（第二名） | GPT Image 2：1844.35（第一）；Seedream 5.0 Pro：1661.16 | 超 Seedream 5.0 Pro 约 37.5 Elo，距 GPT Image 2 差 145.7 |
| 共享增强自然提示下的生成器对比（RLA） | Bradley–Terry Elo | 1807.34（第一名） | ERNIE Image：1748.51；SenseNova U1：1689.23 | 较次优 +58.8 Elo |
| 提示策略消融（RLA，同一主干） | Bradley–Terry Elo | JSON 布局 1622.87（五种策略最高） | 简短请求 1081.70；自然语言布局 1506.20 | 较简短请求 +541.2，较自然语言布局 +116.7 |
| 传统短文本渲染（LongTextBench） | Overall 覆盖率 (%) | 97.63 | SenseNova-U1.5-8B-MoT：98.85（榜首） | 处于饱和区间（96.05–98.85），分辨力有限 |
局限与改进
作者承认的局限：主干目前只支持文生图，不能以参考图为条件、不支持图像编辑，无法迭代式精修设计（受算力预算限制留作未来工作）；提示增强器依赖外部语言模型（GPT-6），其在美学判断、参考图解读与事实错误上的短板会在渲染忠实的前提下降低规格质量。此外还有方法论层面的限制：RLA 仅 61 个任务、每配置每任务固定一张图（不重采样、不选优），主系统组投票覆盖率 31.1%、共享提示组仅 19.6%，端到端与 GPT Image 2 的 145.65 Elo 差距虽在置信区间外但样本仍偏小；LLTB 的 OCR 多重集召回不检查词序、不惩罚多余文字，并非编辑距离；Ideogram 4 的拒答处理方式会明显影响其分数（计零 63.5 vs 剔除 68.1）；GPT-6 既当规划器又当自动评分裁判存在同源偏差，故作者以人工评测为主。我的补充观察：FDR6 分布指标在训练集不同时不完全公平（作者也承认为趋势性证据）；训练描述“以英文为主、无专门中文标注”却要求 ZH 长文渲染，ZH-L 92.4 落后 EN-L 的 97.1 可能正源于此；PE 闭源使整个系统并非完全可复现。
独立分析的弱点
①无参考图条件与编辑能力：代理检索到的参考图只用于“看”，不能直接输入 DiT（4D RoPE 的 $r$ 轴预留但未启用），用户无法在生成结果上迭代微调——改进方向是启用参考轴做 reference-conditioned 生成，或接入图像编辑训练目标。②系统开源性不彻底：PE 核心是闭源 GPT-6，任务指导模板公开但模型不可得，端到端第二名与规格质量都部分依赖它——可微调开源大模型蒸馏规划能力，或训练专用的规格生成器。③RLA 规模小、判定方差大：61 任务、共享提示组覆盖率仅 19.6%，置信区间较宽——可扩到数百任务并引入自适应配对与多投票。④OCR 覆盖率指标不惩罚多余文本与顺序错误，可能高估长文渲染质量——可补充编辑距离或序列级准确率。⑤最长中文条件落后（ZH-L 92.4 vs EN-L 97.1），且训练标注以英文为主、无专门中文重标注——增加中文标注管线应能收敛这一差距。⑥论文未报告推理成本：42 层、4096 文本 token、约 1024² 画布的迭代去噪延迟与显存开销对实际部署很关键，缺少与 FLUX.2、Qwen-Image 的吞吐对比。每个弱点都有明确的建设性出路，属于“工程补全”而非方向性缺陷。
未来方向
作者明确提出的方向：把主干扩展到图像条件生成与迭代设计精修，以拓宽创意工作流（在现有算力预算内留作后续）；4D RoPE 的参考轴设计已为参考图生成预留接口。基于其成果可自然延伸的研究：把 PE 的结构化规格生成开源化、小型化（用开源 LLM 微调或训练端到端 planner，摆脱对 GPT-6 的依赖）；将 RLA 协议扩展为持续更新的图形设计竞技场（类似 Chatbot Arena）；结构化 JSON 条件可推广到幻灯片、网页、多画布文档等更复杂的版式系统；探索规划器与渲染器联合优化——用渲染反馈（如 OCR 覆盖率、布局 IoU）作为奖励微调 planner 或 DiT；把“标注而非过滤”的数据方法论在视频等其他模态预训练中系统验证；以及研究 Muon 类优化器在 5B 以上 DiT、多阶段分辨率调度下的扩展性与学习率适配。LLTB 的构造方法也可推广到更多语言与更极端长度（论文最长达 2,863 字符，仍未饱和）。
复现评估
作者承诺开源模型权重、训练配方与评测框架（GitHub: OpenMOSS/MOSS-Image，Hugging Face 模型集合与在线 Demo 均已给出），这是相对同期闭源系统（Ideogram 4 仅放 FP8/NF4 量化权重）的最大优势。复现所需信息相当完整：架构配置（表 5：42 层、隐藏 3072、24 头×128、FFN 8192、冻结 Qwen3.5-9B 编码器与 FLUX.2 VAE、2×2 潜块）、优化器超参（表 7：学习率 $5\times10^{-5}$、EMA 0.9999、warmup 2000 步）、四段噪声采样调度（表 6）、渐进训练步数（表 1）与数据源明细（表 8）均已列出。门槛在于算力：完整预训练在 512 卡上进行、每更新约 878 万 token、总步数超 500 万，从零复现需数千卡·月量级，个人或小团队更现实的是加载权重推理或做微调（作者自己的消融也是 1B 规模）。数据管道仍有黑盒：自研 AI 图检测器未开源细节，gemma4 标注提示词只给了配方描述；PE 依赖闭源 GPT-6，需自行接入并遵循附录 F 的模板。评测侧 LLTB/RLA 构造与打分协议在附录 G 写得足够细，可独立重建，但 RLA 需组织人类评分。总体评级：权重与配方开源程度在同类技术报告中属上乘；推理/微调复现难度中等，从零预训练难度很高。
论文图表
对同一句“设计英文考拉知识信息图”请求，并排展示开源 DiT+原生 PE、开源 DiT+作者 PE、作者 DiT+作者 PE、完整 MOSS-Image 与 GPT Image 2 的输出，逐项对比内容错误、小字不可读、字形扭曲、排版碎片化、信息密度与图文重叠等问题。
一图直观呈现“渲染+规格化”双重缺口的动机，也预告了后续所有消融维度（PE、DiT、显式布局）的贡献划分。
并排给出两类结构化标注的完整 JSON 示例：scene/element（场景类型、gen_brief、构图、带 bbox/颜色/字体属性的元素、空间锚点、调色板）与 summary/items（全局摘要加局部 items 列表），并说明预处理会删除 id/parent、对可选字段做 dropout。
PE 推理规格与训练标注同构是整个系统闭环的关键，此图给出该接口的具体形态。