Boogu-Image-0.1:以理解为第一公民的开放统一多模态生成系统 Boogu-Image-0.1: Boosting Open-Source Unified Multimodal Understanding and Generation
用208M图、约40万美元训出的开源多模态生成系统,靠'理解优先'追平闭源。
前置知识
Diffusion Transformer (DiT) 与 Flow Matching(流匹配)
DiT 是把 Transformer 用作扩散模型去噪主干的结构,相比 U-Net 更易扩展、对多模态条件更友好;Flow Matching 是近期主流训练目标,把噪声到数据建模为线性插值路径 $x_t = (1-t)x_0 + t x_1$,模型学习时变速度场 $v_\theta(x_t,t)$,损失 $\mathcal{L}=\mathbb{E}\|v_\theta - (x_1 - x_0)\|_2^2$,采样时反向积分 ODE 即可生成。Boogu 用 10B 参数 DiT,原生训练在 2K 分辨率。
论文所有时间步采样、2K 高分辨率训练的'过压缩'现象都建立在 Flow Matching 的 logit-normal 采样与动态时间偏移之上,不懂这个无法读懂 3.2.3 的高分辨率训练改造。
Classifier-Free Guidance (CFG)
CFG 是条件生成中提升 prompt 跟随度的标准技巧:同时前向条件分支 $\epsilon_\theta(x_t,c)$ 和无条件分支 $\epsilon_\theta(x_t,\varnothing)$,再外推 $\tilde\epsilon = \epsilon_\theta(\varnothing) + w\bigl(\epsilon_\theta(c) - \epsilon_\theta(\varnothing)\bigr)$。它把预测结果视为 1D 向量做欧氏长度归一化,只改幅度不改方向。
论文提出的 Boosted Orthogonal Guidance (BOG) 正是对 CFG 中'1D 向量化归一化'的反驳,把 [H,W] 矩阵结构保留下来做 2D 归一化以增强摄影质感,不懂 CFG 无法理解这一改造的动机。
指令编码器(Instruction Encoder)——T2I 的'传感器'
在文生图里,文本/指令编码器把用户 prompt 映射为条件 embedding 喂给 DiT;它通常在训练时被冻结。Boogu 把它类比为'传感器',认为其理解能力决定了整个系统的信息上界——编码器丢弃的语义,下游任何模块都无法恢复。Boogu 选用 Qwen3-VL-8B 作为冻结编码器。
论文核心论点之一就是'更强的编码器直接带来更强的生成',并通过 Qwen3-1.7B/4B/14B 的对照实验(GenEval 0.60→0.65)系统验证,这是理解整篇'理解优先'理念的入口。
Logit-normal 时间步采样与动态时间偏移
训练扩散/流匹配时,时间步 $t$ 不再均匀采样,而是取 $t=\text{Sigmoid}(u), u\sim\mathcal{N}(0,1)$,再按 latent token 数 $n_T$ 做线性插值得到偏移因子 $\mu(n_T)=k\cdot n_T+b$,最后 $t_{\text{shift}}=\text{Sigmoid}\bigl(\sigma\cdot\text{logit}(t) - \mu(n_T)\bigr)$。本质是在 logit 空间做仿射变换,把分布推向小 $t$(高噪声)侧。
论文发现 2K 分辨率下这一标准策略会让分布'过压缩'(中位数从 1K 的 0.24 跌到 2K 的 0.04),导致训练不收敛;他们提出 clamp 在 $n_{\text{cap}}=4096$ 的修正方案,是 2K 训练能跑通的关键。
Agentic Inference / Prompt Rewriting(智能体推理时扩展)
把文生图模型包裹在智能体里:先用一个具备推理能力的 VLM 重写用户原始 prompt(补全语义、解决歧义、显式计数、NSFW 过滤),再按难度路由到不同模型变体(Turbo/Base),可叠加 Reflection、Best-of-N 等。本质是用推理时算力换质量,对应论文的 'Requirement-to-Image' 理念。
Boogu 的 'Thinking' 变体、Turbo/Base 路由、$50\sim100\times$ 推理成本差距都建立在这一范式上,也是 Figure 1 中'推理时间越长、质量越高'曲线的来源。
VLM-based 自动评测
用视觉-语言模型(如 GPT-4V 类)当裁判,对生成的图像打分,覆盖文本正确性、prompt 对齐等。优点是可大规模并行;缺点是 VLM 自身在细粒度视觉理解上有局限(计数、空间、属性绑定),分与人评常常背离,且榜单易饱和、易被刷榜污染。
论文反复强调 ImgEdit-Bench、LongText-Bench 等'高榜分≠真实质量',并自曝 Nano-Banana-Pro 在人评里更强却在 ImgEdit-Bench 上更低,理解 VLM 评测局限是读懂'为何要自建 Boogu Arena'的前提。
研究动机
现有开源文生图模型追平闭源时主要靠两条路——提升视觉质量、外挂 LLM 重写指令——却仍未触及核心瓶颈:对用户需求的理解不足。具体表现有三:第一,许多开源模型用偏弱的文本编码器(1B~4B),prompt 精准时丢语义、模糊时又靠重写器'硬扩写'导致幻觉漂移;论文给出反例,一个未充分训练的 SANA-VAE 配置在 GenEval 上能跑到 0.92,而部署的更强模型只有 0.85。第二,标准学术基准 GenEval/DPG-Bench 已饱和且与人类偏好脱节:以人类偏好最强的 GPT-Image-2 为例,它在 GenEval 上只排中游(约 0.89),存在明显排名倒挂。第三,训练成本高昂:Qwen-Image、Hunyur-Image、Krea2 动辄用数十亿张图,Lens 也要 800M,普通团队难以承受。在中文文本、密集排版、风格化、复杂指令编辑等真实场景下,开源方案与 GPT-Image-2/Nano-Banana-Pro 仍有鸿沟,而工业团队积累的工程经验很少公开,进一步抬高开源追赶的隐性成本。
本文的目标是用极受限的算力预算(约 $400K、208.62M 张去重图)训练一个 10B 参数、原生 2K 分辨率、覆盖文生图与图生图编辑的统一开源模型族(Base/Turbo/Edit/Edit-Turbo),在 Boogu Arena、Qwen-Image-Bench、LongText-Bench、ImgEdit-Bench 等基准上追平或超越现有最强开源方案,并在摄影质感、风格化、文本渲染、图像编辑等部分维度逼近 Nano-Banana-Pro、GPT-Image-2 等闭源 SOTA。除模型本身,作者还希望把工业团队靠试错积累却很少公开的工程细节——评测协议、数据过滤、caption 设计、训练超参——系统记录下来,给开源社区提供可复用的参考点和数据配方,降低后续研究的隐性工程成本。
与已有工作不同的是,与其他把'理解'等同于'外挂重写 LLM'或'堆更大生成网络'的工作不同,Boogu 把'理解'提升为贯穿全系统的第一公民设计目标,并沿三条互补维度系统化:用户意图(更强的冻结编码器 + '翻译式而非增强式'重写器)、训练图像(按需求驱动的多模型 per-aspect captioning + 显式描述瑕疵而非过滤)、任务复杂度(推理时按难度路由模型变体)。最独特的切入是数据侧的两个反常识做法——'显式 caption 瑕疵而非过滤掉'和'用人类先验构造 syllabus'——让仅 21.62M 的精心配比数据反超 187M 的纯开源数据(Qwen-Image-Bench 48.45 → 53.65)。这种'以理解换数据量、以协同换单点优化'的视角,是本文区别于 FLUX、Qwen-Image、Z-Image、Hunyur 等同期开源工作的核心。
核心方法
直觉上,Boogu 把'文生图'重新定义为'需求→图'(Requirement-to-Image)任务:用户给的往往不是一句干净的描述,而是模糊、多层级、含约束的真实需求,模型必须先理解再生成。因此整套系统像一位'懂业务的工作室':前端是理解模块(强 LLM 编码器 + 智能体重写器)负责把需求翻译成结构化指令并选派合适的'画师';中端是 10B 参数、原生 2K 的 Flow-Matching DiT 生成器;后端有多个变体(Base 求质量、Turbo 求速度、Edit/Edit-Turbo 做编辑)按任务难度被智能体路由调用。技术上,整条链路在数据(Boogu Syllabus)、训练(rectified dynamic time shifting + Boosted Orthogonal Guidance)、推理(agentic scaling)三层做了协同改进,核心信条是'上游理解的改进会沿管线向所有下游模块传播,而下游无法恢复上游丢失的信息'。
全文最核心的论点:在算力受限下,'理解优先'远比'堆数据/堆参数'更划算,且必须沿'用户意图—训练图像—任务复杂度'三轴同时优化。两个反直觉的具体决策最能体现这一点。第一,把次品图像(水印、低光噪点、运动模糊、过曝)显式 caption 后保留下来,让模型学到'瑕疵概念'以实现可控生成,而不是像 Qwen-Image/Z-Image/JoyAI 那样统统过滤掉。第二,把 21.62M 的精心配比 syllabus 视为'教材',按人类先验做细粒度解构(design 占 34.9%、general 34.7%、people 17% 等,复杂任务配更高采样权重),结果反超 187M 纯开源数据。再叠加'翻译而非增强'的重写器(下界为恒等变换,保证只帮忙不帮倒忙)、'按难度路由'的模型选择(Turbo 与 Base 在简单 prompt 上几乎不可区分但成本差 50~100 倍),三者共同把'理解'从概念口号落到可复用的工程实践。
方法步骤详情
流程分四步。**1 数据构造**:在开源单图语料(COYO/DataComp/PixelProse/BLIP-3o)与交错语料(OmniCorpus)上,用 Boogu Syllabus 按人类先验细粒度重排到 design(34.9%)/general(34.7%)/people(17%) 等类,复杂任务配更高权重;中文枚举 3500 高频汉字每个至少 300 次;次品图(水印/模糊/过曝)保留并配 caption 显式描述瑕疵。最终 21.62M 唯一样本上采样到 47.19M。**2 Caption**:对计数/空间/属性/风格/文本渲染各维度分别挑最强 VLM(Qwen2.5-VL/Qwen3-VL-8B/InternVL3-8B/Gemini 等)+系统 prompt 取最佳输出,聚合成'按需求驱动'caption。**3 训练**:10B DiT + Qwen3-VL-8B 冻结编码器,Flow Matching,原生 2K;rectified dynamic time shifting $\tilde\mu(n_T)=\mu(\min(n_T,n_{\text{cap}}))$($n_{\text{cap}}=4096$)解决过压缩;Boosted Orthogonal Guidance 把 CFG 的 1D 归一化升级为保留 [H,W] 的 2D 归一化;仅对'解剖畸变、文本渲染'窄域施少量 RL。**4 推理**:Deepseek-V4-Flash 做带推理的 prompt 重写(5 类 PE 技能),按难度路由 Turbo/Base,叠加 Reflection、Best-of-N。
技术新颖性
与已有工作的本质区别有四:(1)把文本编码器视作'传感器'并系统量化其规模效应——固定 DiT 在 1B,仅换编码器 Qwen3-1.7B→4B→14B,GenEval 单调上升 0.6034→0.6251→0.6477 且无饱和,是少见的干净对照实验。(2)重写器遵循'翻译而非增强',要求下界为恒等变换,从理论上保证只帮忙不帮倒忙,区别于 compulsive expansion 类重写器。(3)数据上提出'显式 caption 瑕疵'与'syllabus 配比'两条反常识策略,21.62M 反超 187M,并诚实暴露预训练文化偏置无法靠 SFT 根治。(4)训练上提出 rectified dynamic time shifting 与 Boosted Orthogonal Guidance 两项 2K 时代新工具——前者用 clamp 解决 logit 空间过压缩(中位数 0.24→0.04),后者把 CFG 的 1D 归一化升级为保留 [H,W] 结构的 2D 归一化以增强摄影质感。这套组合拳让 $400K、208.62M 图的预算跑出逼近闭源的开源模型。
实验结果
在自建 Boogu Arena(1200 双语 prompt、4000+ 盲投票)上,Turbo-Thinking 拿 1048 分,仅次 GPT-Image-2(1196)、Nano-Banana-Pro(1087),明显高于 Z-Image-Turbo(960)、Qwen-Image-2.0(946)、HiDream-O1(868);Arena 与 LMArena 一致(Pearson r=0.986、Spearman ρ=1.0)。Qwen-Image-Bench 上 Base-Thinking 以中文 53.57/英文 53.73 拿下所有评测开源模型最佳总分,超 Qwen-Image-2512(52.06/51.32)、Hunyur-Image-3.0(50.81/51.35);Thinking 在 Creativity 比非 Thinking 多涨约 8 分(48.62→56.74)。LongText-Bench 中文 0.985、ImgEdit-Bench Overall 4.64 双双开源夺冠,后者超闭源 Nano-Banana-Pro(4.37)。关键消融:编码器 1.7B→14B,GenEval 0.6034→0.6477(无饱和);Syllabus 替换 187M 开源数据,Qwen-Image-Bench 48.45→53.65;身份记忆约需 4500 次曝光、汉字约需 300 次。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 文生图(Boogu Arena 盲投票) | Elo 总分 | 1048 (Turbo-Thinking) | GPT-Image-2 1196 / Nano-Banana-Pro 1087 / Z-Image-Turbo 960 / Qwen-Image-2.0 946 | 开源第一,仅次两个闭源模型;Turbo-Thinking 较 Z-Image-Turbo 高 88 分 |
| 文生图(Qwen-Image-Bench 中文) | Overall | 53.57 (Base-Thinking) | Qwen-Image-2512 52.06 / Hunyur-Image-3.0 50.81 / GLM-Image 48.19 | 开源第一,领先次席约 1.5 分 |
| 文生图(Qwen-Image-Bench 英文) | Overall | 53.73 (Base-Thinking) | Qwen-Image-2512 51.32 / Hunyur-Image-3.0 51.35 | 开源第一 |
| 长文本渲染(LongText-Bench) | 平均 OCR 准确率 | 0.971 均值 / ZH 0.985 (Turbo-Thinking) | Seedream-4.5 0.988(闭源第一)/ HiDream-O1 0.979 / GPT-Image-2 0.961 | 开源第一,中文仅次于闭源 Seedream-4.5 |
| 指令式图像编辑(ImgEdit-Bench) | Overall | 4.64 (Edit-Thinking) | JoyAI-Image-Edit 4.57 / FireRed 4.56 / Seedream-5.0-Lite 4.42 / Nano-Banana-Pro 4.37 | 全部 14 个评测模型第一 |
| 数据消融(Qwen-Image-Bench CN+EN) | Overall | 53.65(Boogu Syllabus, 21.62M 唯一样本) | 48.45(187M 纯开源数据) | 数据量降至约 1/9,分数反超 5.2 分 |
| 编码器规模消融(GenEval) | Overall | 0.6477(Qwen3-14B 编码器,DiT 1B) | 0.6034(Qwen3-1.7B)/ 0.6251(Qwen3-4B) | 仅换编码器即单调提升且未见饱和 |
局限与改进
作者承认三类局限:第一,世界知识上仍落后闭源,涉及艺术风格、地标、公众人物、商品的常识任务差距可能比榜单显示的更大;第二,文本渲染仅优化了中英文,其他语种未覆盖;第三,在多人交互、严重遮挡、非典型视角下手脚等解剖结构会失真,且因沿用 FLUX.1 VAE,其重建误差限制了小脸、小肢体、小字的细节,2K 原生训练只能部分缓解。我额外观察到三点:一是评测几乎全是 VLM 裁判或自家 Arena,缺乏独立第三方盲测,且作者自己在 ImgEdit-Bench 上拿到 4.64 第一却坦言人评里 Nano-Banana-Pro 更强,说明榜单预测能力有限;二是 Thinking 变体的'思考'基于 Deepseek-V4-Flash,推理成本与延迟未在主表披露,而作者又强调'质量必须与延迟联合报告',存在自相矛盾;三是 LongText-Bench 上 Turbo 与 Base 在密集排版时差异巨大(Turbo 有可见瑕疵却仍打高分),说明榜单对真实可用性的预测能力有限。
独立分析的弱点
第一,强依赖私有 LLM/VLM 栈做重写与路由(Deepseek-V4-Flash 做 thinking,Gemini-2.5/3 做标注),纯 Apache-2.0 用户复现 Thinking 变体效果会显著下降——改进方向是发布配套开源重写器与 router 模型。第二,文化偏置未根治:作者坦承预训练的西方中心化无法靠 SFT 消除,中文 prompt 仍倾向生成西方面孔——改进方向是在预训练 syllabus 阶段强制按文化维度平衡采样。第三,2K 原生训练的 VAE 瓶颈明显,小字/小脸细节受限——改进方向是训一个开源高保真 2K VAE 替换 FLUX.1。第四,benchmark 自我依赖:Boogu Arena 与 ImgEdit-Bench 都靠 VLM 裁判,存在循环验证风险——改进方向是开源 1200 prompt 集与人类投票原始配对数据供独立复核。第五,RL 仅用于窄域虽保住多样性,但平均美感可能不如 Seedream 系,需在产品定位上权衡。
未来方向
作者明确指出三个方向:更透明忠实的评测体系(动态、防污染、对齐人评,像 ImageNet 之于识别那样建立训练/测试严格分离的 T2I 基准);突破开源数据瓶颈,转向高保真合成数据与专家级标注;更强的 agentic 图像生成(推理-生成更紧耦合、自验证、工具调用,让生成从被动映射走向主动规划-批评-修正的闭环)。基于本文成果还可延伸:把'显式 caption 瑕疵'扩展为可控负面提示词的正样本来源,做更通用的 controllable generation;把 rectified dynamic time shifting 推广到 4K 静态图与视频生成,并探索非线性的 $\tilde\mu(\cdot)$ 曲线;把 BOG 的 2D 矩阵归一化思路扩展到视频 DiT 的 [T,H,W] 3D 结构;用'汉字 300 次、人脸 4500 次'这两个曝光阈值做更系统的'概念记忆 vs 数据量'scaling law 研究,给出可预测的数据配比公式。
复现评估
复现性较好但非完整。已开源:权重、代码、配方(Apache-2.0,github.com/Boogu-Project/Boogu),论文给出训练成本(约 $400K)、数据规模(208.62M 唯一图,syllabus 21.62M→上采样 47.19M)、模型规模(10B DiT + Qwen3-VL-8B 编码器)、关键超参(128 设备、batch 1024、warmup 500 步、lr=1e-4)、消融阈值(汉字 300 次、人脸 4500 次、$n_{\text{cap}}=4096$)。难点:Thinking 变体依赖 Deepseek-V4-Flash 等闭源 LLM 做重写与路由,captioning 依赖 Gemini-2.5/3 等闭源 VLM,纯开源复现会有差距;Boogu Arena 1200 prompt 计划发布但 4000+ 人类投票原始配对是否公开未明。算力门槛 $400K 级但显著低于 Qwen-Image/Hunyur,复现 Base/Turbo 可行性高,完整复现 Thinking 与 Arena 排名需额外 LLM/VLM 资源。
论文图表
把 6 个近期 T2I 模型的 LMArena Elo(横轴)与 GenEval(左)/DPG-Bench(右)分数(纵轴)画在一起。理想情况下应正相关,但实际出现明显排名倒挂:人类偏好最强的 GPT-Image-2 在两个学术基准上都只排中游。
这张图是全文动机的基石——直接论证了'学术基准已饱和且与人评脱节',解释了为什么作者要自建 Boogu Arena 并反复质疑 ImgEdit/LongText 等榜单。
把 100 个地标按知名度排序,画 Top 10 与 Bottom 10 的相对搜索热度。Top 10(埃菲尔铁塔、长城等)热度集中在 25~100,Bottom 10(几何亚、红色之柱等)仅 6.3~6.7,呈严重长尾。
这张图直观支撑了'头部概念数据冗余、长尾概念数据稀缺'的论点,是作者敢用 208M 图(远少于他人 billions)训出 SOTA 的数据哲学基础。
用语义等价的中文与英文 prompt(街拍拾荒老人)让微调后的模型生成,英文 prompt 倾向西方面孔与街景,中文 prompt 也常默认西方审美,随机种子变化也不改变这一主导倾向。
这张图诚实暴露了开源数据西方中心化偏置在预训练阶段就被烙下、SFT 无法根治的硬伤,是理解论文 limitations 与未来数据方向的关键。