← 返回 2026-07-16

Boogu-Image-0.1:以理解为第一公民的开放统一多模态生成系统 Boogu-Image-0.1: Boosting Open-Source Unified Multimodal Understanding and Generation

Guoxuan Chen, Chufeng Xiao, Haoran Yang, Siyue Xie, Binxiao Huang, Ming Zhang, Cheuk Him Chau, Xinyu Fu, Yingzhao Lian, Tom S. Y. Li, Jintao Lin, Bowen Dong, Zian Qian, Yuhao Liu, Yuxuan Hu, Weikang Shi, Bin Zou, Bowen Zheng, Haoxuan Che, Chang Chen, Yuyang He, Heyang Sun, Tianyu Huang, Chong Hou Choi, Cheng Gong, Han Shi, Haoli Bai, Xihui Liu, Hongsheng Li, Qifeng Chen, Chao Huang, Rui Liu, Chenyang Lei 📅 2026-07-14 👍 107 2026-07-16 18:30
Flow Matching 图像编辑 多模态生成 开源模型 扩散Transformer 提示词重写 文生图 智能体推理

用208M图、约40万美元训出的开源多模态生成系统,靠'理解优先'追平闭源。

前置知识

Diffusion Transformer (DiT) 与 Flow Matching(流匹配)

DiT 是把 Transformer 用作扩散模型去噪主干的结构,相比 U-Net 更易扩展、对多模态条件更友好;Flow Matching 是近期主流训练目标,把噪声到数据建模为线性插值路径 $x_t = (1-t)x_0 + t x_1$,模型学习时变速度场 $v_\theta(x_t,t)$,损失 $\mathcal{L}=\mathbb{E}\|v_\theta - (x_1 - x_0)\|_2^2$,采样时反向积分 ODE 即可生成。Boogu 用 10B 参数 DiT,原生训练在 2K 分辨率。

论文所有时间步采样、2K 高分辨率训练的'过压缩'现象都建立在 Flow Matching 的 logit-normal 采样与动态时间偏移之上,不懂这个无法读懂 3.2.3 的高分辨率训练改造。

Classifier-Free Guidance (CFG)

CFG 是条件生成中提升 prompt 跟随度的标准技巧:同时前向条件分支 $\epsilon_\theta(x_t,c)$ 和无条件分支 $\epsilon_\theta(x_t,\varnothing)$,再外推 $\tilde\epsilon = \epsilon_\theta(\varnothing) + w\bigl(\epsilon_\theta(c) - \epsilon_\theta(\varnothing)\bigr)$。它把预测结果视为 1D 向量做欧氏长度归一化,只改幅度不改方向。

论文提出的 Boosted Orthogonal Guidance (BOG) 正是对 CFG 中'1D 向量化归一化'的反驳,把 [H,W] 矩阵结构保留下来做 2D 归一化以增强摄影质感,不懂 CFG 无法理解这一改造的动机。

指令编码器(Instruction Encoder)——T2I 的'传感器'

在文生图里,文本/指令编码器把用户 prompt 映射为条件 embedding 喂给 DiT;它通常在训练时被冻结。Boogu 把它类比为'传感器',认为其理解能力决定了整个系统的信息上界——编码器丢弃的语义,下游任何模块都无法恢复。Boogu 选用 Qwen3-VL-8B 作为冻结编码器。

论文核心论点之一就是'更强的编码器直接带来更强的生成',并通过 Qwen3-1.7B/4B/14B 的对照实验(GenEval 0.60→0.65)系统验证,这是理解整篇'理解优先'理念的入口。

Logit-normal 时间步采样与动态时间偏移

训练扩散/流匹配时,时间步 $t$ 不再均匀采样,而是取 $t=\text{Sigmoid}(u), u\sim\mathcal{N}(0,1)$,再按 latent token 数 $n_T$ 做线性插值得到偏移因子 $\mu(n_T)=k\cdot n_T+b$,最后 $t_{\text{shift}}=\text{Sigmoid}\bigl(\sigma\cdot\text{logit}(t) - \mu(n_T)\bigr)$。本质是在 logit 空间做仿射变换,把分布推向小 $t$(高噪声)侧。

论文发现 2K 分辨率下这一标准策略会让分布'过压缩'(中位数从 1K 的 0.24 跌到 2K 的 0.04),导致训练不收敛;他们提出 clamp 在 $n_{\text{cap}}=4096$ 的修正方案,是 2K 训练能跑通的关键。

Agentic Inference / Prompt Rewriting(智能体推理时扩展)

把文生图模型包裹在智能体里:先用一个具备推理能力的 VLM 重写用户原始 prompt(补全语义、解决歧义、显式计数、NSFW 过滤),再按难度路由到不同模型变体(Turbo/Base),可叠加 Reflection、Best-of-N 等。本质是用推理时算力换质量,对应论文的 'Requirement-to-Image' 理念。

Boogu 的 'Thinking' 变体、Turbo/Base 路由、$50\sim100\times$ 推理成本差距都建立在这一范式上,也是 Figure 1 中'推理时间越长、质量越高'曲线的来源。

VLM-based 自动评测

用视觉-语言模型(如 GPT-4V 类)当裁判,对生成的图像打分,覆盖文本正确性、prompt 对齐等。优点是可大规模并行;缺点是 VLM 自身在细粒度视觉理解上有局限(计数、空间、属性绑定),分与人评常常背离,且榜单易饱和、易被刷榜污染。

论文反复强调 ImgEdit-Bench、LongText-Bench 等'高榜分≠真实质量',并自曝 Nano-Banana-Pro 在人评里更强却在 ImgEdit-Bench 上更低,理解 VLM 评测局限是读懂'为何要自建 Boogu Arena'的前提。

研究动机

现有开源文生图模型追平闭源时主要靠两条路——提升视觉质量、外挂 LLM 重写指令——却仍未触及核心瓶颈:对用户需求的理解不足。具体表现有三:第一,许多开源模型用偏弱的文本编码器(1B~4B),prompt 精准时丢语义、模糊时又靠重写器'硬扩写'导致幻觉漂移;论文给出反例,一个未充分训练的 SANA-VAE 配置在 GenEval 上能跑到 0.92,而部署的更强模型只有 0.85。第二,标准学术基准 GenEval/DPG-Bench 已饱和且与人类偏好脱节:以人类偏好最强的 GPT-Image-2 为例,它在 GenEval 上只排中游(约 0.89),存在明显排名倒挂。第三,训练成本高昂:Qwen-Image、Hunyur-Image、Krea2 动辄用数十亿张图,Lens 也要 800M,普通团队难以承受。在中文文本、密集排版、风格化、复杂指令编辑等真实场景下,开源方案与 GPT-Image-2/Nano-Banana-Pro 仍有鸿沟,而工业团队积累的工程经验很少公开,进一步抬高开源追赶的隐性成本。

本文的目标是用极受限的算力预算(约 $400K、208.62M 张去重图)训练一个 10B 参数、原生 2K 分辨率、覆盖文生图与图生图编辑的统一开源模型族(Base/Turbo/Edit/Edit-Turbo),在 Boogu Arena、Qwen-Image-Bench、LongText-Bench、ImgEdit-Bench 等基准上追平或超越现有最强开源方案,并在摄影质感、风格化、文本渲染、图像编辑等部分维度逼近 Nano-Banana-Pro、GPT-Image-2 等闭源 SOTA。除模型本身,作者还希望把工业团队靠试错积累却很少公开的工程细节——评测协议、数据过滤、caption 设计、训练超参——系统记录下来,给开源社区提供可复用的参考点和数据配方,降低后续研究的隐性工程成本。

与已有工作不同的是,与其他把'理解'等同于'外挂重写 LLM'或'堆更大生成网络'的工作不同,Boogu 把'理解'提升为贯穿全系统的第一公民设计目标,并沿三条互补维度系统化:用户意图(更强的冻结编码器 + '翻译式而非增强式'重写器)、训练图像(按需求驱动的多模型 per-aspect captioning + 显式描述瑕疵而非过滤)、任务复杂度(推理时按难度路由模型变体)。最独特的切入是数据侧的两个反常识做法——'显式 caption 瑕疵而非过滤掉'和'用人类先验构造 syllabus'——让仅 21.62M 的精心配比数据反超 187M 的纯开源数据(Qwen-Image-Bench 48.45 → 53.65)。这种'以理解换数据量、以协同换单点优化'的视角,是本文区别于 FLUX、Qwen-Image、Z-Image、Hunyur 等同期开源工作的核心。

核心方法

直觉上,Boogu 把'文生图'重新定义为'需求→图'(Requirement-to-Image)任务:用户给的往往不是一句干净的描述,而是模糊、多层级、含约束的真实需求,模型必须先理解再生成。因此整套系统像一位'懂业务的工作室':前端是理解模块(强 LLM 编码器 + 智能体重写器)负责把需求翻译成结构化指令并选派合适的'画师';中端是 10B 参数、原生 2K 的 Flow-Matching DiT 生成器;后端有多个变体(Base 求质量、Turbo 求速度、Edit/Edit-Turbo 做编辑)按任务难度被智能体路由调用。技术上,整条链路在数据(Boogu Syllabus)、训练(rectified dynamic time shifting + Boosted Orthogonal Guidance)、推理(agentic scaling)三层做了协同改进,核心信条是'上游理解的改进会沿管线向所有下游模块传播,而下游无法恢复上游丢失的信息'。

全文最核心的论点:在算力受限下,'理解优先'远比'堆数据/堆参数'更划算,且必须沿'用户意图—训练图像—任务复杂度'三轴同时优化。两个反直觉的具体决策最能体现这一点。第一,把次品图像(水印、低光噪点、运动模糊、过曝)显式 caption 后保留下来,让模型学到'瑕疵概念'以实现可控生成,而不是像 Qwen-Image/Z-Image/JoyAI 那样统统过滤掉。第二,把 21.62M 的精心配比 syllabus 视为'教材',按人类先验做细粒度解构(design 占 34.9%、general 34.7%、people 17% 等,复杂任务配更高采样权重),结果反超 187M 纯开源数据。再叠加'翻译而非增强'的重写器(下界为恒等变换,保证只帮忙不帮倒忙)、'按难度路由'的模型选择(Turbo 与 Base 在简单 prompt 上几乎不可区分但成本差 50~100 倍),三者共同把'理解'从概念口号落到可复用的工程实践。

方法步骤详情

流程分四步。**1 数据构造**:在开源单图语料(COYO/DataComp/PixelProse/BLIP-3o)与交错语料(OmniCorpus)上,用 Boogu Syllabus 按人类先验细粒度重排到 design(34.9%)/general(34.7%)/people(17%) 等类,复杂任务配更高权重;中文枚举 3500 高频汉字每个至少 300 次;次品图(水印/模糊/过曝)保留并配 caption 显式描述瑕疵。最终 21.62M 唯一样本上采样到 47.19M。**2 Caption**:对计数/空间/属性/风格/文本渲染各维度分别挑最强 VLM(Qwen2.5-VL/Qwen3-VL-8B/InternVL3-8B/Gemini 等)+系统 prompt 取最佳输出,聚合成'按需求驱动'caption。**3 训练**:10B DiT + Qwen3-VL-8B 冻结编码器,Flow Matching,原生 2K;rectified dynamic time shifting $\tilde\mu(n_T)=\mu(\min(n_T,n_{\text{cap}}))$($n_{\text{cap}}=4096$)解决过压缩;Boosted Orthogonal Guidance 把 CFG 的 1D 归一化升级为保留 [H,W] 的 2D 归一化;仅对'解剖畸变、文本渲染'窄域施少量 RL。**4 推理**:Deepseek-V4-Flash 做带推理的 prompt 重写(5 类 PE 技能),按难度路由 Turbo/Base,叠加 Reflection、Best-of-N。

技术新颖性

与已有工作的本质区别有四:(1)把文本编码器视作'传感器'并系统量化其规模效应——固定 DiT 在 1B,仅换编码器 Qwen3-1.7B→4B→14B,GenEval 单调上升 0.6034→0.6251→0.6477 且无饱和,是少见的干净对照实验。(2)重写器遵循'翻译而非增强',要求下界为恒等变换,从理论上保证只帮忙不帮倒忙,区别于 compulsive expansion 类重写器。(3)数据上提出'显式 caption 瑕疵'与'syllabus 配比'两条反常识策略,21.62M 反超 187M,并诚实暴露预训练文化偏置无法靠 SFT 根治。(4)训练上提出 rectified dynamic time shifting 与 Boosted Orthogonal Guidance 两项 2K 时代新工具——前者用 clamp 解决 logit 空间过压缩(中位数 0.24→0.04),后者把 CFG 的 1D 归一化升级为保留 [H,W] 结构的 2D 归一化以增强摄影质感。这套组合拳让 $400K、208.62M 图的预算跑出逼近闭源的开源模型。

扩大 thinking 重写器与引入能力专用 PE 技能都能提升 prompt 重写质量
Figure 18: 扩大 thinking 重写器与引入能力专用 PE 技能都能提升 prompt 重写质量
重审美 RL 会压缩输出分布——'六十岁中国女性'生成对比
Figure 30: 重审美 RL 会压缩输出分布——'六十岁中国女性'生成对比
动态时间偏移下时间步分位数随 latent token 数的变化
Figure 32: 动态时间偏移下时间步分位数随 latent token 数的变化
BOG 比 CFG 产出更真实的摄影质感
Figure 33: BOG 比 CFG 产出更真实的摄影质感

实验结果

在自建 Boogu Arena(1200 双语 prompt、4000+ 盲投票)上,Turbo-Thinking 拿 1048 分,仅次 GPT-Image-2(1196)、Nano-Banana-Pro(1087),明显高于 Z-Image-Turbo(960)、Qwen-Image-2.0(946)、HiDream-O1(868);Arena 与 LMArena 一致(Pearson r=0.986、Spearman ρ=1.0)。Qwen-Image-Bench 上 Base-Thinking 以中文 53.57/英文 53.73 拿下所有评测开源模型最佳总分,超 Qwen-Image-2512(52.06/51.32)、Hunyur-Image-3.0(50.81/51.35);Thinking 在 Creativity 比非 Thinking 多涨约 8 分(48.62→56.74)。LongText-Bench 中文 0.985、ImgEdit-Bench Overall 4.64 双双开源夺冠,后者超闭源 Nano-Banana-Pro(4.37)。关键消融:编码器 1.7B→14B,GenEval 0.6034→0.6477(无饱和);Syllabus 替换 187M 开源数据,Qwen-Image-Bench 48.45→53.65;身份记忆约需 4500 次曝光、汉字约需 300 次。

Qwen-Image-Bench(中文 prompt)上的模型系列对比
Table 1: Qwen-Image-Bench(中文 prompt)上的模型系列对比
Boogu-Image-0.1-Edit-Thinking 在 ImgEdit-Bench 上取得最佳 Overall
Table 6: Boogu-Image-0.1-Edit-Thinking 在 ImgEdit-Bench 上取得最佳 Overall
指令编码器规模对 GenEval 的影响
Table 7: 指令编码器规模对 GenEval 的影响
Boogu Syllabus 显著优于开源数据
Table 8: Boogu Syllabus 显著优于开源数据
Boogu Arena 性能对比(左)与 Boogu-Image 变体的推理时间-质量权衡(右)
Figure 1: Boogu Arena 性能对比(左)与 Boogu-Image 变体的推理时间-质量权衡(右)
Boogu Arena 文生图 Elo 分(总体 + 摄影/文本/风格三个子类)
Figure 6: Boogu Arena 文生图 Elo 分(总体 + 摄影/文本/风格三个子类)
Boogu Arena 与 LMArena Elo 评分的一致性
Figure 7: Boogu Arena 与 LMArena Elo 评分的一致性
查看结构化数据
任务指标本文基线提升
文生图(Boogu Arena 盲投票) Elo 总分 1048 (Turbo-Thinking) GPT-Image-2 1196 / Nano-Banana-Pro 1087 / Z-Image-Turbo 960 / Qwen-Image-2.0 946 开源第一,仅次两个闭源模型;Turbo-Thinking 较 Z-Image-Turbo 高 88 分
文生图(Qwen-Image-Bench 中文) Overall 53.57 (Base-Thinking) Qwen-Image-2512 52.06 / Hunyur-Image-3.0 50.81 / GLM-Image 48.19 开源第一,领先次席约 1.5 分
文生图(Qwen-Image-Bench 英文) Overall 53.73 (Base-Thinking) Qwen-Image-2512 51.32 / Hunyur-Image-3.0 51.35 开源第一
长文本渲染(LongText-Bench) 平均 OCR 准确率 0.971 均值 / ZH 0.985 (Turbo-Thinking) Seedream-4.5 0.988(闭源第一)/ HiDream-O1 0.979 / GPT-Image-2 0.961 开源第一,中文仅次于闭源 Seedream-4.5
指令式图像编辑(ImgEdit-Bench) Overall 4.64 (Edit-Thinking) JoyAI-Image-Edit 4.57 / FireRed 4.56 / Seedream-5.0-Lite 4.42 / Nano-Banana-Pro 4.37 全部 14 个评测模型第一
数据消融(Qwen-Image-Bench CN+EN) Overall 53.65(Boogu Syllabus, 21.62M 唯一样本) 48.45(187M 纯开源数据) 数据量降至约 1/9,分数反超 5.2 分
编码器规模消融(GenEval) Overall 0.6477(Qwen3-14B 编码器,DiT 1B) 0.6034(Qwen3-1.7B)/ 0.6251(Qwen3-4B) 仅换编码器即单调提升且未见饱和

局限与改进

作者承认三类局限:第一,世界知识上仍落后闭源,涉及艺术风格、地标、公众人物、商品的常识任务差距可能比榜单显示的更大;第二,文本渲染仅优化了中英文,其他语种未覆盖;第三,在多人交互、严重遮挡、非典型视角下手脚等解剖结构会失真,且因沿用 FLUX.1 VAE,其重建误差限制了小脸、小肢体、小字的细节,2K 原生训练只能部分缓解。我额外观察到三点:一是评测几乎全是 VLM 裁判或自家 Arena,缺乏独立第三方盲测,且作者自己在 ImgEdit-Bench 上拿到 4.64 第一却坦言人评里 Nano-Banana-Pro 更强,说明榜单预测能力有限;二是 Thinking 变体的'思考'基于 Deepseek-V4-Flash,推理成本与延迟未在主表披露,而作者又强调'质量必须与延迟联合报告',存在自相矛盾;三是 LongText-Bench 上 Turbo 与 Base 在密集排版时差异巨大(Turbo 有可见瑕疵却仍打高分),说明榜单对真实可用性的预测能力有限。

独立分析的弱点

第一,强依赖私有 LLM/VLM 栈做重写与路由(Deepseek-V4-Flash 做 thinking,Gemini-2.5/3 做标注),纯 Apache-2.0 用户复现 Thinking 变体效果会显著下降——改进方向是发布配套开源重写器与 router 模型。第二,文化偏置未根治:作者坦承预训练的西方中心化无法靠 SFT 消除,中文 prompt 仍倾向生成西方面孔——改进方向是在预训练 syllabus 阶段强制按文化维度平衡采样。第三,2K 原生训练的 VAE 瓶颈明显,小字/小脸细节受限——改进方向是训一个开源高保真 2K VAE 替换 FLUX.1。第四,benchmark 自我依赖:Boogu Arena 与 ImgEdit-Bench 都靠 VLM 裁判,存在循环验证风险——改进方向是开源 1200 prompt 集与人类投票原始配对数据供独立复核。第五,RL 仅用于窄域虽保住多样性,但平均美感可能不如 Seedream 系,需在产品定位上权衡。

未来方向

作者明确指出三个方向:更透明忠实的评测体系(动态、防污染、对齐人评,像 ImageNet 之于识别那样建立训练/测试严格分离的 T2I 基准);突破开源数据瓶颈,转向高保真合成数据与专家级标注;更强的 agentic 图像生成(推理-生成更紧耦合、自验证、工具调用,让生成从被动映射走向主动规划-批评-修正的闭环)。基于本文成果还可延伸:把'显式 caption 瑕疵'扩展为可控负面提示词的正样本来源,做更通用的 controllable generation;把 rectified dynamic time shifting 推广到 4K 静态图与视频生成,并探索非线性的 $\tilde\mu(\cdot)$ 曲线;把 BOG 的 2D 矩阵归一化思路扩展到视频 DiT 的 [T,H,W] 3D 结构;用'汉字 300 次、人脸 4500 次'这两个曝光阈值做更系统的'概念记忆 vs 数据量'scaling law 研究,给出可预测的数据配比公式。

复现评估

复现性较好但非完整。已开源:权重、代码、配方(Apache-2.0,github.com/Boogu-Project/Boogu),论文给出训练成本(约 $400K)、数据规模(208.62M 唯一图,syllabus 21.62M→上采样 47.19M)、模型规模(10B DiT + Qwen3-VL-8B 编码器)、关键超参(128 设备、batch 1024、warmup 500 步、lr=1e-4)、消融阈值(汉字 300 次、人脸 4500 次、$n_{\text{cap}}=4096$)。难点:Thinking 变体依赖 Deepseek-V4-Flash 等闭源 LLM 做重写与路由,captioning 依赖 Gemini-2.5/3 等闭源 VLM,纯开源复现会有差距;Boogu Arena 1200 prompt 计划发布但 4000+ 人类投票原始配对是否公开未明。算力门槛 $400K 级但显著低于 Qwen-Image/Hunyur,复现 Base/Turbo 可行性高,完整复现 Thinking 与 Arena 排名需额外 LLM/VLM 资源。