FlowInOne：统一多模态生成为图像入、图像出的流匹配范式

将多模态生成重构为视觉流匹配，用图像入图像出范式统一文生图、编辑与物理指令任务。

前置知识

扩散模型（Diffusion Model）

通过迭代去噪将高斯噪声映射到目标图像分布的生成模型，如 DDPM 与 LDM。训练时逐步加噪，采样时通过 U-Net 预测并去除噪声。

本文以流匹配替代扩散模型作为生成主干，读者需理解传统 T2I/LDM 的条件注入流程才能体会 FlowInOne 砍掉跨模态桥接的动机。

流匹配（Flow Matching）

在源分布 $p_0$ 与目标分布 $p_1$ 之间构建连续传输 $z_t = t z_1 + (1-\sigma_{\min} t)z_0$，网络直接回归速度场 $v_\theta(z_t,t)$，无需复杂噪声调度。

FlowInOne 的核心是把所有条件渲染为图像，让源/目标潜变量同构，从而用 ODE 求解完成推理，必须先掌握该公式才能看懂第 4.1 与 4.3 节。

SigLIP / Janus-Pro 视觉编码器

SigLIP 是一种基于 sigmoid 损失的视觉-语言对比 ViT；Janus-Pro-1B 在其上叠加解耦的视觉/语言头与 MLP projector，用以提取 patch 级语义特征 $X_{\text{fuse}}\in \mathbb{R}^{N\times D}$。

FlowInOne 用 Janus-Pro-1B 的视觉编码器把整张"画布"（含文字、bbox、箭头）压成 $N$ 个 patch token，是统一视觉空间的起点。

LDM VAE 与潜空间流形

LDM 用预训练 VAE 将图像编码到低维潜空间 $z\in \mathbb{R}^{H\times W\times C}$，生成过程在该潜空间完成，最后由解码器还原像素，实现高效高分辨率合成。

FlowInOne 的目标潜变量 $z_1=\text{Enc}_{\text{img}}(I^\star)$ 来自冻结 LDM VAE，源潜变量来自文本-图像 VAE，二者必须同构才能进行无噪声调度传输。

跨注意力（Cross-Attention）与自适应门控

Transformer 中以 Query 引导 Key-Value 对齐的注意力机制。门控网络指用 MLP+Sigmoid 为 token 预测 $\Lambda\in[0,1]^N$，逐空间位置动态调节条件强度。

FlowInOne 的 Dual-Path SAM 通过 $I_{\text{edit}}\in\{0,1\}$ 切换路径并用门控权重 $\Lambda$ 在编辑区域与背景区差异化注入源图结构，是论文第 4.3 节的核心。

研究动机

当前多模态生成以文本为主、语言支配视觉：T2I 模型通过 CLIP/Flan-T5 等文本编码器向 LDM 注入条件；TI2I 编辑则需文本+图像双编码器联合跨注意力控制，并依赖 mask、ControlNet、外部对抗框架或扩散先验维护结构。这种设计天然带来模态鸿沟与控制信号碎片化——具体来说，在文本 bbox 编辑上 GPT-Image-Edit 数据集经过自动筛选后仅保留 24K 高质量对，传统扩散方法在文本-图像翻译中依赖高斯噪声导致空间精度受限，而在物理推理（force understanding、trajectory understanding）这类需要将箭头、轨迹转译为物理动态的任务上 Nano Banana 的 pass rate 也仅 0.500/0.020，可见到 2025 年主流方案仍无法把"看到箭头就推动物体"这种细粒度空间-物理意图统一到单一模型。

本文的目标是论文希望彻底摆脱"语言支配视觉"的范式，把所有任务输入（文本、bbox、箭头、力标注、涂鸦）直接渲染到画布上作为视觉提示，由单一 1.2B 流匹配模型完成图像入、图像出的连续演化，并在统一的视觉潜空间中同时胜任 C2I、T2I、TIE、TU、FU、TBE、VME、DE 八类任务，最终在 VP-Bench 的指令忠实度、内容一致性、视觉真实感与空间精度四个维度上逼近甚至超越商用闭源模型 Nano Banana。

与已有工作不同的是，现有视觉中心工作（如 Salesky、Xiao 等 2021–2024）只把文本"渲染进图像"用于感知理解，从未把这一思想推进到生成侧；CrossFlow 等流匹配框架虽然简化了噪声调度，却仍依赖离散文本 token 跨模态对齐，并未真正消除文本编码器。FlowInOne 的独特切入点是"把生成也搬进同一视觉空间"——通过 Dual-Path Spatially-Adaptive Modulation 让一个模型既能纯文本生图（绕过结构分支），也能在编辑时以门控方式按像素粒度注入源图结构，从而用 ODE 的确定性轨迹替代了噪声调度+条件头的双线堆叠。

核心方法

FlowInOne 的直觉是"一切皆图像"：先把文本指令、bbox、箭头、涂鸦等异构条件直接光栅化叠在一张输入画布 $I_v$ 上，与目标图像 $I^\star$ 共同构造成对训练数据。建模侧选择流匹配，把源分布定义为"画布潜变量"、目标分布为"目标图像潜变量"，两者都来自同构的视觉编码器+LDM VAE 中间层，ODE 即可从 $t=0$ 平滑演化到 $t=1$。架构上先用 Janus-Pro-1B 的 SigLIP+MLP 提取 patch token $X_{\text{fuse}}\in\mathbb{R}^{N\times D}$，再经文本-图像 VAE 得到源潜变量 $z_0$；DiT 主干自注意之后分两路——纯生图绕过 cross-attention（$I_{\text{edit}}=0$），编辑任务启用 cross-attention 并由轻量 MLP-Sigmoid 门控网络预测 $\Lambda\in[0,1]^N$，按 token 区分"背景保结构、编辑区重绘"。

核心创新是把"跨模态对齐瓶颈"整体替换为"同构视觉潜空间内的无噪声流传输"，并通过 Dual-Path Spatially-Adaptive Modulation 让单一模型在文本生图与图像编辑之间按任务指标 $I_{\text{edit}}$ 切换计算路径。与 CrossFlow 等已有流匹配框架的本质区别在于：CrossFlow 仍以离散文本 token 作为条件、需要专门文本编码器，而 FlowInOne 直接把文字渲染为像素，使所有条件天然落在同一视觉空间，进而可用同一 ODE 轨迹承载；同时，Dual-Path SAM 用 sigmoid 门控 $\Lambda$ 在 cross-attention 输出上做逐 token 加权，比通用 ControlNet 的固定空间控制更精细，从而在 bbox 编辑、箭头驱动等任务上显著优于 OmniGen2、Qwen-IE-2509、Kontext 等基线。

方法步骤详情

训练分四步：(1) 把文字、bbox、箭头、涂鸦光栅化到画布 $I_v$；(2) SigLIP+MLP 得 $X_{\text{fuse}}\in\mathbb{R}^{N\times D}$；(3) 文本-图像 VAE 采 $z_0$，冻结 LDM VAE 把 $I^\star$ 编为 $z_1$，二者同构免去噪声调度；(4) 流匹配损失 $\mathcal{L}_{\text{FM}}=\mathbb{E}\|v_\theta-(z_1-z_0)\|^2$ 回归速度场。DiT 自注意后由 $I_{\text{edit}}$ 与门控 $\Lambda$ 切双路径：生图绕过 cross-attention；编辑时 $z_{\text{src}}$ 作 KV 算 $\Delta H_{\text{struct}}$，$\Lambda=\sigma(\text{MLP}_\theta[\tilde H^{(l)}\|\Delta H_{\text{struct}}])$ 控制结构保留。推理采 $z_0$ 求解 ODE 至 $t=1$，由 LDM VAE 解码得 $\hat I$。

技术新颖性

技术新颖性体现在三方面：第一，把"视觉即统一接口"从感知任务拓展到生成任务，从源头消除文本编码器与跨模态对齐；第二，用同构潜空间 ODE 取代噪声调度，推理过程只剩一次确定性轨迹，区别于扩散模型的多步去噪；第三，Dual-Path SAM 通过任务指示器 $I_{\text{edit}}$ 与门控向量 $\Lambda$ 实现路径切换与像素级结构补偿，是首个在 1.2B 规模上同时把 T2I 与 7 类细粒度编辑/物理推理任务跑赢或逼近商业系统的开源方案；配合 VisPrompt-5M 与 VP-Bench 这两个新基准，论文把"vision-centric 统一生成"从概念落到了可复现的数据-模型-评测闭环。

**Figure 2**: VisPrompt-5M dataset taxonomy: class-to-image, text-to-image, text-in-image editing, text bounding box editing, visual marker editing, doodles editing, force understanding, trajectory understanding.

**Figure 3**: Overview of the FlowInOne architecture with Dual-Path Spatially-Adaptive Modulation.

实验结果

VP-Bench 八类任务结论：(1) pass rate 在 Gemini3/GPT5.2/Qwen3.5/Human 上分别取得 0.540/0.392/0.503/0.449，开源最强，GPT5.2 直接追平 Nano Banana 0.391，其余仅以 -1.0~-4.9pp 落后；(2) 四维细粒度 IF 与 SP 位列开源第一，SP 在三个 VLM 上 3.42/3.24/3.30 全场最高（Nano Banana 2.99/2.86/2.94）；(3) CLIP-IQA 0.684 几近 Nano Banana 0.688，DINOv3 Sim 平均 0.487 反超 0.473，FU/TBE/TU 子项 0.536/0.506/0.570 领先；(4) 消融：MLP+MLP 0.182 > VAE 0.157 > 截断 0.169；Dual-Path SAM 23.1% > W Dual-Path CA 21.4% > Wo CA 18.2%；联合训练 47.8% 远超两阶段 29.1%。

**Table 1**: Evaluation on the VP-Bench visual instruction benchmark using Gemini3, GPT5.2, Qwen3.5 and Human judges across eight sub-tasks.

**Table 2**: Overall four-dimensional breakdown (Instruction Faithfulness, Content Consistency, Visual Realism, Spatial Precision) scored by Gemini3/GPT5.2/Qwen3.5.

**Table 3**: Quantitative evaluation on VP-Bench: CLIP-IQA, CLIP Score, Directional CLIP Similarity, DINOv3 Similarity.

**Table 4**: Ablation study on compression method, modulation method and training strategy.

**Figure 4**: Visual instruction editing comparison across methods (Kontext, OmniGen2, Qwen-Image-Edit-2509, Nano Banana, FlowInOne, Ground Truth).

查看结构化数据

任务	指标	本文	基线	提升
VP-Bench 全部任务平均 pass rate（Gemini3）	Pass Rate (Total)	0.540	Nano Banana 0.589（其他开源基线 0.248–0.271）	开源最强，相对 OmniGen2 提升 +29.2pp（相对差），距商业模型仅 -4.9pp
VP-Bench 全部任务平均 pass rate（Human）	Pass Rate (Total)	0.449	Nano Banana 0.459 / Kontext 0.240 / OmniGen2 0.233	开源最佳，超越 OmniGen2 +21.6pp，与商用 Nano Banana 仅差 1.0pp
Force Understanding（FU）	Pass Rate (Gemini3)	0.727	Nano Banana 0.500	FU 单项首次超越商业模型 +22.7pp
Trajectory Understanding（TU）	Pass Rate (Gemini3)	0.520	Nano Banana 0.020	数量级提升 +50.0pp，验证视觉流对动态轨迹的解耦能力
Class-to-Image（C2I）	Pass Rate (Qwen3.5)	0.859	Nano Banana 0.780	超越商业模型 +7.9pp，纯语义生图也受益
空间精度（SP, Gemini3 满分 5）	Score / 5	3.42	Nano Banana 2.99 / Qwen-IE-2509 1.91	全场最高，比开源次优 Qwen-IE-2509 +1.51
DINOv3 Sim 跨任务平均	Cosine Similarity	0.487	Nano Banana 0.473 / Kontext 0.161	细粒度结构度量第一，比商用 +1.4pp、比开源次优 OmniGen2 +36.2pp

局限与改进

论文自我承认与可观察到的局限有四点：第一，整体 pass rate 在 Gemini3/Qwen3.5/Human 三个评估维度仍略输商业闭源 Nano Banana（差 1.0–4.9pp），尤其文本生图（T2I）项目 Gemini3 评分 0.700 低于 Nano Banana 的 0.980，说明把文字"画"成像素后纯语义理解的细粒度仍有损失；第二，文本图像内编辑（TIE）在 GPT5.2 上仅 0.079，远低于其 C2I 0.850 的水平，作者承认 MLLM 评估与人类评分在 grounding 视觉 marker 上存在分歧；第三，模型仅在 256×256 分辨率训练 240k 步，且为 1.2B 规模，未给出高分辨率版本，对真实生产部署的高清/长视频编辑仍有缺口；第四，Dual-Path SAM 的门控网络虽轻量但训练仍依赖任务指示器 $I_{\text{edit}}$ 的 ground truth，意味着推理时需要外部判断输入是否含有源图，在用户接口设计上增加了一道隐式分类逻辑。

独立分析的弱点

独立分析下还有三处改进空间：(1) TU/TBE 等细粒度任务虽然大胜开源基线，但 TU 在 Human 评估上仅 0.280，远低于 FU 的 0.705，说明轨迹类样本量仍偏小（Blender 标注仅 1.5K 对），可以通过引入合成数据 + 人机协同扩样来缓解；(2) Dual-Path SAM 的门控 $\Lambda$ 在门限接近 0 时结构分支失效、接近 1 时又可能重生成背景，建议引入显式正则（如 contrastive loss 拉开门控分布）让 $I_{\text{edit}}=1$ 时背景区域 $\Lambda\to 0$、目标区域 $\Lambda\to 1$；(3) 当前 pipeline 把文本全部光栅化为图像，依赖 OCR 风格的文字渲染，文本字符过多时会引发画布分辨率不足与字体歧义，可以借鉴 GOT-OCR2、PaddleOCR 的字符布局增强或把文字部分保留为可学习的 glyph token 与图像 token 共同输入，以兼顾纯文字指令的精度。

未来方向

作者在第 6 节暗示的延伸方向有三条：把 vision-centric 范式扩展到视频与 3D 生成、把 VisPrompt-5M 与 VP-Bench 开放给社区以沉淀统一评测生态、以及探索把 Flow Matching 与 LLM 推理结合做"视觉链式思考"。基于该工作的可扩展方向还包括：(a) 将 Dual-Path SAM 的二值门控替换为连续任务 ID（如 prompt embedding），实现一个模型同时承担 T2I/I2I/inpainting/超分多任务而不需要外部 $I_{\text{edit}}$；(b) 把 Janus-Pro-1B 的视觉编码器换成更强的 InternVL-3 或 DINOv3，探索视觉中心的可扩展性；(c) 把 VisPrompt-5M 的物理子集（FU+TU）放大到百万级，并引入物理仿真器 ground truth，配合强化学习让模型学会"看到箭头=受力方向"的因果推理；(d) 与 Agent 框架结合，让 LLM 自动生成视觉画布+文字 prompt，进一步消除任务分类的隐式判断。

复现评估

复现友好度处于中等偏上：作者公开了项目主页 https://csu-jpg.github.io/FlowInOne.github.io/，论文明确给出基于 CrossFlow 初始化、Janus-Pro-1B + LDM VAE 的代码骨架，使用 256×256 分辨率、WebDataset 平衡采样 240k 步、batch size 512、综合损失 $\mathcal{L}=\mathcal{L}_{\text{FM}}+\mathcal{L}_{\text{KL}}+\mathcal{L}_{\text{CLIP}}$ 的训练配方，附录 G 还公布了更多消融配置。VisPrompt-5M 数据集与 VP-Bench 尚未在论文中给出明确的下载链接，但已声明将公开。然而 1.2B 模型单卡训练仍需 8 卡以上 A100/H100 集群，物理标注（1.5K 轨迹 + Force Prompting）耗时耗力，加上依赖 Gemini3、GPT5.2、Qwen3.5 三个闭源 VLM 做自动化评估，整体复现门槛对学术小团队偏高。

FlowInOne：统一多模态生成为图像入、图像出的流匹配范式 FlowInOne:Unifying Multimodal Generation as Image-in, Image-out Flow Matching