YANAMI：面向多轮有状态交互的大规模多模态数据集与基准 YANAMI: A Large-Scale Multimodal Dataset and Benchmark for Multiturn Stateful Interaction
首个多模态多轮有状态交互数据集与基准，微调BAGEL交互能力提升13.23%
前置知识
UMM（Unified Multimodal Model，统一多模态模型）
在单一框架内同时集成视觉理解、图像生成与图像编辑的模型。与传统的任务专用系统（如只做理解的 LLaVA、只做生成的 Stable Diffusion）不同，UMM 能在文本和视觉模态间交错处理输入输出，代表工作包括 BAGEL（自回归语言建模 + 扩散/流视觉生成的混合架构）、Emu3.5、Janus-Pro、Show-o2 等，它们有的用离散视觉 token 自回归生成，有的用连续潜变量配合扩散解码。
本文的全部讨论对象就是 UMM：数据集 YANAMI-400K 用于训练 UMM，YANAMI-Bench 用于评测 UMM，微调实验的宿主模型是 BAGEL。不理解 UMM 的理解+生成双能力特性，就无法理解为什么评测协议要同时包含问答题（DSU）和图像检查（VR）。
多轮有状态交互（Multiturn Stateful Interaction）
指用户与助手在多轮对话中讨论备选方案、做出决策、建立跨轮约束与依赖、规划后续步骤，并根据用户修正来更新已有决定或要求的交互模式。关键在于当前轮的输出依赖于跨轮累积并动态演化的对话状态：早轮确立的约束必须持续生效，用户纠正后旧状态必须失效，未被提及的内容必须保留。
这是论文定义的核心问题概念。作者用它区分真正的多轮数据（状态不可省略）与伪多轮数据（把历史图像直接给出就能逐轮独立求解）。数据集的六项能力、基准的双维评测都是围绕这个概念展开的。
BAGEL 与 MoT 架构
BAGEL 是 7B 的统一多模态模型，采用 Mixture-of-Transformers（MoT）解码器层（Qwen2MoTDecoderLayer），在一个模型内联合优化视觉理解（自回归交叉熵损失）与视觉生成（扩散 MSE 损失）两个目标。训练时 VAE 冻结，语言模型、视觉编码器与理解模块可训练，支持 FlexAttention 处理交错的图文序列。
BAGEL 是论文用来验证数据有效性的微调载体：在 YANAMI-400K 上微调后，它在 YANAMI-Bench、GEdit-Bench、GenEval、MMBench 上的对比数字（65.02→78.25 等）是证明数据集价值的关键证据，实验解读都围绕这组对照展开。
VLM-as-a-Judge
用视觉语言模型代替人类对模型输出打分的自动评测范式。本文用 Qwen-3.8-Flash-Next（温度 0、关闭显式推理）按三套固定 prompt 分别评对话状态理解题（对参考答案判语义对错）、状态一致性（逐条原子检查输出布尔值）与视觉质量（0–10 整数分）。可靠性通过与 4 名专家标注的 Pearson 相关验证。
YANAMI-Bench 的所有分数都出自这一裁判框架，若裁判不可靠则全部结论失效。论文专门用一节（Sec 4.3）证明其与人类评分相关超过 0.80、与 GPT-5.6-sol 跨裁判相关 0.81–0.86，这是读表前必须确认的前提。
原子检查（Atomic Checks）
把一张目标图像应满足的全部要求分解成若干条可独立判定的细粒度视觉检查项，例如「台灯在左侧」「画面中只有一只猫」「无新增配饰」。每条检查由裁判对着生成图与真值图独立输出真/假，状态一致性得分即通过比例。YANAMI-Bench 共含 8,467 条原子检查，平均每段对话 21.17 条。
原子检查是视觉实现（VR）评测的基石，也是「理解-实现鸿沟」分析的计算单元：论文把与理解题对齐的检查项的条件通过率作为实现得分 $R_{m,c}$，鸿沟定义为 $G=1-R$。没有这个机制就无法量化「懂了却画不出来」的现象。
GT-History 与 Self-History 评测设定
GT-History 指评测某个目标生成轮时，保留完整文本历史但把此前所有助手生成的图像替换为真值图像，从而把「利用累积状态的能力」与「早期生成错误的传播」解耦；Self-History 则把模型自己先前生成的图像作为后续轮的视觉上下文，模拟真实部署。两者之差衡量自生成误差的累积效应。
这是理解 Table 2 及 Fig. 6b/6c 数字含义的关键设定：主表分数基于 GT-History，会系统性高估真实表现；Self-History 实验显示 BAGEL 再掉 5.16%、Qwen-Edit 掉 3.77%，揭示了纯评测分数之外的真实部署风险。
研究动机
现有公开多模态数据集绝大多数只提供单轮监督：理解类（图文问答）、生成类（文生图）、编辑类（如 InstructPix2Pix 约 45 万编辑对、AnyEdit 250 万编辑对）各自为战。近期虽有少量多轮数据集出现——如 Pico-Banana-400K 含 7.2 万多轮样本、WEAVE-100K 含约 10 万对话——但论文指出其中多数轮次可以被独立求解：只要把相关历史图像直接喂给模型，当前轮就退化为常规单轮任务，模型无需跨轮跟踪、维护或更新任何状态（ChatUMM 甚至主要靠干扰轮次把单轮任务串成对话）。然而真实的人机图像共创从来不是一步完成的：用户先确立场景与风格，再跨轮保持约束（「全程不要出现品牌标识，即使我之后要求加 logo」）、修正此前决定（「耳机改成有线的」「灯移到左边」），并要求每次修改都保留所有未提及的内容。监督数据的缺位造成双重后果：训练侧，模型学不到理解、维护、更新并忠实实现演化状态的信号；评测侧，现有基准无法区分「真正会管理状态」与「只会逐轮响应」的模型，统一多模态模型（UMM）在多轮状态交互上的能力因此长期未被有效训练和测量。
本文的目标是本文要建立第一个面向多轮有状态交互的大规模多模态数据集与评测基准，把「对话状态」变成数据中的一等公民。具体交付物有两个：其一，YANAMI-400K 训练集，含 402,639 段多轮多模态对话、2,047,236 张图像、2,643,291 轮对话（平均每段 5.08 图、6.56 轮，最长 43 轮），覆盖多图融合（36%）、图像编辑（25%）、世界建模（28%）、视觉推理（11%）四个场景，每段对话至少同时涉及六项状态管理能力中的四项，训练集对六项能力的覆盖率 100%；其二，YANAMI-Bench 基准，含 400 段逐条人工校验的对话（每场景 100 段）、1,883 张图、3,173 轮、1,600 道状态理解问答题和 8,467 条原子视觉检查，从对话状态理解（DSU）与视觉实现（VR）两个互补维度联合评测。最终验证目标是在该数据上微调 BAGEL 后，图像生成、编辑与有状态交互能力同时提升，且通用视觉理解不退化。
与已有工作不同的是，本文的独特切入是把「多轮格式」与「真正的状态管理」作为两个独立属性严格区分。论文在 Table 6 中给出两条判据：显式对话状态管理（数据明确监督状态的建立、维持、失效与更新，仅有历史条件化或自称 stateful 不算）与不可归约为单轮（即便直接提供历史图像，目标轮也无法改写成常规单任务）。按此标准，InstructPix2Pix、AnyEdit、CoMM、Pico-Banana-400K、WEAVE-100K、ChatUMM 全部不合格，YANAMI-400K 是唯一全 Yes 的数据集。在技术路线上，作者把抽象的「状态性」操作化为六项可验证能力——指代消解、上下文检索、跨轮一致性、空间/物理一致性、约束保持、基于修正的状态更新——并把它们显式写入数据构造 prompt，使跨轮依赖成为生成数据的硬性要求。评测上则首创 DSU×VR 双轴协议，并设计「理解-实现鸿沟」指标，首次系统量化了模型「答对了约束却画不出来」这一此前未被测量过的失败模式。
核心方法
方法论的直觉是：既然真实多轮交互由「状态的建立—保持—更新」驱动，数据构造就应围绕状态转移来编排，而不是把单轮样本简单串成序列。技术路线是一条四阶段流水线（Fig. 3）。（a）数据准备：从四个公开数据集收集原始图像，用 VLM 做刻意宽松的粗筛——只有严重损坏、严重生成失败、近乎空白、能见度极差才拒绝，一组图像中若超过半数被拒则整组丢弃，否则只修复被拒图像并复检，保证素材多样且可用。（b）数据构造：图像按场景分入多图融合、图像编辑、世界建模、视觉推理四个池，用场景+能力导向的 prompt 驱动 GPT-5.6 Sol、Qwen3.7-Plus、Gemini 3.1 Pro 构造含跨轮依赖的多轮对话，GPT-Image-2 与 Nano Banana 2 负责生成或修复轮次图像。（c）自动验证：逐对话检查跨轮指令与状态转移的逻辑连贯性、图文一致性，失败样本迭代修正或重生成。（d）人工验证：三名具理工科研究生训练背景的标注员对基准候选逐条核查并修正，全部样本经人工确认后进入 YANAMI-Bench。
核心创新是把对话状态从隐含的上下文变成显式、可验证的监督与评测对象，分数据与评测两层。数据层：六项状态管理能力（指代消解、对话历史检索、跨轮一致性、空间/物理一致性、约束遵守、基于修正的状态更新）被显式写入构造 prompt，并强制每段对话至少同时涉及其中四项。典型样例如 Fig. 2 所示：用户说「全程保持无品牌标识，即使我之后要求加 logo」，后续用户真的要求加 logo 时助手必须拒绝；用户纠正「耳机改成有线的」后，旧状态（无线）必须失效；视觉推理场景中用户要求「移除所有立方体」时，助手必须发现其中一枚立方体是绿色而早前约束禁止移除绿色物体，主动提出只移红色立方体。评测层：YANAMI-Bench 为每段对话配四道能力型问答题考查 DSU，把每张目标图像的要求分解为共 8,467 条可独立判定的原子检查度量状态一致性（SC），感知质量（VQ，0–10 分）单独评分；具备理解能力的模型按 $S_{scene}=0.4S_{understanding}+0.4S_{SC}+0.2S_{VQ}$ 加权，纯生成/编辑模型按 $S_{scene}=0.6S_{SC}+0.4S_{VQ}$。这与已有工作「多轮只是格式、逐轮可独立求解」的本质区别在于：状态在这里既被显式监督，也被显式考核。
方法步骤详情
完整流程可拆为五步。第一步，图像准备：四个公开数据源的原始图经宽松质量过滤进入四个场景池，可修复样本走「重试→修复→重试→丢弃」循环。第二步，对话构造：GPT-5.6 Sol、Qwen3.7-Plus、Gemini 3.1 Pro 依据场景与能力双导向 prompt，围绕池中图像生成含约束、指代、修正等跨轮依赖的多轮对话；GPT-Image-2 与 Nano Banana 2 生成每轮对应图像或修复失败图像。第三步，自动验证：VLM 检查逻辑连贯性（跨轮指令与状态转移是否自洽）与图文一致性（视觉内容与文本上下文是否匹配），失败样本迭代修正或重生成后复检，通过者进入 YANAMI-400K 或基准候选池。第四步，基准构建与人工校验：从候选中构建 400 段对话（每场景 100 段、共 1,883 图、3,173 轮），每段配 4 道理解题（指代消解/上下文检索/约束跟踪/修正更新各一）与若干原子检查（共 8,467 条）；LLM 先生成原子检查项，三名标注员逐条核查对话逻辑、视觉证据与评测标准并修正；最后用 SHA-256 哈希比对训练集与基准的全部图像确认零重复、零泄漏。第五步，评测与训练：主评测用 GT-History（历史助手图像替换为真值），辅以 Self-History；输入组织分 yes-first（图在首次提及处插入）、yes-front（全部图置前）、concatenate（拼成单图）三种以适配不同模型接口；裁判为 Qwen-3.8-Flash-Next（温度 0）；微调 BAGEL-7B-MoT 使用 6×A800 + 16×A100（80GB），FSDP FULL_SHARD，恒定学习率 $1\times10^{-5}$、100 步 warm-up，CE/MSE 损失权重 0.25/1.0，最大 token 数 16,384，VAE 冻结、LLM/ViT/理解模块可训。
技术新颖性
技术新颖性体现在四个层面。其一，问题定义层面：首个把「显式对话状态管理」与「不可归约为单轮」作为数据集合格判据的工作（Table 6），据此把 WEAVE-100K、ChatUMM 等伪多轮数据与真状态数据清晰切分开，这是一个此前文献从未明确表述的区分。其二，能力操作化层面：六项状态能力不是抽象口号，而是可写入 prompt、可出题、可出检查项的具体行为单元，且约束了每段对话至少覆盖四项，使状态性可被强制注入与统计验证（训练集 100% 覆盖）。其三，评测协议层面：DSU 问答题、SC 原子检查、VQ 感知质量三者正交、分别评测、按 4:4:2 或 6:4 加权合成，避免了单一指标既考理解又考生成的混淆，并统一覆盖理解-生成-编辑三类模型。其四，度量创新层面：在所有被评模型都全答对的共享子集（77 个约束跟踪对话、66 个修正更新对话）上，用 $G_{m,c}=1-R_{m,c}$ 计算条件化实现失败率，其中 $R_{m,d,c}=\frac{1}{|A_{m,d,c}|}\sum_{a}y_{m,d,c,a}$ 为对齐原子检查的通过率，先对话内平均再跨对话宏平均以避免检查数多的对话权重过大——这是首个系统量化「理解-实现鸿沟」的方法。
实验结果
实验回答了三个问题。第一，现有模型有多差？在 YANAMI-Bench 上评测 15 个模型：闭源的 GPT-Image-2 与 Nano Banana 2 分别取得 83.05 和 80.93 的总分（GPT-Image-2 在编辑场景高达 90.54、视觉推理最低 73.46）；开源阵营最强的 Emu3.5（34B UMM）仅 67.41、FLUX.2 [dev]（32B 编辑模型）67.30，开源-闭源差距约 13–16 分；多数模型在视觉推理场景最弱（Qwen-Edit 37.72、Show-o2 29.42、OmniGen 33.94）。第二，失败模式在哪里？DSU 上多数 UMM 平均分低于 82（BAGEL 81.44、InternVL-U 76.88、Emu3.5 71.00、Show-o2 67.94）；更关键的是理解-实现鸿沟：在全部模型都理解正确的共享子集上，BAGEL 的条件化实现失败率仍达 0.58，Janus-Pro 0.82、Show-o2 0.78、UniAR 0.62——「懂了却画不出来」是普遍现象。对话越长表现越差：GT-History 下首次对末次生成轮，BAGEL 降 2.5%、FLUX.2 降 5.5%、InternVL-U 降 6.5%、Show-o2 暴跌 23.7%、Qwen-Image-Edit 降 21.3%。Self-History 下 BAGEL 较 GT-History 再降 5.16%、Qwen-Edit 降 3.77%，证实自生成视觉历史的误差累积。第三，数据有没有用？微调 BAGEL 后：YANAMI-Bench 总分 65.02→78.25（+13.23%，四场景全部上涨：融合 62.44→78.98、编辑 67.40→84.96、建模 68.16→73.26、推理 62.06→75.80）；DSU 81.44→95.69（四能力均超 93）；GEdit-Bench-EN 6.52→7.19（+10.28%，11 个子任务中 10 个提升）；GenEval 0.73→0.75（+2%）；通用理解 MMBench 85.0→89.1（+4.1%）、POPE 86.5→87.4（+0.9%），仅 MME-P 1647.9→1616.9 略降。微调后的 7B 开源模型总分 78.25 已逼近闭源 Nano Banana 2 的 80.93。裁判可靠性方面，Qwen-3.8-Flash-Next 与 4 名专家在三个模型各 100 个样本上的 Pearson 相关全部超过 0.80（最高 0.89），与 GPT-5.6-sol 跨裁判相关 0.81–0.86。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 多轮有状态交互（YANAMI-Bench 四场景总分） | 加权总分（0-100） | 78.25（BAGEL-7B + YANAMI-400K 微调） | 65.02（原始 BAGEL-7B） | +13.23% |
| 对话状态理解（DSU 四场景平均） | RR/CR/CT/CU 四能力均分（0-100） | 95.69（微调后） | 81.44（原始 BAGEL） | +14.25 分（约 +17.5%） |
| 图像编辑（GEdit-Bench-EN-full） | VIEScore 平均分 | 7.19（微调后） | 6.52（原始 BAGEL） | +10.28% |
| 通用图像生成（GenEval） | Overall 通过率 | 0.75（微调后） | 0.73（原始 BAGEL） | +2.0% |
| 通用视觉理解（MMBench） | 准确率 | 89.1（微调后） | 85.0（原始 BAGEL） | +4.1% |
| 开源 vs 闭源差距（YANAMI-Bench 总分） | 加权总分（0-100） | 78.25（微调后 7B 开源模型） | 80.93（Nano Banana 2，闭源） | 差距从 15.91 分缩至 2.68 分 |
局限与改进
作者承认的局限（Appendix G）：当前版本只覆盖四个代表性场景与六项核心状态能力，是一个受控研究基础而非全景数据；未来需扩展更多应用领域、语言、模态与更长交互视界；还应在更广泛的真实交互设置中检验数据收益，并在更多统一模型架构上验证（目前只有 BAGEL 一个架构）。我自己的观察还有六点：其一，对话由 GPT-5.6 Sol 等闭源模型按剧本化 prompt 合成，六项能力的注入使修正与约束出现得过于规律，可能偏离真实用户跑题、含糊、自相矛盾的行为分布；其二，评测依赖单一裁判 Qwen-3.8-Flash-Next，且原子检查为二值判定，无法刻画「部分满足」的程度，图像编辑场景平均每对话要判 34.08 条检查，个别检查的误判会明显扰动 SC；其三，4:4:2 的场景分加权是经验设定，论文未做权重敏感性分析；其四，训练收益仅在 BAGEL（混合架构、连续视觉生成）上验证，对纯自回归离散 token 模型（如 Emu3.5、Janus-Pro 一系）是否同样有效未知；其五，基准仅 400 段对话（每场景 100 段），场景内方差可能较大，宏平均下单段对话权重不低；其六，主评测 GT-History 用真值图像替换历史，虽然干净地隔离了状态利用能力，但系统性高估真实部署表现——Self-History 补充实验显示会掉 3.77–5.16 个百分点，说明实际多轮使用中的衰减比主表数字更严重。
独立分析的弱点
独立分析以下几个弱点并给出改进方向。第一，合成对话的「剧本感」：六项能力由 prompt 显式注入，修正、约束、指代的出现节奏规律化，模型可能学到的是合成分布的统计规律而非真实用户的状态管理；改进方向是引入真实用户撰写或产品日志脱敏采样的对话做混合训练，或至少做人类重写层。第二，二值原子检查对软性属性（风格、氛围、构图美感）不友好——一个「保持极简风格」的检查只有真/假两档，而视觉推理场景对话平均 20.28 条检查、编辑场景高达 34.08 条，误差累积敏感；可改为分级评分或对每条检查多次采样投票以降噪。第三，DSU 以问答题形式考查，模型可能凭语言先验「蒙对」而与其内部是否真正维护了状态表征无关；改进方向是加入探测实验，或要求模型在每轮显式输出结构化状态表（state slate）再对该表评分。第四，全参数微调（仅冻结 VAE）未探索 LoRA 级低成本适配或只训生成侧/理解侧的消融，资源有限的团队无法判断最小成本方案；补充这组实验会显著提升数据集的实用指导价值。第五，理解-实现鸿沟只是被测量而未被针对性优化——微调同时抬高了 DSU 与 SC，但没有设计显式的「状态→生成」对齐目标（如状态条件化注意力、生成后按原子检查自检并迭代修正的闭环）；这是数据集之外的方法论机会。第六，训练集四场景分布为 36/25/28/11%，恰是最难的视觉推理只占 11%，训练分布与能力短板不匹配，做分布平衡的消融可能进一步放大收益。
未来方向
作者提出的方向（Appendix G）：纳入更多应用领域、语言、模态与更长交互视界；在更广泛的真实交互设置中做在线评测；在更多 UMM 架构上验证 YANAMI-400K 的收益。基于本文成果还可延伸五个方向。其一，把理解-实现鸿沟转化为训练信号：用 8,467 条原子检查构造奖励函数做 RLHF/GRPO，专门惩罚「理解正确但生成违约」的样本，直接攻击论文发现的 0.37–0.82 的鸿沟。其二，显式状态记忆机制：用外部 state tracker 或结构化场景图（scene graph）把隐式上下文压缩成可查询、可编辑的状态表示，缓解长对话（最长 43 轮）下的性能衰减与上下文膨胀。其三，Self-History 的误差累积（-3.77%~-5.16%）提示应训练生成后自检与自修复能力，如让模型对自己的输出重新执行原子检查并迭代修正，或训练对历史噪声鲁棒的状态估计。其四，能力迁移到 agent 任务：约束保持与修正更新正是 GUI 操作、具身规划等长程 agent 任务的类似核心，YANAMI 的六能力框架可直接移植为 agent 数据构造模板。其五，跨模态扩展到视频世界建模：状态从静态图像属性升级为动态场景的物理状态（物体持久性、因果事件），与本文的世界建模场景自然衔接。
复现评估
复现条件中等偏友好。资源发布方面：作者承诺在 Hugging Face 发布 YANAMI-400K 与 YANAMI-Bench，并在公开 GitHub 仓库提供数据构造与评测 prompt（Appendix F 逐字给出 DSU、SC、VQ 三套裁判 prompt），基准本身规模小（400 段对话、1,600 题、8,467 条检查），单卡即可完成推理与评测，评测成本低。训练方面：Appendix C/Table 10 给出完整超参——BAGEL-7B-MoT，6×A800 或 16×A100（80GB），FSDP FULL_SHARD，恒定学习率 $1\times10^{-5}$、100 步 warm-up、CE/MSE 损失权重 0.25/1.0、最大序列 16,384 token、最大潜变量尺寸 64、FlexAttention 开启——属于单机 8 卡 A100 级实验室可负担的规模，复现微调难度不大。主要障碍有二：其一，数据流水线依赖 GPT-5.6 Sol、Qwen3.7-Plus、Gemini 3.1 Pro、GPT-Image-2、Nano Banana 2 五个闭源商用模型，若要从零重建同类数据需可观 API 费用且会随模型版本漂移，不过直接使用发布的现成数据集即可绕开；其二，评测裁判 Qwen-3.8-Flash-Next 是特定商用模型，复现论文分数需使用同一版本裁判，换裁判分数会有偏移。综合评估：复现训练与评测为低-中难度，复刻数据流水线为中-高难度。
论文图表
全文总览图。上半部分对比已有多轮工作（顺序式无状态编辑，逐轮独立处理）与 YANAMI（多模态有状态交互对话），并展示 YANAMI-400K 的规模（400K 对话、2M+ 图像、2.6M 轮）与 YANAMI-Bench 的构成（8,467 条评分检查、400 段对话、1,883 张图）；下半部分展示四个交互场景及规模——多图融合 144k、图像编辑 100k、世界建模 112k、视觉推理 40k——以及一段「用户要求把灯移到左边但保持房间极简、只有一只猫」的典型有状态对话示例。
一图看懂全文：问题（单轮/无状态 vs 有状态）、两个交付物的规模、四个场景的构成比例全在这张图里，是读者建立整体认知的入口。