PixVerve：基于大规模高质量数据集推进原生超高分辨率图像生成至 100MP PixVerve: Advancing Native UHR Image Generation to 100MP with a Large-Scale High-Quality Dataset
构建首个开源 100MP T2I 数据集，探索原生超高分辨率图像生成训练方案
前置知识
Latent Diffusion Models (LDM)
LDM 是一种将扩散过程应用于压缩潜在空间的图像生成架构。它首先使用变分自编码器 (VAE) 将图像编码到低维潜在空间，然后在潜在空间中进行扩散过程。由于潜在空间的维度远低于原始像素空间，LDM 大幅降低了计算开销和内存需求，同时保持了高感知保真度。关键计算复杂度为 $O(H^2W^2)$ 其中 $H, W$ 是图像高度和宽度。
本文的 Scheme I 和 Scheme II 都基于 FLUX.2 LDM 模型，理解 LDM 的工作原理对于理解本文训练方案的计算瓶颈和优化策略至关重要。
Pixel Diffusion Models
像素扩散模型直接在原始像素空间执行扩散过程，不经过 VAE 压缩。这种模型避免了潜在空间压缩可能带来的信息丢失和重建伪影，能够生成更高保真度的图像。然而，由于直接处理 $H imes W imes C$ 的像素空间，计算复杂度和内存需求随着分辨率呈平方级增长。L2P (Large Patch) 框架通过 patch-based tokenization 来缓解这一问题。
本文的 Scheme III 采用基于 patch 的像素扩散框架 L2P，这是本文唯一能够在单 GPU 上完成 100MP 生成训练的方案，理解其工作原理对于评估不同方案的可扩展性至关重要。
Window Attention Mechanism
窗口注意力机制是一种降低自注意力计算复杂度的方法。对于标准的全注意力机制，计算复杂度为 $O(N^2)$，其中 $N$ 是 token 数量。窗口注意力将输入划分为局部窗口，每个 token 只在窗口内进行注意力计算，复杂度降低到 $O(N imes k^2)$，其中 $k$ 是窗口大小。在本文中，作者使用双分支窗口注意力：近程分支保留高频局部结构，远程分支通过模运算分组实现稀疏长程通信。
本文的 Scheme II 通过窗口注意力改造来降低 FLUX.2 的计算成本，理解其工作原理有助于评估其在保持生成质量的同时提升效率的权衡。
Super-Resolution (SR)
超分辨率是指从低分辨率图像重建高分辨率图像的技术。在本文中，作者使用 ODTSR (基于 Qwen-Image 的超分辨率框架) 来将候选图像放大到 100MP。为了处理超高分辨率，ODTSR 采用 tiling 策略，包括重叠步幅和羽化矩阵来确保平滑过渡。对于不同源分辨率，作者使用不同的放大强度：原生 100MP 直接归档，像素数超过 25M 的使用 2× SR，10M-25M 的使用 4× SR。
本文数据集的核心构建步骤之一是通过 SR 从有限的真实 100MP 数据扩展到 95K 张图像，理解 SR 流程有助于评估合成数据的质量和潜在伪影。
Multimodal Large Language Model (MLLM) as Judge
MLLM 作为评判者是指利用多模态大语言模型对图像生成质量进行自动化评估。相比传统指标（如 FID、CLIPScore），MLLM 能够理解细粒度的语义细节和视觉质量，并提供可解释的评分。在本文中，作者使用 Qwen3.5-35B-A3B 来评估多尺度保真度（MSFI）和实例中心语义对齐（ICS）。MSFI 分为全局尺度（4 个子维度）和局部尺度（5 个子维度），每个维度使用 1-5 分评分。
本文提出的 PixVerge-Bench 使用 MLLM 作为评判者来评估 UHR 图像，理解其工作原理和评分规则有助于解读实验结果的可靠性和合理性。
研究动机
现有的文本到图像（T2I）模型主要在固定的低到中等分辨率（通常是 1K 和 2K）上进行训练和生成。直接将这些模型外推到超高分辨率（UHR）场景会导致严重的质量退化问题。具体表现为：结构伪影（物体变形、几何扭曲）、内容重复（相同的图案在图像中重复出现）以及高频细节的普遍丢失。这些问题严重阻碍了需要照片级视觉保真度的实际应用，如数字电影摄影、沉浸式娱乐和商业设计。人类视觉系统在 120 度视野范围内的理论分辨率估计为 576 百万像素，这意味着 100MP T2I 生成不仅是追求更大尺寸，更是弥合数字合成与人类感知之间差距的有价值探索。
本文的目标是本文的核心目标是推进 UHR 图像生成达到原生 100MP 分辨率。这包括三个具体目标：1）构建首个大规模、高质量的 100MP T2I 数据集，解决数据稀缺问题；2）探索将现有 T2I 基础模型扩展到原生 100MP 生成的有效训练方案；3）建立系统化的评估基准，为 UHR T2I 模型提供可靠的反馈机制。
与已有工作不同的是，本文的独特切入角度是构建首个面向 100MP T2I 生成的大规模高质量数据集，并以此为基础系统性地探索三种不同的训练方案。与现有的 4K 数据集（如 Aesthetic-Train-V2、UltraHR-100K）相比，PixVerve-95K 是首个将开源 T2I 数据推进到 10K 分辨率（约 100MP）的工作，提供了七维标注（长标题、短标题、标签、边界框、美学级分析、实例级描述和基本视觉评分）。此外，本文还提出了首个专门针对 UHR 场景的评估基准 PixVerve-Bench，结合传统指标和 MLLM 评估，提供了全面的评估协议。
核心方法
本文提出一个涵盖数据、模型和评估的综合方法论框架。数据方面，通过五阶段自动化管道构建 PixVerve-95K 数据集，包含 95,735 张 100MP 图像和七维细粒度标注。模型方面，基于该数据集探索三种将现有 T2I 基础模型扩展到原生 100MP 生成的训练方案：全注意力 LDM 微调（Scheme I）、窗口注意力改造和 LDM 微调（Scheme II）、基于 patch 的像素空间扩散（Scheme III）。评估方面，构建 PixVerve-Bench 基准，包含 200 张手动挑选的图像（平均分辨率 12369×14377），结合传统指标和 MLLM 评估，从视觉质量和语义对齐两个维度进行系统评估。
本文的核心创新点是构建首个大规模高质量 100MP T2I 数据集 PixVerve-95K，并基于该数据集首次尝试原生 100MP 图像生成。与已有的 4K T2I 数据集相比，PixVerve-95K 不仅在分辨率上突破到 10K（约 100MP），更重要的是提供了七维结构化标注，包括长标题（平均 234.1 词）、短标题、标签列表、边界框坐标、美学级分析（6 个维度）、实例级描述和基本视觉评分（6 个指标）。这些细粒度标注支持对数据质量的精细控制和自适应采样策略。此外，本文还首次提出了针对 UHR 场景的综合评估基准 PixVerve-Bench，包含 8 个指标，系统地评估 UHR 图像的视觉质量和语义对齐。
方法步骤详情
数据构建管道包括五个阶段：1）原始图像数据收集：从 Pexels、Unsplash 收集高质量真实摄影，整合 Aesthetic-Train-V2 和 UltraHR-100K 的子集，并使用 GPT-5.1 生成多样化提示，通过 Nano Banana Pro 生成 4K 合成图像，约 300K 原始数据池。2）初步数据净化：从五个维度进行筛选——曝光检测（排除曝光/欠曝光超过 20% 的图像）、清晰度检测（Laplacian 方差低于 10 的图像被丢弃）、平坦度检测（基于 Sobel 方差，纹理缺失超过 97.5% 的图像被移除）、内容丰富度检测（保留熵值最高的 60% 图像）、美学检测（结合 LAION Aesthetic Predictor 和 ArtiMuse，保留美学评分最高的 60% 图像）。3）100MP 数据生成：使用 ODTSR 超分辨率框架，采用 tiling 策略（384 像素重叠步幅和羽化矩阵）处理高分辨率特性。原生 100MP 图像直接归档，像素数超过 25M 的使用 2× SR，10M-25M 的使用 4× SR。4）最终数据过滤：包括四个层级——补丁接缝连续性检查（像素梯度比超过 2.5 的接缝被视为缺陷）、SR 后一致性验证（通过 PSNR、SSIM、LPIPS 三指标验证）、区域级伪影评估（将图像分为 768×768 非重叠补丁，使用 Qwen3-VL-30B-A3B-Instruct 评估 10 个代表性补丁）、实例级伪影评估（使用 Qwen3-VL-30B-A3B-Instruct 评估关键实例）。5）分阶段数据标注：包括密集实例级描述生成（使用 RAM++ 开放词汇标注、Rex-Omni 预测边界框、SAM 2 实例分割、Qwen3-VL-235B-A22B-Instruct 生成描述并分配语义重要性评分）、整体美学级分析（使用 ArtiMuse 提供 6 维度的专家风格美学分析）、综合标题总结（使用 Qwen3-VL-235B-A22B-Instruct 生成长标题和短标题）。
技术新颖性
本文的技术新颖性体现在多个方面：1）数据层面，PixVerve-95K 是首个将开源 T2I 数据推进到 10K 分辨率（约 100MP）的工作，平均分辨率为 13031×15348，显著超过现有的 4K 数据集（如 Aesthetic-Train-V2 平均分辨率 4861×5127）。2）标注层面，提供了七维细粒度标注，特别是美学级分析（6 个维度）和实例级描述（每张图像平均 43 个实例，最多 818 个实例），这在现有 T2I 数据集中是前所未有的。3）评估层面，PixVerve-Bench 是首个专门针对 UHR 场景设计的综合评估基准，包含 8 个指标：4 个传统指标（FID、FIDpatch、Aesthetics、GLCM Score）和 4 个 MLLM 评估指标（MSFI、CLIPScore、FG-CLIP2 Score、ICS）。4）训练方案层面，本文首次尝试将现有 T2I 基础模型（包括 LDM 和像素扩散模型）扩展到原生 100MP 生成，探索了三种不同的训练方案，为未来研究提供了宝贵经验。
实验结果
实验结果在三个分辨率级别（4K、8K、10K）上提供了重要发现。在 4K 分辨率下，FLUX.2-I (Full) 和 FLUX.2-I (LoRA) 都取得了优异性能：FLUX.2-I (Full) 的 FIDpatch 为 45.204，显著低于基线 FLUX.2-klein-base-4B 的 76.794，同时 ICS 从 5.376 提升到 8.533；FLUX.2-I (LoRA) 的 FIDpatch 为 40.433，进一步提升了局部保真度。L2P-III 在 FID 方面表现最佳（118.183），但 FIDpatch（98.704）和 MSFI（Local Fidelity 2.539）相对较差，反映了 patch-size 权衡的限制。在 8K 分辨率下，FLUX.2-I 变种出现了严重性能下降甚至完全失败（FID 超过 422，ICS 接近 0），而 L2P-III 保持了功能（FID 134.635，ICS 5.504），展现出最佳可扩展性。在 10K 分辨率下，只有 L2P-III 和训练无关方法能够运行，L2P-III 的 FID 为 159.212，ICS 为 3.586。消融研究显示，使用长标题相比短标题能够一致地提升性能：UltraFlux 的 FID 从 126.316 降到 121.337，Diffusion-4K 的 FID 从 142.628 降到 134.702，FLUX.2-I (Full) 的 FID 从 135.837 降到 128.897，表明增加描述粒度和语义密度对 UHR 图像生成具有重要意义。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 4K 图像生成 | FIDpatch | 40.433 (FLUX.2-I LoRA) | 76.794 (FLUX.2-klein-base-4B) | 降低 47.3% |
| 4K 图像生成 | ICS | 8.533 (FLUX.2-I Full) | 5.376 (FLUX.2-klein-base-4B) | 提升 58.7% |
| 8K 图像生成 | FID | 134.635 (L2P-III) | 422.737 (FLUX.2-klein-base-4B, 直接外推) | 降低 68.2% |
| 10K 图像生成 | 推理时间 (单 GPU) | 88s (L2P-III) | 2977s (FLUX.2-I LoRA, 8 GPU) | 33.8× 更快且使用 1/8 GPU |
局限与改进
作者承认的局限性包括：1）作为主要贡献新颖数据集和评估基准的工作，在 UHR 特定的架构适配和更高效、稳健的训练配方方面仍有很大探索空间。2）与现有通用 T2I 数据集相比，PixVerve-95K 的语料规模仍然有限（95,735 张图像），尽管数据收集过程具有高度可扩展性。3）在更广泛的影响方面，照片级真实的 UHR 图像生成虽然极大地赋能了实际应用，但极端的真实性也带来了关于错误信息传播和 AI 生成内容滥用的更高伦理风险。基于本文数据的观察，额外的局限性包括：1）训练成本极高，全注意力 LDM 微调在 4K 需要 21,888 H20 GPU 小时，在 8K 仅 0.25 epoch 就需要 10,752 GPU 小时。2）推理成本也极高，FLUX.2-I 变种在 4K 需要 8 GPU 和 103s，在 8K 需要 1,234s，在 10K 需要 2,977s。3）L2P-III 的主要限制是 patch-size 权衡：为了在单 96 GB GPU 卡上训练，patch size 从 64 增加到 128 和 320，虽然降低了内存成本，但也削弱了精细细节的重建，这解释了其在高分辨率下的 FIDpatch（8K: 133.453, 10K: 192.286）和 MSFI (Local Fidelity 8K: 2.580, 10K: 2.746) 相对较差。4）Scheme II（窗口注意力改造）虽然降低了计算成本（4K 推理时间从 103s 降到 71s），但性能明显下降：FIDpatch 为 76.460，ICS 为 5.340，接近基线但远差于 FLUX.2-I 变种，表明预训练的全注意力结构与改造后的局部注意力模式之间存在不匹配。
独立分析的弱点
独立分析的弱点：1）数据集规模仍然有限（95,735 张），与 LAION-5B（50 亿张）等大规模数据集相比差距巨大，这可能限制模型学习到的视觉概念多样性。改进方向：扩展数据收集管道，集成更多高质量图像源（如图库网站、专业摄影平台），并探索半自动化标注流程以降低标注成本。2）训练成本极高，全注意力 LDM 微调在 4K 需要 21,888 H20 GPU 小时，这对于大多数研究机构来说是不可承受的。改进方向：探索更高效的训练策略，如更激进地使用参数高效微调（PEFT）、蒸馏技术、或渐进式训练（从低分辨率逐步提升到高分辨率）。3）L2P-III 在高分辨率下表现出的 patch-size 权衡问题：为了在单 GPU 上训练，patch size 必须增大，这导致精细细节重建能力下降（FIDpatch 在 10K 达到 192.286）。改进方向：开发自适应 patch-size 策略，在不同区域使用不同 patch size（重要区域使用小 patch，背景区域使用大 patch）；探索更高效的内存管理技术，如激活检查点、混合精度训练、模型并行。4）评估基准虽然全面，但部分指标（如 MSFI 和 ICS）依赖于 MLLM，可能存在模型偏差和一致性问题。改进方向：进行更广泛的人类对齐研究，扩展评估者群体和样本规模；探索集成多个 MLLM 的评估结果以提高鲁棒性。5）窗口注意力改造（Scheme II）的性能下降表明预训练的全注意力结构与改造后的局部注意力模式之间存在不匹配。改进方向：探索渐进式改造策略，逐步引入窗口注意力；设计更好的远程通信机制，如基于稀疏图的注意力、跨窗口注意力模块。
未来方向
作者提出的未来研究方向：1）研究 UHR 特定的架构适配，如专门为超高分辨率设计的注意力机制、多尺度处理模块。2）开发更高效、稳健的训练配方，包括课程学习、混合分辨率训练、对抗训练。基于本文成果的可延伸方向：1）扩展数据集规模和多样性，整合更多视觉概念和场景类型，如医学影像、卫星图像、工业设计图等。2）探索更高效的推理方法，如模型压缩、量化、动态推理，以降低部署成本。3）研究 UHR 图像生成的下游应用，如图像编辑、超分辨率、风格迁移、三维重建等。4）开发更先进的评估指标，如基于人类感知的多维度质量评估、任务导向的评估框架（如专业摄影评估）。5）探索 UHR 图像生成与其他模态的结合，如文本-图像-视频联合生成、多模态交互式生成。6）研究 UHR 图像生成的安全性和可控性，如防止恶意使用、确保生成内容符合伦理规范。
复现评估
复现评估：1）开源情况：作者在 GitHub 上提供了代码（https://github.com/HaojunChen663/PixVerve-95K），数据集在 ModelScope 上发布（https://modelscope.cn/datasets/APRIL6AIGC/PixVerve-95K）。2）数据集：PixVerve-95K 包含 95,735 张 100MP 图像和七维标注，数据集采用 CC BY-NC 4.0 许可证，防止未经授权的商业利用。3）算力需求：训练成本极高，Scheme I (Full) 在 4K 需要 21,888 H20 GPU 小时（6 epoch），在 8K 仅 0.25 epoch 就需要 10,752 GPU 小时；Scheme II 在 4K 需要 9,216 H20 GPU 小时（3 epoch）；Scheme III 在 4K 需要 8,448 GPU 小时（4.3 epoch），在 8K 需要 18,432 GPU 小时（2.9 epoch），在 10K 需要 23,040 GPU 小时（1.7 epoch）。4）推理成本：FLUX.2-I 变种在 4K 需要 8 GPU 和 103s，在 8K 需要 1,234s，在 10K 需要 2,977s；FLUX.2-II 在 4K 需要 8 GPU 和 71s；L2P-III 在 4K 需要 1 GPU 和 58s，在 8K 需要 70s，在 10K 需要 88s。5）难度评估：对于大多数研究机构来说，完整复现本文的训练实验几乎是不可能的，因为需要大量的 H20 GPU 资源。然而，数据集和代码的开源使得研究人员可以探索不同的训练策略和评估方法，也可以在较低的分辨率（如 4K）上进行实验。6）复现建议：对于资源有限的研究者，建议从 L2P-III 方案开始，因为它在单 GPU 上运行且推理时间较短；可以使用数据集的子集进行初步实验，逐步扩展到完整数据集；可以探索不同的训练策略和超参数，如学习率、batch size、训练轮数等。
论文图表
