基于区域分组直接偏好优化的字形准确视觉文本渲染

提出区域级偏好优化方法提升多语言复杂字形渲染精度

前置知识

Direct Preference Optimization (DPO)

DPO 是一种无需显式奖励模型的偏好对齐方法，它直接利用人类偏好数据优化模型输出。与传统 RLHF 需要训练奖励模型不同，DPO 通过分析人类偏好的胜者和败者样本，构建隐式奖励信号。其核心思想是通过最大化 Bradley-Terry 模型的似然来对齐模型输出与人类偏好，避免了奖励模型训练的不稳定性，在图像生成和文本生成任务中表现出色。

本文提出的 R-GDPO 基于 DPO 框架扩展到区域级别，理解标准 DPO 的工作原理对于掌握本文的区域级偏好优化机制至关重要。

Classifier-Free Guidance (CFG)

CFG 是扩散模型中的一种条件生成方法，通过同时训练条件模型和无条件模型，在推理时结合两者的预测来引导采样过程。其核心公式通过结合无条件分数函数和条件分数函数来控制生成结果与条件的对齐程度，其中引导权重可以调节对齐强度。这种方法不需要额外的分类器，广泛用于文本到图像生成任务。

本文的 Regional Reward Guidance (RRG) 基于 CFG 思想扩展到区域级别，理解 CFG 对于掌握 RRG 的推导和应用非常关键。

Flow Matching

Flow Matching 是一种生成模型训练范式，通过学习从噪声分布到目标分布的概率路径来生成样本。与扩散模型类似，它通过逐步去噪来生成数据，但使用了更稳定的流动匹配损失函数来优化速度场预测。Flow Matching 在高分辨率图像合成中表现出色，本文的基础模型 Flux.1-Dev 正是基于 Flow Matching 的扩散 Transformer。

本文的整个框架建立在 Flow Matching 模型之上，理解其数学原理有助于掌握 R-GDPO 的损失函数推导和训练过程。

Region-Level Preference

区域级偏好是指对图像中不同区域独立标注偏好信息，而不是对整张图像给出一个整体偏好。在文本渲染任务中，一张图像可能某些区域字形正确，某些区域字形错误，区域级偏好可以精确指出哪些区域是胜者、哪些是败者。这种细粒度的标注让模型能够学习局部字形的正确性，而不仅仅是整体图像质量。

这是本文的核心创新点，区域级偏好使得 R-GDPO 能够针对字形错误进行局部优化，这是标准 DPO 无法实现的。

研究动机

现有文本渲染方法在生成复杂或域外字形时面临严峻挑战。如图 1 所示，即便是先进方法在渲染复杂中文字符或表情符号时仍会出错，产生多余的笔画或缺失关键结构。根本原因在于现有方法主要依赖大规模高质量场景文本图像训练，但这些数据的字形变异覆盖有限，且过度风格化会损害字形准确性。更严重的是，一些方法采用强化学习优化，但依赖的文本识别模型对细粒度字形错误不敏感。如图 2 所示，这些模型会对正确的和错误的文本图像输出相同的识别结果，导致有错误的图像仍能获得高奖励值，最终损害模型性能。

本文的目标是本文旨在提出一种不依赖显式奖励模型的基于偏好的文本渲染方法，能够生成准确字形的同时保持良好的风格与精度平衡。具体目标包括构建区域级别的偏好数据集，让模型学习局部字形的正确性；设计区域级别的 DPO 变体，充分利用区域级偏好对来优化模型；在推理时提供可控的字形准确度调节机制。最终希望模型在复杂中文字符、多语言文本和域外字形条件下都能保持高精度的字形渲染能力。

与已有工作不同的是，本文的独特切入角度是首次将直接偏好优化从图像级别扩展到空间区域级别，专门针对视觉文本渲染的局部性特点设计优化目标。与现有方法相比，本文的创新点在于认识到文本渲染中的字形错误通常是局部的而非整体的，因此需要区域级的优化目标；构建了首个区域级标注的文本渲染偏好数据集 GlyphCorrector，包含大量图像和字形条件；提出了 Region-Grouped DPO，同时利用跨样本和同样本的区域级偏好对，极大提高了数据利用效率；设计了 Regional Reward Guidance 推理策略，将 CFG 扩展到区域级别，提供可控的字形准确度调节。

核心方法

GlyphPrinter 采用两阶段训练策略。Stage 1 是基础模型训练，在文本图像上微调预训练的 T2I 模型基于 Flux.1-Dev，使其具备基本的文本渲染能力。训练数据包含大量合成多语言文本图像和收集的真实文本图像。Stage 2 是区域级偏好优化，使用构建的 GlyphCorrector 数据集和提出的 R-GDPO 目标优化模型，提升字形准确性。在推理时引入 Regional Reward Guidance，通过结合 Stage 1 和 Stage 2 模型的预测，在保持背景质量的同时提高文本区域的字形准确度，并且可以通过调节权重控制准确度与风格化的平衡。

核心创新点是将标准 DPO 的图像级偏好对扩展为区域级偏好对，同时利用跨样本和同样本的偏好信息。标准 DPO 只能告诉模型哪张图像整体更好，但在文本渲染任务中，一张图像可能某些区域正确、某些区域错误。R-GDPO 构建了两种类型的区域级偏好对，跨样本偏好对表示样本的某个区域正确而另一样本的对应区域错误，同样本偏好对表示同一样本内部的正确和错误区域。通过同时优化这两种偏好对，模型能够学习到局部字形的正确性，这是与已有方法的本质区别。

方法步骤详情

Stage 1 训练步骤包括将每个文本块渲染为字形图像并通过 VAE 编码为字形特征；拼接提示词嵌入、噪声图像特征和总字形特征，构建联合表示；构建注意力掩码，只允许图像区域与对应的字形特征进行通信，实现文本定位；使用 Flow Matching 损失训练模型，其中条件包含提示词和文本块。Stage 2 训练步骤包括为每个提示词-字形对生成一组候选图像，人工标注每张图像的正确和错误字形区域，构建跨样本和同样本的区域级偏好对，使用 R-GDPO 损失优化模型。推理时使用 RRG，只对文本区域应用奖励引导来保持背景质量。

技术新颖性

技术新颖性体现在三个方面。数据层面，首次构建了区域级标注的文本渲染偏好数据集，通过人工标注每张图像的正确和错误字形区域，为细粒度的字形学习提供了数据基础。方法层面，将标准 DPO 从图像级扩展到空间区域级，推导了完整的数学框架，包括区域级奖励函数和区域级 DPO 损失。推理层面，提出了 Regional Reward Guidance，将 CFG 的思路扩展到区域级，通过只对文本区域应用奖励引导来保持背景质量。与相关工作相比，R-GDPO 同时利用跨样本和同样本的偏好对，显著提高了数据利用效率，这是与 PatchDPO 等方法的重要区别。

**Figure 3**: Construction of the attention mask used in GlyphPrinter and construction of the preference masks used in R-GDPO.

实验结果

实验结果表明 GlyphPrinter 在字形准确度上显著超越现有方法。在涵盖七种语言的基准上，本文方法的平均 NED 达到很高的水平，英语达到 0.9851，泰语达到 0.9663，句子准确率从法语的 0.8427 到韩语的 0.9362。在复杂中文字符基准上，NED 达到 0.9013，句子准确率达到 0.8349。用户研究显示本文方法在字形准确度上得分 8.3084，显著高于基线方法。同时本文方法在文本-图像对齐和图像美学方面也保持竞争力，与使用相同基础模型的方法相当。消融实验证实了 R-GDPO 和 RRG 的有效性，结合跨样本和同样本偏好的表现最佳，去除 RRG 后性能下降。

**Table 1**: Evaluation of text rendering accuracy. The rows from English to Thai indicate the results of GlyphAcc-Multilingual.

**Table 2**: The user study assesses image aesthetic, text-image alignment, and glyph accuracy.

**Table 3**: Evaluation of text-image alignment and image aesthetic. Both scores are within the range of 1 to 100.

**Table 4**: Ablation study. Bold indicates the best result, and underline denotes the second best.

**Figure 4**: Text rendering results under simple and complex glyph conditions. Our GlyphPrinter outperforms other methods in preserving fine details of glyphs.

**Figure 5**: Text rendering results under multilingual and out-of-domain glyph conditions. Our method GlyphPrinter consistently preserves glyph fidelity.

**Figure 6**: Ablation studies. The erroneous regions of each image are highlighted with green boxes.

查看结构化数据

任务	指标	本文	基线	提升
English text rendering	NED	0.9851	AnyText2: 0.8162 / EasyText: 0.9780	比 AnyText2 提升 20.7%，比 EasyText 提升 0.7%
Chinese text rendering	NED	0.9728	AnyText2: 0.9004 / EasyText: 0.9569	比 AnyText2 提升 8.0%，比 EasyText 提升 1.7%
Japanese text rendering	NED	0.9616	AnyText2: 0.8543 / EasyText: 0.9389	比 AnyText2 提升 12.6%，比 EasyText 提升 2.4%
Korean text rendering	NED	0.9693	AnyText2: 0.7222 / EasyText: 0.8544	比 AnyText2 提升 34.2%，比 EasyText 提升 13.5%
Complex glyph rendering	NED	0.9013	AnyText2: 0.7867 / EasyText: 0.7645	比 AnyText2 提升 14.5%，比 EasyText 提升 17.9%
User study - glyph accuracy	Score (1-10)	8.3084	AnyText2: 5.3769 / EasyText: 7.4411	比 AnyText2 提升 54.5%，比 EasyText 提升 11.7%

局限与改进

作者承认的局限性包括对小字符的渲染准确性较低，这是由于 VAE 的分辨率限制；模型在固定分辨率上训练，限制了生成多样化宽高比输出的能力。基于观察，本文方法还存在以下局限性。GlyphCorrector 数据集规模相对较小，可能无法覆盖所有字形变异，特别是稀有字符。人工标注区域级偏好成本较高，限制了数据集的快速扩展。R-GDPO 的训练过程比标准 DPO 更复杂，需要仔细调节权重平衡跨样本和同样本偏好。RRG 需要同时运行两个模型，推理成本约增加一倍。

独立分析的弱点

基于独立分析，存在以下弱点及改进方向。小字符渲染精度低，可以探索使用更高分辨率的 VAE 或设计专门的小字符增强模块，例如通过注意力机制聚焦小字符区域。数据集规模限制，可以通过半自动标注方式扩展 GlyphCorrector，例如使用字形相似度度量自动生成初始标注，然后人工修正。推理成本高，可以探索模型压缩或知识蒸馏技术，将两个阶段的模型合并为单个高效模型。宽高比限制，可以引入动态分辨率训练或使用自适应裁剪策略支持多样化布局。跨样本偏好对构建效率低，可以设计更智能的采样策略，优先生成覆盖不同字形区域的多样化样本，减少冗余生成。

未来方向

作者提出的未来工作包括解决小字符渲染和宽高比限制问题。基于本文成果可以延伸的研究方向包括将 R-GDPO 扩展到其他局部性任务，例如人脸生成中的五官对齐、物体生成中的部件细节优化；探索自动化的区域级偏好标注方法，例如利用字形识别模型生成初步标注，减少人工成本；研究多尺度的区域级偏好，同时优化局部字形和整体布局；将 R-GDPO 与其他强化学习方法结合，例如在线学习策略，实现持续的偏好对齐；探索跨语言的偏好迁移，利用一种语言的标注数据优化其他语言的字形渲染能力。

复现评估

代码和模型将开源。数据集方面，GlyphCorrector 包含大量图像和字形条件，但具体的标注细节和获取方式需要在补充材料中进一步说明。算力需求方面，训练使用多张高端 GPU，Stage 1 训练数万步，Stage 2 训练数千步，总训练时间估计约数天。复现难度中等，主要挑战在于需要高质量的文本渲染基础模型、需要人工标注 GlyphCorrector 数据集或获取已标注版本、R-GDPO 的实现需要仔细处理区域级偏好对的构建和损失函数的计算。

基于区域分组直接偏好优化的字形准确视觉文本渲染 GlyphPrinter: Region-Grouped Direct Preference Optimization for Glyph-Accurate Visual Text Rendering