WeEdit：面向文本中心图像编辑的数据集、基准与字形引导框架 WeEdit: A Dataset, Benchmark and Glyph-Guided Framework for Text-centric Image Editing

方法分为两大阶段。第一阶段是字形引导监督微调（SFT）：给定源图 $I_{src}$ 和编辑指令 $p$，首先使用 Qwen3-VL-235B-A22B-Instruct 进行两步检测-规划流程。检测步骤识别源图中所有需要编辑的文字区域，输出边界框和内容 $\{(b_{orig}^i, t_{orig}^i)\}_{i=1}^m$；规划步骤根据指令确定目标文字内容和空间位置 $\{(b_{tgt}^j, t_{tgt}^j)\}_{j=1}^n$。然后在与源图同尺寸的黑色画布上用白色 Arial 字体渲染字形图像 $x_{glyph}$。训练时，编辑指令、源图、字形图分别通过 VLM 获取语义 token，源图和字形图经 VAE 编码后在 token 维度拼接，与噪声隐变量一起输入 MM-DiT，仅对注意力层的线性层施加 LoRA（rank=256），用 AdamW 优化器学习率 5e-5 训练 8000 步。第二阶段是多目标强化学习：基于 DiffusionNFT 框架，对每个条件输入 $c$（含源图、字形图、指令）采样 $K$ 个候选图像，通过四个独立的 VLM 奖励模型分别评估指令遵循度 $R_{Adherence}^{task}$、文本清晰度 $R_{Clarity}^{task}$、背景保持度 $R_{Preservation}^{task}$ 和相对质量 $R_{Quality}^{task}$。每个维度的奖励通过 logit 加权连续评分机制计算，即对 0-9 分的 logit 做 softmax 后取期望值归一化到 $[0,1]$，综合奖励 $R^{task} = \lambda_{acc}R_{Adherence}^{task} + \lambda_{cla}R_{Clarity}^{task} + \lambda_{pre}R_{Preservation}^{task} + \lambda_{qua}R_{Quality}^{task}$。奖励经组内归一化后得到优化概率 $r$，用于加权正负策略的对比学习目标。

本文的技术新颖性体现在多个层面。首先，基于 HTML 的数据构建流水线是一个巧妙的设计：将图像转换为 HTML 后，文本编辑变成了简单的字符串替换，再通过 Playwright 确定性渲染回图像，保证非编辑区域像素级一致。这个流水线天然支持多语言——只需先将所有文本翻译为目标语言，再走同样的编辑流程。其次，字形引导的「检测-规划-渲染」流程充分利用了 VLM 的理解和规划能力，不需要额外的 OCR 或布局检测模型。第三，logit 加权连续评分机制避免了单一整数奖励的稀疏性问题，通过利用 VLM 在 0-9 分上的完整 logit 分布获得更平滑的奖励信号。第四，DiffusionNFT 框架中隐式正负策略的设计 $v_{\theta}^+ = (1-\beta)v_{old} + \beta v_{\theta}$ 和 $v_{\theta}^- = (1+\beta)v_{old} - \beta v_{\theta}$，建立了对比改进方向：正分支拉向高奖励生成，负分支推离低奖励生成。

本文有几个值得深入讨论的弱点。第一，Reasoning 任务的性能瓶颈（IA=2.57）表明模型缺乏世界知识推理能力，改进方向可以是将 LLM 的知识检索能力与编辑模型结合，例如先用 LLM 推理出目标文本再执行编辑。第二，推理效率问题：当前流程需要 VLM 做检测规划 + 扩散模型做生成 + RL 阶段的多奖励评估，推理链较长，未来可以探索将检测规划能力内化到编辑模型中，或使用蒸馏方法压缩 VLM 组件。第三，字形渲染使用固定的 Arial 字体和白字黑底格式，无法处理与源图风格匹配的复杂排版需求，改进方向可以是让 VLM 同时预测字体样式参数，或引入字体风格迁移模块。第四，数据构建中非结构化数据依赖现有编辑模型生成候选并通过 VLM 验证，形成了一种「自举」式的数据飞轮，但其质量受限于编辑模型和验证器的上限。第五，RL 阶段的四个奖励维度权重 $\lambda_{acc}, \lambda_{cla}, \lambda_{pre}, \lambda_{qua}$ 是手动设定的超参数，缺乏自适应调节机制。

基于本文的成果，有几个有前景的研究方向。首先是扩展到视频文本编辑，将字形引导机制适配到视频扩散模型中，处理视频中文字的添加、替换和翻译。其次是结合 OCR 和字体识别技术，实现更精确的字体风格匹配，让编辑后的文字在字体、颜色、大小上与原图保持一致。第三是探索更强的推理编辑能力，将 LLM 的 Chain-of-Thought 推理能力与图像编辑结合，处理需要世界知识的复杂编辑场景。第四是将 HTML 流水线扩展到更多文档类型（如 PDF、Word），覆盖更广泛的办公场景。第五是研究交互式文本编辑，允许用户通过点击、框选等更自然的方式指定编辑区域和内容。作者也提到该能力在信息图更新、海报修改、多语言 UI 本地化和文档编辑等实际应用中有重要价值，未来可以针对这些垂直场景做深度优化。

从复现角度来看，本文的可复现性存在一定的挑战和优势。优势方面：数据构建流水线基于开源工具（BeautifulSoup4、Playwright、Pillow），理论上可以复现；训练基于开源的 Qwen-Image-Edit 模型和标准的 LoRA 微调流程；评估使用 Gemini-3-Pro 作为评判器，API 可获取。挑战方面：核心组件依赖多个大型模型——Qwen3-VL-235B 用于检测规划和奖励评估，Qwen-Image-Edit-2509 作为基座模型，Gemini-3-Pro 作为评估器，这些模型的算力需求巨大；SFT 训练 8000 步 + RL 训练 140 epoch 的总计算量不小；数据构建需要对 330K 样本进行多轮 VLM 推理和浏览器渲染。论文未明确报告 GPU 使用量和训练时间，但从模型规模推断需要多卡集群。项目页面已提供（https://huizhang0812.github.io/WeEdit/），但论文未提及是否开源代码和数据。