基于离线强化学习的图像风格化推理代理规划 Agentic Planning with Reasoning for Image Styling via Offline RL

本文方法的完整流程分为数据生成、训练、推理三个阶段。数据生成阶段(Section 3)：教师模型Qwen3-VL-8B按四阶段流水线生成轨迹——Stage 1(提取上下文)将图像 $I_i$ 编码为10维结构化文本 $c_i$；Stage 2(规划动作+推理)生成 $m_i$ 步工具调用序列 $\{a_{i,j}\}$ 和逐步推理 $\{z_{i,j}\}$，例如 $z_{i,1}=$'文艺复兴时期确立历史背景...'，$a_{i,1}=\text{time period}(1500s)$；Stage 3(合成精确指令)将推理和动作整合为自然语言指令 $\hat{e}_i$；Stage 4(渲染图像)用冻结的Qwen-Image-Edit生成最终图像 $\hat{I}_i$，由教师模型从17个维度给出标量奖励 $r_i \in [0,5]$。最终轨迹形式为 $\tau_i = (e_i, I_i, c_i, \{a_{i,j}\}, \{z_{i,j}\}, \{a_{i,j}\}, \hat{e}_i, \hat{I}_i, r_i)$，按80%/10%/10%按图像分到训练/验证/测试集。三种数据集变体：Simple(10K条，1-2步原子变换)、Regular(10K条，3-5步组合变换，10个室内设计主题)、Complex(10K条，3-5步组合变换，83个多样化主题)。训练阶段(Section 4)：在Qwen3-VL-4B/8B上比较五种算法——S(标准SFT)、R(过滤 $r_i \geq 4.0$ 保留约65%数据)、RW(权重 $w(r_i) = \max\{r_i - 3.0, 0\}$)、SW(Z分数标准化权重 $\tilde{r}_i = (r_i - \bar{r})/\sigma_r$，可正可负)、DPO(Bradley-Terry偏好对，要求 $r_i^+ \geq 4.0$, $r_i^- \in [2.5, 3.5]$, 差 $\geq 0.5$, KL系数 $\beta=0.1$)。每种算法在文本(Text)和视觉-语言(Vision)两种模态下分别训练。推理阶段：给定新图像和用户prompt，规划器提取结构化上下文，生成带推理的工具序列，合成精确指令，由冻结编辑器渲染最终图像。评估时用GPT-4o作为VLM-as-a-Judge，在6个图像质量维度(0-100分制)上评估200个测试样本。

本文的技术新颖性体现在算法、数据、评估三个层面的协同创新。算法层面的核心贡献是SW方法：将Z分数标准化思想从在线策略梯度(GAE、PPO、GRPO)迁移到离线蒸馏场景，使用标准化的奖励 $\tilde{r}_i$ 直接作为样本权重，可正可负。这一设计有两个关键洞察：(1) 当同一输入 $(I_i, e_i)$ 有多次采样且奖励分布不同时，标准化提供了方差缩减——高于均值的样本获得正权重(加大影响)，低于均值的样本获得负权重(抑制影响)，与GAE/PPO中'优势函数'的作用完全类似；(2) 标准化让算法在不同数据集间更具适应性——Simple/Regular/Complex三个数据集的奖励分布可能差异很大，Z分数标准化让权重分布对齐。数据集层面的新颖性是构建了首个带显式推理链和工具级监督的大规模图像风格化数据集——3万条轨迹填补了'图像编辑领域缺乏action-based监督'的关键空白，区别于现有指令编辑数据集(如InstructPix2Pix)只提供prompt-image对而不提供规划过程。评估层面的新颖性是采用VLM-as-a-Judge(GPT-4o)进行无真值评估，并在279个样本上做了人机一致性验证：top-2准确率76-83%，表明GPT-4o能可靠识别优劣排序，与人工判断中等程度相关。此外，引入Reward-Filtered(R)作为简单基线，与RW/SW/DPO形成对照，是离线RL训练方法的系统性比较框架。所有数据集和代码已在HuggingFace公开，提供了完整的可复现管线。

尽管本文在离线RL+图像编辑的结合上取得了显著进展，仍有几个值得深入分析的弱点。第一个弱点是规划器的'幻觉推理'风险：学生模型在推理链中可能生成与实际动作不符的解释，例如说'因为需要暖色调所以选择油彩画'但实际选择的是水彩画，这会让推理的监督信号本身不可靠；改进方向可以引入推理-动作一致性约束，或者让动作执行后再回头评估推理质量。第二个弱点是奖励模型的单一性：所有3万条轨迹都使用Qwen3-VL-8B作为奖励评分器，可能存在'奖励黑客'(reward hacking)现象——模型学会迎合评分器的偏好而非真正提高图像质量；改进方向是集成多个VLM评分器(如Qwen3-VL-235B-A22B)进行集成评估，或加入人工反馈的奖励模型。第三个弱点是数据集间的难度不平衡：Simple(1-2步)与Complex(83主题，3-5步+严格保留约束)的难度差距巨大，但SW和DPO的超参数(如 $\beta=0.1$, 权重函数 $w(r_i)=\max\{r_i-3.0,0\}$)未针对数据集调节；改进方向是引入自适应超参数机制，或为不同数据集训练不同的模型。第四个弱点是评估的相对粗糙：GPT-4o在6个维度上的0-100分评估粒度有限，无法捕捉像素级细节(如人脸畸变、手指数量错误等)；改进方向可以引入CLIPScore、FID等连续指标，或针对特定失败模式做精细化评估。第五个弱点是pipeline的串行依赖：教师生成数据→学生训练→冻结编辑器推理的三段式管线任一环节出错都会传播，可能放大错误；改进方向是端到端联合优化规划器和编辑器，或者加入验证环节过滤低质量规划。第六个弱点是缺少在线评估：所有评估都是离线测试集，无法反映模型在真实用户交互中的表现；改进方向是引入用户研究作为在线评估标准。

作者在论文结论中明确提出了几个有前景的未来研究方向。第一个方向是扩展到视频编辑：当前方法仅处理静态图像风格化，但视频风格化需要额外的时间一致性约束(帧间风格不闪烁、变化平滑)；可以将工具库扩展到时间维度(如'镜头运动速率'),并设计时间感知的推理模板。第二个方向是扩展到更大的工具库：当前10个维度虽然正交但有限，未来可以加入更细粒度的工具(如'物体级局部编辑'、'人物姿态修改'、'背景替换'),这要求规划器具备更强的组合能力，可能需要层次化规划(高层目标→低层子任务)。第三个方向是基于本文的'数据生成+无真值评估'管线可作为通用蓝图推广到其他创意领域，如音频风格化、3D模型编辑、字体设计等，因为核心思想(组合工具库+显式推理+离线RL)具有领域无关性。基于本文成果还可以延伸的方向包括：(1) 交互式规划——让用户实时介入规划过程，修正中间步骤；(2) 跨模态迁移——将图像规划能力迁移到视频/3D模态；(3) 主动学习——识别规划不确定性高的样本，优先收集人工反馈；(4) 多智能体协作——让多个规划器分别负责不同工具维度，通过协商完成复杂变换；(5) 因果推理增强——让规划器理解动作间的因果关系(如'先设置时间再调整光照')，提升多步规划的合理性；(6) 集成LLM世界知识——利用预训练LLM的常识(如'金色时刻通常伴随长影')辅助规划决策。作者提到的局限性之一'标准化对不同数据集的适应性'也提示了元学习方向的潜力——学习如何在不同奖励分布间自动调整加权策略。

从复现角度看，本文提供了较为完整的实现细节和开源资源。代码和数据均已公开发布在HuggingFace仓库(subhojyoti1990/image-agent-styling)，包含三个数据集变体(Simple/Regular/Complex各10K条轨迹)以及完整训练代码。模型基于Qwen3-VL-4B和8B的公开checkpoint微调，编辑器使用Qwen-Image-Edit，教师模型Qwen3-VL-8B-Instruct也开源。训练配置方面，论文提供了主要超参数：DPO的KL系数 $\beta=0.1$，R方法的奖励阈值 $r_{min}=4.0$，RW的权重函数 $w(r_i)=\max\{r_i-3.0, 0\}$，SW的Z分数标准化 $\tilde{r}_i=(r_i-\bar{r})/\sigma_r$，偏好构造要求 $r_i^+ \geq 4.0$, $r_i^- \in [2.5, 3.5]$, 差 $\geq 0.5$。然而复现面临几个挑战：(1) 计算成本高——3万条轨迹的生成需要Qwen3-VL-8B大量推理，加上4B/8B学生的训练和多组超参数实验，整体算力需求可观；(2) GPT-4o评估依赖——评估指标需要调用GPT-4o API，且评估结果有76-83%的top-2准确率噪声，复现时可能得到不同的相对排序；(3) 图像编辑器依赖——Qwen-Image-Edit和HiDream-I1-Dev需要单独集成，推理设置可能影响最终图像质量；(4) 评分维度定义——17个评估维度(11个规划+6个图像)的具体定义和prompt模板需要在代码中精确实现；(5) 完整管线实现复杂——教师-学生范式加上五种训练算法的对比需要搭建完整的离线RL框架。总体而言，本文开源程度较高，但完整复现需要中等规模的算力和工程投入，核心算法思想(SW和RW)相对简单易于概念验证。