DPWriter：基于多样化规划分支的强化学习创意写作框架 DPWriter: Reinforcement Learning with Diverse Planning Branching for Creative Writing

DPWriter的方法包含以下完整步骤：第一步，数据构建。给定写作指令 $q$、原始长CoT推理 $c$ 和目标响应 $y$，使用GPT-4.1生成包含五个方面的规划 $p$：目标与受众（Goal and Audience）、信息与视角（Information and Perspective）、结构与逻辑（Structure and Logic）、语言与风格（Language and Style）、呈现与体验（Presentation and Experience）。然后通过计划一致性修订将原始CoT $c$ 修订为与规划一致的 $c'$，确保规划与推理的对齐。数据集最终包含4.3万个样本。第二步，冷启动SFT。使用半结构化CoT数据 $(q, p, c', y)$ 对基础模型进行监督微调，使模型学会规划格式和生成连贯的推理链。第三步，数据过滤。使用SFT模型为所有训练样本生成响应，用奖励模型Skywork-Reward-V2-Llama-3.1-8B评分，过滤掉最大奖励分数低于整体平均值的样本，最终保留1万个样本用于RL训练。第四步，RL训练。基于GRPO框架，在rollout阶段对每个规划段 $s$（由起始token $t_{start}^s$ 和结束token $t_{end}^s$ 标记），从当前候选集 $C$ 中为每个候选采样K个续写，形成大小为 $|C| \times K$ 的候选池。使用多样性度量 $\mathcal{D}(\cdot)$ 选择G个最多样化的候选进入下一段。第五步，奖励计算。每个响应的质量奖励 $r_{qua}^i = R_\phi(q, y_i)$ 由奖励模型给出，多样性贡献奖励 $r_{div}^i = \text{Norm}\left(\frac{D(y_i, Y \setminus \{y_i\})}{|y_i|}\right)$ 计算独有n-gram比例。最终奖励 $r_i = (1-\lambda) \cdot r_{qua}^i + \lambda \cdot r_{qua}^i \cdot r_{div}^i$，仅当 $r_{qua}^i > \tau$ 时激活多样性奖励。

本文的技术新颖性体现在以下几个方面：首先，在数据层面，本文提出了半结构化长CoT的数据构建方法，通过多方面规划框架和计划一致性修订，将非结构化的推理轨迹转化为包含显式规划的结构化数据。这种数据不仅提供了规划格式的学习信号，还通过特殊token（$\langle goal \rangle$、$\langle info \rangle$、$\langle struct \rangle$、$\langle lang \rangle$、$\langle pres \rangle$）使结构对模型透明可见。其次，在方法层面，DPB方法首次在规划阶段而非token层面进行分支，这与现有工作（如从高熵token分支或设置固定段长度分支）形成鲜明对比。规划级分支的优势在于：分支位置是语义有意义的（不同规划方面代表不同的创作策略），分支结果是可控的（通过多样性度量选择），分支效果是可预测的（不同规划自然导致不同推理和响应）。第三，在奖励层面，本文提出的Diversity Contribution Reward通过组内独有n-gram的归一化计数来衡量多样性贡献，并与质量奖励以乘法方式结合，形成条件激活机制——只有高质量响应才能获得多样性奖励。这种设计避免了低质量但多样化的响应被奖励。第四，在系统层面，DPWriter首次将rollout阶段的分支策略与训练阶段的多样性奖励结合，实验表明两者存在协同效应：随着分支因子K增加，结合多样性奖励后多样性指标呈现更陡峭的增长趋势。

本文存在以下几个值得深入分析的弱点：首先，计算效率问题是主要瓶颈。DPB方法在每个规划段处扩展K个候选，形成大小为 $|C| \times K$ 的候选池，这意味着rollout阶段的计算量是标准GRPO的K倍。当K=128时，计算开销非常显著。改进方向可以考虑：（1）引入轻量级的多样性预筛选机制，在候选池中快速过滤掉明显不多样化的候选，减少完整生成的候选数量；（2）采用异步分支策略，在一个规划段的候选生成完成前就开始下一段的分支，提高GPU利用率；（3）探索更高效的多样性度量方法，如使用哈希或局部敏感哈希（LSH）代替完整的embedding计算。其次，奖励设计存在潜在的脆弱性。Diversity Contribution Reward $r_{div}^i = \text{Norm}\left(\frac{D(y_i, Y \setminus \{y_i\})}{|y_i|}\right)$ 依赖于组内比较，这意味着奖励信号的质量直接受组内其他响应的影响。改进方向可以考虑：（1）引入全局多样性基准，使用历史生成的响应作为参考，减少对当前组的依赖；（2）设计自适应的多样性阈值，根据任务难度动态调整 $\lambda$ 参数。第三，数据构建依赖外部模型GPT-4.1，这不仅增加了成本，还可能引入偏差。改进方向可以考虑：（1）探索自举式数据构建，使用模型自身生成的高质量响应构建训练数据；（2）设计更高效的数据增强方法，如通过改写或变换视角来扩展数据集。

本文的研究开启了几个有前景的未来方向。作者在论文中提到，除了质量提升外，多样性是否能惠及创造力等其他方面仍然是一个开放问题。未来研究可以探索：（1）将DPWriter框架扩展到其他需要多样性的任务，如对话生成、故事续写、诗歌创作等，验证方法的泛化能力；（2）设计专门针对创造力的奖励函数，而不仅仅是多样性，例如引入新颖性、惊喜度、美学价值等维度；（3）探索规划级分支在其他推理任务中的应用，如数学证明、代码生成等，验证方法在结构化推理任务中的有效性。基于本文成果可延伸的方向包括：（1）将DPB方法与现有的RLHF框架结合，探索在人类偏好对齐的同时保持多样性的可能性；（2）设计自适应的分支策略，根据任务难度和模型能力动态调整分支因子K和组大小G；（3）探索多模态创意写作中的多样性促进，如图文结合的创意内容生成；（4）研究规划级分支对模型内部表示的影响，通过可视化和分析理解多样性是如何在规划阶段被编码和传播到最终响应的。

本文的复现评估总体较好。代码方面，作者明确说明代码基于VeRL框架，并在论文中提供了详细的实验设置，包括batch size（128）、update batch size（32）、group size（8）等超参数。数据方面，训练数据来自四个公开数据集：DeepWriting、WritingPrompts、CreateSet、COIG-Writer，数据处理流程（采样、去重、过滤）有详细描述。半结构化CoT数据的构建使用GPT-4.1，论文提供了附录C中的prompt模板。模型方面，实验使用了两个公开可用的骨干网络：Qwen3-4B-Base和Llama-3.2-3B-Instruct。奖励模型使用Skywork-Reward-V2-Llama-3.1-8B，这是RewardBench排名第一的公开模型。评估基准（WritingBench、Creative Writing v3、ArenaHard v2.0、NoveltyBench）均为公开可用。主要的复现难度在于：（1）计算资源需求——需要进行多轮RL训练，且DPB方法的rollout阶段计算量较大；（2）GPT-4.1的使用——数据构建需要GPT-4.1 API访问，可能产生额外成本；（3）奖励模型的训练——虽然使用了公开的奖励模型，但如果需要在新领域应用，可能需要训练新的奖励模型。总体而言，论文的透明度较高，提供了足够的细节供研究者复现主要结果。