How2Everything：从网络挖掘操作流程以评估和改进大语言模型 How2Everything: Mining the Web for How-To Procedures to Evaluate and Improve LLMs
大规模挖掘网页操作流程，用LLM评判器评估和改进模型的流程生成能力
前置知识
Goal-Conditioned Procedure Generation（目标条件流程生成）
给定一个明确目标（如'制作陶罐作为礼物'），模型需要生成一系列有序的步骤来实现该目标。与开放式生成不同，流程生成强调步骤之间的逻辑顺序和完整性，要求每一步都是可执行的具体动作。这种能力在聊天助手、任务规划等场景中至关重要，约8.5%的ChatGPT对话属于操作建议类别。
本文的核心任务就是评估和改进这种能力，理解流程生成的定义和挑战是理解全文的基础。
LLM-as-a-Judge（LLM作为评判器）
使用大语言模型来自动评估其他模型生成内容的质量，替代昂贵的人工标注。这种方法通过设计特定的评判提示词（prompt），让LLM判断生成内容是否满足特定标准。与传统的字符串匹配指标（如BLEU）相比，LLM评判器能更好地理解语义；与人工评估相比，它具有更好的可扩展性。
本文提出的How2Score协议和How2Judge模型都是基于这一范式，是解决评估可扩展性与可靠性权衡的关键技术。
Critical Failure（关键失败）
在流程生成中，关键失败是指会导致无法达成目标的严重错误，包括遗漏必要步骤、添加多余动作、步骤矛盾、严重模糊或偏离参考流程等。例如，在'出售共有公寓份额'的流程中，跳过30天等待期就是一个关键失败，因为这违反了法定程序。
本文用关键失败检测替代传统的成功率指标，这是评估方法论的核心创新，直接影响评估的准确性和训练效果。
Knowledge Distillation（知识蒸馏）
将大型教师模型的知识转移到小型学生模型的技术。在本文中，使用GPT-5作为教师模型生成73K条标注数据，然后用这些数据微调8B参数的Qwen 3模型，使其学会教师模型的判断能力。蒸馏后的小模型既能保持较高准确率，又能大幅降低推理成本。
How2Judge的构建过程就是知识蒸馏，这使得大规模评估和RL训练奖励计算变得经济可行。
Group Relative Policy Optimization (GRPO)
一种强化学习算法，通过组内相对比较来优化策略。与PPO等传统方法不同，GRPO不需要训练单独的价值函数（critic），而是通过在组内对多个采样输出进行排序来估计优势函数。这使得训练更简单、更稳定，特别适合与LLM-as-Judge奖励信号结合使用。
本文使用GRPO进行强化学习训练，是实现流程生成能力提升的核心优化算法。
研究动机
评估和优化LLM的流程生成能力面临三大挑战。首先是多样性不足：现有数据集局限于狭窄领域，如烹饪食谱或特定教程网站，无法覆盖现实世界中多样化的操作流程。其次是评估粒度问题：现有工作多聚焦于子任务（如步骤排序、边预测），而非端到端的流程有效性评估。最后是指标可靠性与可扩展性的权衡：字符串匹配指标（如BLEU）计算高效但与流程有效性弱相关，人工评估准确但昂贵且不可扩展，而通用的LLM-as-Judge方法容易过度关注表面质量（如连贯性、帮助性），无法捕捉端到端的流程有效性。这些问题限制了流程生成能力的研究进展。
本文的目标是本文旨在构建一个可扩展的框架How2Everything，用于大规模评估和改进LLM的流程生成能力。具体目标包括：从网络挖掘多样化的操作流程数据；建立准确、低成本、可复现的评估协议；展示评估基准在模型规模和训练阶段上的缩放规律；并通过强化学习证明流程生成能力可以被有效提升且不会损害其他能力。
与已有工作不同的是，本文的独特切入角度是将网络预训练数据转化为闭环的评估-改进循环。与依赖狭窄来源或人工标注不同，本文利用WebOrganizer分类器从DCLM网络语料库中提取教程类文档，通过多阶段管道构建351K条流程实例。更关键的是，本文提出'关键失败检测'而非'参考匹配'的评估范式——不是检查模型生成是否与参考文本相似，而是判断生成的流程是否包含阻碍目标达成的致命错误。这种方法更接近流程生成的实际使用场景。
核心方法
How2Everything框架由五个相互支撑的组件构成，形成完整的评估-改进闭环。首先是How2Mine，一个从网络大规模挖掘操作流程的管道。它从DCLM网络语料库中筛选出98万篇教程类文档，通过五阶段处理（提取、启发式过滤、LLM过滤、后处理、最终验证）得到35.1万条结构化流程实例。这些实例包含目标、资源列表和参考步骤。基于这个数据池，构建How2Bench（7K评估集）和How2Train（训练集）。评估方面，提出How2Score协议，使用LLM评判器检测生成流程中的关键失败，并通过知识蒸馏构建How2Judge（8B参数的开源评判模型）。训练方面，使用How2Score作为奖励信号进行GRPO强化学习，提升模型的流程生成能力。
核心创新在于'关键失败检测'评估范式和蒸馏式评判器的结合。传统评估要么检查生成文本与参考的相似度（BLEU等），要么使用通用LLM评判偏好。本文提出一个更本质的问题：生成的流程是否包含任何会导致目标失败的关键错误？这种评估范式直接针对流程生成的核心需求——步骤的有效性和完整性。同时，通过将GPT-5的判断能力蒸馏到8B开源模型How2Judge，实现了评估的低成本和可复现性。与传统方法相比，这种设计既避免了字符串匹配指标与流程有效性脱节的问题，又解决了通用LLM评判器过度关注表面质量的缺陷。
方法步骤详情
方法分为数据构建和评估训练两条主线。数据构建线：(1) 使用WebOrganizer格式分类器从DCLM语料库筛选教程类文档，再用主题分类器进行14个主题的分层采样，得到98万篇候选文档；(2) 用GPT-4.1提取流程（目标+有序步骤列表）；(3) 启发式过滤：移除少于5步或超过15步的流程，以及步骤间高n-gram重叠的流程；(4) LLM过滤：排除依赖特定命名实体、纯数学计算、需要UI交互、开放式创作、非顺序或不合理的流程；(5) 后处理：重写目标使其更具体确定，提取资源列表；(6) 最终验证：移除剩余的无效流程。评估训练线：(1) 构建How2Score协议，定义关键失败（遗漏、多余、矛盾、严重模糊、偏离），使用二元标签聚合（至少一个关键失败=has_failure）；(2) 用200个人工标注样本验证协议，Krippendorff's α=0.593；(3) 收集73K条GPT-5标注，微调Qwen 3 8B得到How2Judge（与人工80.5%一致率）；(4) 从How2Train采样10万样本，使用GRPO进行1000步强化学习训练，奖励包括How2Score、格式验证器和长度奖励。
技术新颖性
本文的技术新颖性体现在多个层面。首先是数据规模和多样性：从98万网络文档中挖掘35.1万条跨14个主题的流程实例，远超现有数据集的覆盖范围。其次是评估范式创新：用'关键失败检测'替代'参考匹配'，这更符合流程生成的实际使用场景——用户关心的是步骤能否成功执行，而非与某个参考文本的相似度。第三是评判器蒸馏：将前沿模型的判断能力压缩到8B开源模型，在保持80.5%人工一致率的同时大幅降低成本。第四是鲁棒性验证：通过交叉评判器实验（GPT-5、Gemini 2.5 Pro、Claude 4.5 Opus、How2Judge）证明评估不存在自偏好偏差；通过数据污染实验（文档出现0-10次）证明记忆化对评估分数影响有限（仅+3分）。
实验结果
本文的实验结果展示了How2Everything框架的有效性。在评估方面，How2Bench能够有意义地区分不同规模和训练阶段的模型：从仅10^21 FLOPs训练的1B模型到最新的前沿模型（如GPT-5），展示了清晰的缩放规律。在五个OLMo训练运行（1B/7B/32B）中，How2Bench在预训练约5%时出现非平凡性能，之后持续提升。格式错误在早期预训练后迅速稳定，而How2Score持续改善，表明持续的改进反映的是端到端流程有效性的提升。在训练方面，RL使用How2Score作为奖励，在三个模型上将How2Bench性能提升超过10分：Qwen3-4B-Instruct从30.29提升到43.52（+13.23），Qwen3-8B-Instruct从38.52提升到48.62（+10.10），OLMo-3-7B-Think从27.30提升到37.89（+10.59）。更关键的是，这些改进没有引入系统性的域外退化：12个标准基准的平均变化分别为+0.52、+0.06、+1.05。交叉评判器实验（图5）表明，尽管绝对值不同，模型相对排序在GPT-5、Gemini 2.5 Pro、Claude 4.5 Opus和How2Judge四个评判器下保持一致，证明评估不存在自偏好偏差。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| How2Bench流程生成 | How2Score成功率(%) | Qwen3-4B+RL: 43.52, Qwen3-8B+RL: 48.62, OLMo-3-7B+RL: 37.89 | Qwen3-4B: 30.29, Qwen3-8B: 38.52, OLMo-3-7B: 27.30 | +13.23, +10.10, +10.59个百分点 |
| How2Judge人工一致率 | 与人工多数标签一致率(%) | How2Judge: 80.5% | GPT-5: 83.0%, 人类留一法: 84.7-88.5% | 接近GPT-5水平，成本大幅降低 |
| MMLU-Pro知识 | 准确率(%) | Qwen3-8B+RL: 63.11 | Qwen3-8B: 62.16 | +0.95 |
| AIME25数学 | 准确率(%) | OLMo-3-7B+RL: 43.96 | OLMo-3-7B: 38.54 | +5.42 |
| AlpacaEval对话 | 胜率(%) | Qwen3-4B+RL: 47.73 | Qwen3-4B: 44.78 | +2.95 |
局限与改进
本文存在多个局限性。首先，评估依赖参考流程的正确性：虽然GPT-4.1验证了96.6%的参考流程是有效的，但仍有3.4%可能存在问题，How2Score可能继承这种噪声。其次，关键失败的定义在非可执行场景中具有主观性：本文通过迭代标注训练材料和增加示例来提高一致性（α从0.273提升到0.593），但仍远非完美一致。第三，数据来源的局限性：How2Mine依赖WebOrganizer分类器识别教程类文档，可能遗漏其他格式的有效流程（如学术写作、知识文章）。第四，评判器的潜在偏差：虽然交叉评判器实验未发现自偏好偏差，但所有评判器都是LLM，可能存在共同的系统性偏差。第五，记忆化风险：虽然实验显示记忆化影响有限（+3分），但在更大规模数据污染或更长训练后，这一风险可能增加。第六，训练实验的规模限制：RL实验仅在1000步和10万样本上进行，更长时间训练的效果未知。
独立分析的弱点
本文有几个值得关注的弱点。第一，评估协议的二元标签聚合可能过于粗糙：虽然这提高了评判者间一致性，但丢失了失败严重程度的信息。一个轻微的模糊步骤和一个完全错误的步骤都被标记为has_failure，无法区分程度差异。改进方向是引入多级评分或加权聚合。第二，How2Judge的蒸馏数据可能存在分布偏差：73K条标注来自特定的生成器模型集合（包括三个1B、四个7B、三个32B检查点和四个闭源模型），可能无法代表所有可能的生成风格。改进方向是扩大生成器的多样性或使用主动学习策略。第三，RL训练的长度奖励机制可能过于简单：参考校准长度奖励（|gen|/|ref|≈1.0）虽然防止了长度游戏，但可能限制了模型在某些场景下生成更详细步骤的能力。改进方向是设计自适应长度控制，根据流程复杂度动态调整。第四，主题覆盖的公平性问题：虽然分层采样确保了14个主题的平衡，但不同主题的固有难度差异可能影响跨主题比较的有效性。
未来方向
作者提出和本文成果可延伸的未来研究方向包括：(1) 扩展到可执行流程：将评估从描述性流程扩展到有明确状态转换的可执行环境（如模拟器、形式化系统），实现真正的端到端验证。(2) 多模态流程生成：结合图像、视频等多模态信息，支持更复杂的操作指导场景。(3) 动态流程适应：开发能根据用户反馈和环境变化实时调整流程的模型。(4) 更细粒度的评估：除了二元关键失败检测，开发步骤级、参数级的评估协议。(5) 跨语言流程生成：将框架扩展到非英语语言，支持全球化应用场景。(6) 安全性增强：针对健康、法律、化学品等敏感领域，开发专门的安全过滤和验证机制。(7) 长期训练研究：探索更长时间的RL训练对流程生成能力的影响，以及与其他能力的协同优化。
复现评估
本文的复现性较好。作者计划发布评估数据集（How2Bench）、提示词模板和蒸馏后的评判器权重，支持无需访问专有模型的可复现评估。数据来源（DCLM网络语料库）是公开的，WebOrganizer分类器也是开源的。然而，完整的How2Mine管道需要大量计算资源：在98万文档上运行GPT-4.1需要25.2万次API调用，成本5717美元。How2Judge的蒸馏需要73K条GPT-5标注和8B模型的微调。RL训练使用GRPO进行1000步，需要多GPU资源。总体而言，复现核心评估（使用提供的How2Judge）是低成本的，但完整复现数据构建和训练管道需要显著的计算投入。
论文图表
