Youtu-Agent：通过自动生成和混合策略优化扩展智能体生产力

解决LLM智能体高配置成本和静态能力问题，实现自动生成和持续优化的模块化框架

前置知识

LLM智能体

LLM智能体是基于大语言模型的自主系统，通过感知环境、推理规划、执行工具的循环来完成复杂任务。典型的架构包括环境层提供执行上下文、工具层封装可调用操作、智能体层使用LLM进行决策规划。智能体能够处理多步骤、跨模态的真实世界任务，如网页导航、代码执行、信息检索等

理解智能体架构是理解Youtu-Agent三层模块化设计的基础，也是理解本文如何实现组件解耦和灵活复用的关键

上下文学习

上下文学习是指通过在提示词中提供示例或经验来引导模型推理，而不更新模型参数。在智能体场景中，可以将成功和失败的任务轨迹作为经验注入，模型通过对比这些轨迹学习更好的决策策略。这种方法避免了梯度计算，适用于无法微调的API模型

Agent Practice模块的核心技术，理解上下文学习有助于理解如何实现零参数更新的低成本智能体优化

GRPO

Group Relative Policy Optimization是一种强化学习算法，通过计算同一任务多个轨迹的相对优势来优化策略，而不是计算单个轨迹的绝对优势。传统GRPO计算数值化的优势值，而Training-free GRPO让LLM评估轨迹的语义质量，提取成功和失败trials的对比知识，生成文本形式的学习方向

Agent Practice模块和Agent RL模块都基于GRPO思想，理解GRPO有助于理解本文如何实现经验积累和策略优化

熵爆炸

熵爆炸是长周期任务中强化学习训练的稳定性问题，表现为策略退化为重复或无意义的动作。在智能体训练中，由于任务周期长、状态空间复杂，策略网络容易陷入熵值过大的状态，导致工具调用混乱、推理失效。解决方法包括过滤异常工具调用、减少批次打乱、纠正优势估计偏差等

Agent RL模块解决的两大挑战之一，理解熵爆炸有助于理解本文如何实现稳定的端到端强化学习训练

研究动机

现有LLM智能体框架面临两个关键瓶颈：高配置成本和静态能力。高配置成本体现在构建高质量智能体需要大量人工工作，包括工具集成和提示词工程。从业者需要选择合适的工具、精心设计系统指令，实现自定义工具还需要编写Python函数、集成外部API、处理边界情况等大量工程工作。这种工匠式开发方式门槛高，限制了智能体的大规模部署。静态能力问题则在于部署后的智能体难以适应动态环境。提升性能通常需要人工优化提示词或few-shot示例，这种方式成本高且效果不保证；或者使用监督微调或强化学习，但面临数据稀缺、计算成本高、训练不稳定等问题，如长周期任务中的熵爆炸现象。现有框架如MetaGPT、AutoGen主要关注多智能体协作，但依赖预定义角色和大量提示词调优，无法自动生成工具代码和配置

本文的目标是本文提出Youtu-Agent框架，旨在解决智能体开发的高配置成本和静态能力问题。具体目标是构建模块化、可自动生成的智能体框架，降低人工配置负担；实现持续优化机制，使智能体能够在运行时积累经验并自我进化；提供低成本和规模化两种优化路径，分别适用于不同场景；建立端到端的强化学习训练管道，实现稳定的大规模分布式训练。框架完全基于开源模型和工具，在WebWalkerQA达到71.47% pass@1，在GAIA文本子集达到72.8% pass@1，验证了框架的有效性和通用性

与已有工作不同的是，本文的独特切入角度是将自动构建和持续优化结合到一个统一的框架中。与现有工作的区别在于：首先，不仅生成智能体的设计，还自动合成必要的工具代码，提供从生成到优化的完整管道。其次，提供两种优化路径的混合系统：Agent Practice模块通过上下文经验积累实现低成本优化，Agent RL模块提供端到端的强化学习训练。最后，解决强化学习的两个核心挑战：可扩展性到128 GPU和稳定性在长周期任务中。这种双路径优化策略使得框架能够适应不同成本和性能需求的场景，从日常应用到需要峰值性能的生产环境

核心方法

Youtu-Agent采用分层模块化架构，包含三层执行框架和三组优化组件。执行框架分为Environment层提供执行上下文（浏览器实例、操作系统shell、代码沙箱等）、Tools层封装原子和组合操作（环境相关工具、独立工具、MCP工具）、Agent层包含LLM驱动的规划执行器和上下文管理器。优化组件包括Eval评估器提供标准化指标、Agent Practice模块实现无梯度更新的经验学习、Agent RL模块支持端到端强化学习。框架的核心创新在于YAML结构化配置系统，所有组件通过人类可读的YAML文件声明，既支持手动组合，也为自动生成提供目标模式。基于此配置系统，框架提供两种自动生成范式：Workflow模式通过确定性四阶段流水线处理常规任务，Meta-Agent模式部署高级架构师智能体处理复杂非标准需求

Youtu-Agent的核心创新点是双范式自动生成机制和混合策略优化系统。自动生成方面，Workflow模式采用确定性四阶段流水线（意图澄清与分解、工具检索与临时工具合成、提示词工程、配置组装），Meta-Agent模式部署拥有search_tool、create_tool、ask_user、create_agent_config四个工具的架构师智能体，能够动态规划生成过程。混合优化方面，Agent Practice模块集成Training-free GRPO，通过多轮rollout和LLM评估器提取语义群组优势，将经验作为文本LoRA注入上下文，无需梯度更新；Agent RL模块通过RESTful API封装、Ray并发、分层超时逻辑解决可扩展性，通过过滤异常工具调用、减少批次打乱、纠正优势估计偏差解决熵爆炸问题。这种设计使得框架能够在低成本和规模化两个极端场景下都有效工作

方法步骤详情

Workflow模式的完整流程包括四个阶段。阶段一意图澄清与分解：用户的高层任务描述被分析和分解为具体技术需求，识别核心目标、必要能力和潜在环境约束，产生结构化规范。阶段二工具检索与临时工具合成：基于澄清的需求搜索现有工具库，如果缺少必需工具，临时工具合成模块自动生成新的Python工具实现，包括函数签名、文档字符串和单元测试。阶段三提示词工程：根据已选择或合成的工具，生成优化的系统指令，考虑任务需求、工具使用模式和期望的智能体行为。阶段四配置组装：最终阶段将环境规范、选择的工具、生成的提示词和上下文管理设置编译为完整的YAML配置文件，可直接部署。Agent Practice模块的工作流程是在小训练集（有或无ground truth）上每个任务执行多轮rollout，生成多样化解决方案轨迹，LLM评估器评估同一任务轨迹的相对质量，通过对比成功和失败试验提取语义群组优势，将经验作为文本学习方向注入，在线测试时作为文本LoRA指导推理。Agent RL模块的流程是将智能体逻辑封装为RESTful API服务，通过Ray实现分布式rollout收集，使用分层超时逻辑控制工具、步骤和episodes级别，过滤训练数据中的无效和异常工具调用，减少批次打乱和off-policy更新迭代，纠正turn-level GRPO训练中的优势估计偏差

技术新颖性

Youtu-Agent的技术新颖性体现在四个方面。首先是自动化程度：不仅自动生成智能体配置，还自动合成工具代码，包括函数签名、文档字符串和单元测试，工具合成成功率超过81%。其次是双路径优化策略：Agent Practice模块通过Training-free GRPO实现零参数更新的经验学习，使用100个样本和约18美元成本在AIME 2024/2025上分别提升+2.7%和+5.4%；Agent RL模块提供端到端强化学习，在数学任务上将Qwen2.5-7B的AIME 2024准确率从10%提升到45%，在搜索任务上在7个基准上提升8%-21%。第三是基础设施优化：RESTful API封装、Ray并发、分层超时逻辑使训练迭代时间减少40%，可稳定扩展到128 GPU。最后是稳定性解决方案：通过过滤异常工具调用、减少批次打乱、纠正优势估计偏差解决熵爆炸问题，使训练过程中actor的KL散度和梯度范数保持稳定，critic分数稳步增长

**Figure 1**: Automated generation mechanism

**Figure 2**: Training-free GRPO mechanism

**Figure 3**: An end-to-end RL training pipeline with Youtu-Agent

实验结果

Youtu-Agent在四个维度上验证了有效性。基准性能方面，使用DeepSeek-V3系列开源模型在WebWalkerQA（680问题）上达到71.47% pass@1，在GAIA文本子集（466问题）上达到72.8% pass@1，建立了强大的开源基线。自动生成效果方面，在自建的AgentGen-80基准（80个任务描述）上，Workflow模式配置有效性100%、工具可执行性81.25%、任务完成率65.00%，Meta-Agent模式配置有效性98.75%、工具可执行性82.50%、任务完成率68.75%。Agent Practice模块效果方面，使用100个训练样本和3个epoch，在有ground truth情况下在AIME 2024/2025上分别提升+2.7%和+5.4%，无ground truth情况下仍有提升，学习曲线显示性能稳步提升且工具调用数量减少。Agent RL模块效果方面，相比Agent-Lightning官方版本，训练迭代时间减少约40%，在数学任务上AIME 2024/2025准确率分别提升35%和22%，在搜索任务上TriviaQA、PopQA、NaturalQuestions、MuSiQue、HotpotQA、Bamboogle、2WikiMultiHop分别提升17%、19%、21%、8%、17%、13%、10%。训练动态显示优化后KL散度、梯度范数保持稳定，critic分数和验证准确率稳步增长

**Table 1**: Performance comparison of Workflow and Meta-Agent generation modes on AgentGen-80

**Table 2**: Performance comparison on AIME 2024 and 2025 (Mean@32)

**Table 3**: Results on Maths benchmarks (step 500)

**Table 4**: Results on general QA and multi-hop QA benchmarks (step 200)

**Figure 4**: Performance comparison on WebWalkerQA

**Figure 5**: Learning dynamics during Training-free GRPO

**Figure 6**: Training efficiency comparison

**Figure 7**: Training dynamics comparison

**Figure 8**: Demonstrations of the Tip application

查看结构化数据

任务	指标	本文	基线	提升
WebWalkerQA	pass@1	71.47%	N/A	建立开源基线
GAIA (text-only)	pass@1	72.8%	N/A	建立开源基线
AIME 2024 (Agent Practice)	Mean@32	82.7%	80.0%	+2.7%
AIME 2025 (Agent Practice)	Mean@32	73.3%	67.9%	+5.4%
AIME 2024 (Agent RL)	Accuracy	0.45	0.10	+0.35
AIME 2025 (Agent RL)	Accuracy	0.31	0.09	+0.22
NaturalQuestions (Agent RL)	Accuracy	0.45	0.24	+0.21
Tool Synthesis	Success Rate	>81%	N/A	自动化工具生成
Training Speedup	Iteration Time	-40%	Agent-Lightning v0.2.2	40%加速

局限与改进

作者承认的局限性包括自动生成的任务完成率仍有改进空间（65-68%），Workflow模式的成功率虽高但Meta-Agent模式在复杂任务上偶尔可能失败。我观察到框架目前主要基于开源模型，在需要闭源API的场景下可能受限；Agent Practice模块的效果依赖于小训练集的质量，对于分布外任务泛化能力有待验证；Agent RL模块虽然解决了稳定性问题，但训练成本仍然较高，需要大量GPU资源；当前架构主要针对单智能体场景，多智能体协作能力有限；Tip应用展示了GUI自动化的潜力，但实际部署中可能面临操作系统兼容性、权限管理等工程挑战

独立分析的弱点

Youtu-Agent的弱点主要表现在：自动生成的任务完成率65-68%仍有提升空间，可能在复杂多步骤任务上失败，改进方向可以是增强架构师智能体的规划能力和错误恢复机制。Agent Practice模块依赖LLM评估器的主观判断，可能存在评估偏差，可以引入人类反馈或更客观的自动化评估指标。工具合成虽然成功率超过81%，但合成工具的质量和安全性难以保证，需要加强代码审查和沙箱隔离。Agent RL模块的强化学习训练对数据质量和数量要求高，在数据稀缺领域难以应用，可以结合迁移学习和少样本学习。框架目前的环境集成有限，主要支持浏览器、shell和代码沙箱，对于移动端、物联网等环境的支持不足，需要扩展Environment层的后端实现。Tip应用展示了本地化部署的潜力，但端侧模型的推理能力可能受限，需要探索模型压缩和蒸馏技术

未来方向

作者提出的未来方向包括扩展更多环境集成、增强多智能体协作能力、开发更复杂的经验积累策略。基于本文成果可以延伸的方向包括：探索主动学习和课程学习来优化经验采样策略，使Agent Practice模块在更少样本下达到更好效果；研究分层强化学习和元学习，使智能体能够学习通用策略并快速适应新任务；开发跨模态的工具调用机制，支持图像、音频等多模态输入输出；构建更丰富的工具库和模板库，提升自动生成的覆盖率和质量；研究安全性和可控性，确保自动生成的工具和智能体行为符合安全和伦理要求；优化端到端训练流程，进一步降低计算成本和硬件需求；探索联邦学习和隐私保护，使框架能够在敏感数据场景下安全部署；构建社区生态系统，鼓励用户贡献工具和配置，形成智能体应用市场

复现评估

Youtu-Agent的复现性较好，代码已在GitHub开源（https://github.com/TencentCloudADP/youtu-agent），提供了完整的框架实现和训练脚本。论文详细描述了所有实验设置，包括模型选择、超参数配置、数据集信息等。基准实验使用公开数据集WebWalkerQA和GAIA，AgentGen-80是作者自建但描述清晰。Agent Practice模块使用DAPO-Math-17K的100个随机样本，实验设置包括3个epoch、group size 5、温度0.7（学习）和0.3（测试）。Agent RL模块使用ReTool数据集进行数学任务训练，SearchR1设置进行搜索任务训练。训练需要GPU资源，作者提到可扩展到128 GPU，但小规模实验可能在单机或少GPU上完成。框架基于开源模型DeepSeek-V3系列和Qwen2.5系列，不依赖闭源API，降低了复现门槛。总体而言，复现难度中等，需要一定计算资源和机器学习背景，但开源代码和详细文档提供了良好支持

Youtu-Agent：通过自动生成和混合策略优化扩展智能体生产力 Youtu-Agent: Scaling Agent Productivity with Automated Generation and Hybrid Policy Optimization