TREX：通过智能体驱动的树搜索自动化LLM微调

用MCTS+双智能体自动完成LLM全流程微调，性能超越人类专家

前置知识

大型语言模型微调

在一个预训练LLM上使用特定任务或领域的数据继续训练，调整其参数以适配下游任务，通常通过全量微调或LoRA等参数高效方法实现。需要选择数据、算法、学习率、batch size等众多决策。

TREX的目标正是自动化这一过程，因此理解数据配方、训练配方与超参数如何影响最终性能是看懂本文动机的关键。

多智能体系统

由多个具备不同专长的LLM智能体分工协作的架构，每个智能体拥有特定的prompt与工具集，通过多轮对话传递任务与中间结果，典型代表如OpenHands、AutoGen等。

TREX的核心是Researcher与Executor双智能体协作，理解这一范式才能把握TREX如何把规划与执行解耦。

蒙特卡洛树搜索(MCTS)

通过反复模拟、选择、扩展、回溯来在巨大搜索空间中高效找出最优解的算法，使用UCB公式 $\mathrm{UCT}(v) = \frac{Q_v}{N_v} + c \cdot \sqrt{\frac{\ln N_{P(v)}}{N_v}}$ 在探索与利用之间取得平衡。

TREX把LLM微调过程建模为MCTS搜索树，UCT选择策略决定了每次迭代拓展哪个实验节点，是本文方法论的基石。

检索增强生成(RAG)

将外部知识(如论文、文档)检索后拼接进LLM上下文，以增强其事实性与时效性的技术，使LLM可以引用远超自身参数容量的外部信息。

Researcher通过arXiv检索与Hugging Face数据集搜索获取线索，RAG思想是其高效利用外部文献的基础。

LoRA与高效参数微调

在冻结的预训练权重旁引入低秩可训练矩阵作为适配器，仅更新少量参数即可适配下游任务，大幅降低显存与算力开销。

TREX在搜索空间中显式对比全量微调与LoRA微调，并搜索LoRA rank等参数，这是其自动化决策的具体对象之一。

研究动机

现有AI研究智能体虽然能在算法设计、内核优化等有限空间内自动迭代，但面对LLM微调这类任务却捉襟见肘。一方面，LLM训练方案由数据分布、训练算法、超参数等多维决策组成，是一个开放且高度复杂的搜索空间，远比结构化参数或代码补丁复杂；另一方面，单次LLM训练与评估动辄数小时甚至数日，远高于算法验证的速度，使得依赖批量提案+验证的进化式框架代价过于昂贵。论文具体指出两个核心障碍：第一，训练数据规模庞大无法直接塞入智能体上下文；第二，训练评估周期过长使得穷举式搜索不可行。这些现实约束让现有AutoML与AI-Scientist类方法在LLM训练上既耗时又低效。

本文的目标是本文旨在构建第一个面向LLM微调全生命周期的自动化研究智能体TREX，使其能在给定的开放式任务目标下，自主完成需求分析、开放域文献与数据调研、训练策略制定、数据配方准备、模型训练与评估这五大环节，并在有限的资源与时间预算下持续提升LLM在目标任务上的表现。论文同时构建FT-Bench基准，由10个源自真实科研与工业场景的微调任务组成，用以系统评估此类系统的能力上限。最终目标是让TREX在多项任务上达到甚至超越人类专家精心设计的微调方案。

与已有工作不同的是，TREX的独特切入角度体现在三个层面：第一，把多轮实验过程显式建模为搜索树并采用基于UCT的MCTS策略，在利用已有高性能节点和探索新方案之间取得平衡，避免了纯贪心或纯随机进化算法的低效；第二，针对LLM训练数据的庞大体量，专门设计了AIDP(AI Data Processor)模块化算子库，既能被智能体以语义清晰的方式调用，又支持并行与可复现的处理，使得数据配方成为一等公民的搜索维度；第三，引入细粒度的诊断分析机制，从指标对比、bad-case分析、跨模型对比中合成评估报告，反哺下一轮方案设计，从而在每次高成本实验中榨出最大信息量。这三个层面共同构成与已有工作(如AI-Scientist、AI-Researcher、MLAgentBench等)的本质区别。

核心方法

TREX的整体思路是让一对智能体在搜索树的框架下协作完成LLM微调。具体而言，Researcher智能体负责制定方案与分析结果，它根据任务定义与历史记忆提出实验草案，例如决定这一轮重点是改进数据配方还是探索新训练算法，并将每轮细化为3-5个并行训练配置以最大化GPU集群利用率；Executor智能体基于OpenHands实现，负责把方案翻译成可在隔离沙箱里运行的代码，并在GPU集群上执行数据处理、模型训练、评估的全流程。每完成一轮实验，研究结果就被凝结成报告回到Researcher，用于更新树节点奖励。在外层循环中，整个多轮实验流程被建模成一棵搜索树，根节点对应建立基线，后续节点由MCTS的UCT公式挑选最有前途的父节点进行扩展，从而高效分配20轮预算。

TREX的核心创新在于把LLM微调这一高成本、开放域、长周期问题转化为可被搜索算法高效求解的决策问题，并通过三件差异化设计落地：(1)把训练数据工程纳入搜索空间，设计AIDP算子库使智能体能够像调函数一样组合数据管线，从而克服数据规模无法塞入上下文的障碍；(2)用MCTS而非贪心或进化算法来引导多轮实验，避免批量提案的低效率；(3)实验诊断机制不仅看指标，还分析bad-case并做跨实验归因，让每一轮昂贵训练都能反哺后续决策。这与已有AI-Scientist类工作(无明显任务导向、无树结构)以及MLE-bench类基准(不涉及LLM微调生命周期)有本质区别。

方法步骤详情

TREX工作流分四步。第一步任务启动：根节点由Researcher在任务定义(含目标、评估协议、初始数据、实验配置)上跑基线实验，对数据量、batch size、学习率、epoch、LoRA rank等做网格搜索得初始Qwen3-1.7B基线。第二步方案制定：Researcher采用粗到细策略，先确定高层改进方向(扩充数据还是调整算法)，再细化到具体数据处理流程与训练配置，调用arXiv检索、Hugging Face搜索、历史查询、AIDP算子等工具。第三步并行执行：Researcher把方案拆成3-5个并行变体交给Executor，Executor编译成代码在GPU集群上执行，期间沙箱机制保护集群数据。第四步诊断与拓展：评估完成后，Researcher对失败样本做bad-case分析、对历史做归因对比，把报告凝结为该节点子记忆，并由UCT公式 $\mathrm{UCT}(v) = \frac{Q_v}{N_v} + c \cdot \sqrt{\frac{\ln N_{P(v)}}{N_v}}$ 选出下一轮父节点扩展。每个节点$v$的上下文 $\mathrm{MC}(v) = \mathrm{Condense}(\mathcal{P}(v), \mathcal{S}(v), \mathcal{C}(T_r))$ 综合父链$\mathcal{P}(v)$、兄弟节点$\mathcal{S}(v)$、树上关键节点$\mathcal{C}(T_r)$三类历史，再压缩喂给LLM避免上下文溢出。

技术新颖性

TREX的技术新颖性可从三个角度评估。第一是范式层面，首次将端到端LLM微调全流程纳入智能体自动化范畴，填补了AI-Scientist类工作只做算法/ML任务自动化的空白。第二是搜索算法层面，把昂贵的LLM训练适配到MCTS框架中，UCT选择机制天然适合'少做实验、多做决策'的高成本场景，作者在ablation中验证了MCTS相对于GBFS与SES具有更稳定的提升曲线。第三是数据工程层面，AIDP库的算子化与可组合设计让智能体既能用自然语言调用，又保证可复现与并行执行，这是直接把原始训练数据丢给智能体所无法做到的，作者在ablation中验证AIDP缺失会显著降低性能且更易中断训练。这三处创新加在一起构成了一个比现有AI4Research系统更适合LLM微调任务的整体方案。

**Figure 4**: Performance of TREX across search strategies on oMeBench and GTA tasks

**Figure 5**: Performance of TREX with versus without AIDP tools on oMeBench and GTA tasks

**Figure 6**: Performance of TREX with accessible versus inaccessible bad cases on oMeBench and GTA tasks

实验结果

TREX在FT-Bench全部10个任务上对基线Qwen3-1.7B均带来显著提升，且使用Gemini 3 Pro作为Researcher后端时几乎在所有任务上都优于Qwen3-Next-80B-Thinking。具体看Table 3的数字：ACI-Bench从0.205跃升到0.260甚至0.502，相对增益分别达到+157%与+849%；TOMG-Bench从0.182升到0.557/0.681，相对+82%/+108%；oMeBench从0.198升到0.392/0.484，相对+228%/+336%；HoC的Macro-F1从0.462跃升到0.896/0.897，相对+237%/+238%；CS-Bench从0.532升到0.572/0.581；OpenFinData从0.494升到0.688/0.699；SST-2从0.958升到0.963/0.972；EconlogicQA从0.260升到0.392/0.454；GTA从0.582升到0.613/0.652；LawBench从0.242升到0.421/0.409。相对增益公式 $G_T = \frac{\mathcal{E}_T(M_{FT}) - \mathcal{E}_T(M_{Base})}{\mathcal{E}_T(M_{Ref}) - \mathcal{E}_T(M_{Base})}$ 用Qwen3-235B-2507作参考。与人类专家方案对比亮眼：TOMG-Bench上Qwen3-1.7B被提升+0.498，远超OpenMolIns-Large在Llama3.1-8B(+0.189)和Llama3.2-1B(+0.139)上的成绩；OpenFinData上TREX带来+0.205提升，超过FEVO-R32B-0(+0.025)，逼近FEVO-R32B复杂CPT-SFT-RL管线(+0.207)。Table 4统计策略使用频率：基线建立10次都成功；数据管线精炼尝试117/91次、成功86/76次、带来改进9/16次；合成数据构造33/50次尝试、22/45次成功、2/9次改进；训练方案调整50/59次尝试、39/52次成功、6/13次改进。三组消融实验进一步验证设计选择：MCTS相对GBFS与SES的曲线波动更小且持续爬升；加入AIDP后oMeBench/GTA性能显著提升且更少因数据处理失败而中断；加入bad-case分析可将最终成绩再上一层。

**Table 1**: LLM fine-tuning tasks in FT-Bench

**Table 2**: Comparison of benchmarks for autonomous research systems

**Table 3**: Performance of the TREX framework for autonomous LLM fine-tuning on FT-Bench

**Table 4**: Frequency distribution of strategies proposed by TREX during the FT-Bench evaluation

**Figure 3**: Comparative performance trajectories of iterative experimental refinement using distinct LLM engines for TOMG-Bench and OpenFinData

查看结构化数据

任务	指标	本文	基线	提升
ACI-Bench (临床笔记生成)	Rouge-1 (归一化)	0.260 (Qwen3-Next) / 0.502 (Gemini 3 Pro)	0.205 (Qwen3-1.7B 基线)	+157% / +849% 相对增益
TOMG-Bench (分子生成)	Validity & Accuracy	0.557 / 0.681	0.182	+82% / +108% 相对增益
oMeBench (化学机理推理)	oMeScore	0.392 / 0.484	0.198	+228% / +336% 相对增益
HoC (癌症特征分类)	Macro-F1	0.896 / 0.897	0.462	+237% / +238% 相对增益
CS-Bench (CS能力评测)	Accuracy	0.572 / 0.581	0.532	+12% / +15% 相对增益
OpenFinData (金融问答)	Accuracy	0.688 / 0.699	0.494	+57% / +60% 相对增益
SST-2 (情感分类)	Accuracy	0.963 / 0.972	0.958	+42% / +117% 相对增益
EconlogicQA (经济推理)	Accuracy	0.392 / 0.454	0.260	+63% / +93% 相对增益
GTA (Agentic工具使用)	Accuracy	0.613 / 0.652	0.582	+22% / +50% 相对增益
LawBench (法律评测)	Hybrid	0.421 / 0.409	0.242	+66% / +62% 相对增益

局限与改进

作者在正文中明确指出了几个限制：第一，闭源模型后端(Gemini 3 Pro、Claude 4.5 Sonnet)的效果明显强于开源后端Qwen3-Next-80B-Thinking，说明系统效果对底层LLM推理能力存在依赖，本质上把决策能力'外包'给了大模型；第二，初始训练集是否可用对效果影响显著——有初始数据的任务(如ACI-Bench、TOMG-Bench)能更快建立基线并迭代，而需要从零构造训练集的任务(如CS-Bench、GTA)需要更深入的研究才能见效，例如CS-Bench的相对增益只有+15%；第三，每个任务最多20轮迭代的预算在LLM训练这种昂贵场景下依然偏紧，性能轨迹Figure 3显示多数任务在20轮时仍处于上升或震荡中，意味着更多轮次可能带来更大提升。第四，FT-Bench的任务类型虽覆盖了10个领域，但都限制在50k样本以内的轻量级微调，未触及大规模RLHF或超大模型的instruction tuning场景。本文未充分评估TREX在多机多卡分布式训练、RL阶段自动化、以及开放式超参搜索(如学习率调度器选择、数据增强函数库)上的能力。

独立分析的弱点

独立审视可以发现以下几个可改进之处。第一，依赖OpenHands+Claude 4.5 Sonnet作为Executor意味着复现门槛高，且代码agent本身的不稳定性会传导到实验可靠性上；论文承认有无AIDP都会出现数据处理失败导致的训练中断，说明Executor的鲁棒性仍是短板。第二，AIDP库的覆盖算子数量与抽象层次未充分披露，仅以附录A.2概述为主，使得读者难以判断哪些数据处理能力是稳定可调的，哪些是临时凑出来的。第三，MCTS的UCT超参数 $c$ 似乎未做系统敏感性分析，且奖励完全用归一化单指标，对多目标(性能+安全性+鲁棒性)任务的适用性存疑。第四，作者虽然做了与开源后端的对比，但只在Qwen3-Next-80B-Thinking这一个模型上验证，没有刻画TREX在不同规模/不同推理风格LLM作为Researcher时的可扩展性规律。第五，论文未深入讨论失败实验的样本效率问题：在AIDP消融下，无AIDP的曲线明显更易中断，导致20轮预算被浪费，意味着当前系统的'失败成本'仍较高。改进方向：可引入Executor级别的self-debug与retry机制、把AIDP的算子签名标准化为机器可验证的schema、对UCT奖励做多目标加权和动态归一化、以及补做不同规模Researcher LLM的缩放实验。

未来方向

作者在结论中暗示了几个自然延伸：(1)把RL阶段(RLHF、DPO、GRPO)纳入同一搜索框架，使TREX覆盖对齐阶段；(2)将搜索树的节点类型从单一训练配置扩展为混合方案(如CPT+SFT+RL的串行流水线)；(3)对超大模型或长上下文模型的微调场景做适配。基于本文成果还可进一步探索：(a)把MCTS替换为更现代的LLM代理搜索算法(如AlphaDev式LLM-guided进化或树状思维链)，并对比RL-based选择策略；(b)构建跨任务迁移的能力，把某一任务的AIDP算子组合经验蒸馏到新任务中以加速冷启动；(c)拓展多模态微调(图像、语音、视频)，引入对应的多模态AIDP算子；(d)引入人机协作机制，让人类专家在关键节点(如选择 $c$、注入领域知识)时介入，把TREX变成可被人监督的自动化系统。这些方向都能延续TREX'把LLM训练变成自动化研究对象'的核心思想。

复现评估

复现性方面，本文在README脚注声明代码与数据将发布到 https://github.com/trex-project ，但提交时仓库尚未公开，因此现阶段无法直接运行端到端系统。已公开的复现所需信息包括：使用了Qwen3-1.7B作为统一基线，所有任务样本量上限50,000，最多20轮实验迭代；Researcher分别用Qwen3-Next-80B-Thinking和Gemini 3 Pro；Executor固定使用Claude 4.5 Sonnet + OpenHands；评估指标、归一化公式 $G_T = \frac{\mathcal{E}_T(M_{FT}) - \mathcal{E}_T(M_{Base})}{\mathcal{E}_T(M_{Ref}) - \mathcal{E}_T(M_{Base})}$ 全部写明；FT-Bench的10个任务均标注了源论文。算力需求方面，论文声明在GPU集群上执行每轮3-5个并行训练，但未给出具体卡数与时长。复现难度评估为中高——主要瓶颈是闭源LLM API的可获得性、GPU集群资源以及尚未开源的代码。

TREX：通过智能体驱动的树搜索自动化LLM微调 TREX: Automating LLM Fine-tuning via Agent-Driven Tree-based Exploration