AgentGL：基于强化学习的智能体式图学习与大语言模型 AgentGL: Towards Agentic Graph Learning with LLMs via Reinforcement Learning

方法具体分为三步：第一步是 GNS 工具的形式化定义与实现。给定目标节点 v（NC）或节点对 (u, v)（LP），τ1HOP 优先返回共同邻居 TopK(C, K)，再平衡地补充两端独占邻居 TopK(Uz, kz)；τ2HOP 把作用域从 N1(·) 扩到 N2(·)；τSS 用预先算好的 Personalized PageRank 分数 s′(v) 排序；τDENSE 用语义余弦相似度排序。所有工具的候选再用 $s(n) = \cos(h_n, \lambda_r h_Q + (1-\lambda_r) h_x)$ 二次重排，$\lambda_r$ 平衡查询相关性与结构相似性。第二步是 RL 训练的目标与奖励设计。基础目标 $J(\theta) = \mathbb{E}_{(x,Q,y^*)\sim D} [R(\hat{y}, y^*) - \beta \cdot D_{KL}(\pi_\theta \| \pi_{ref})]$ 用 token 级 KL 约束保持 LLM 推理能力。Stage 1 奖励 $R(\tau) = r_{FMT} + r_{ACC} + r_{COV}$，其中 $r_{COV}(\tau) = \eta \sum_{j=1}^{|S|} \mathbb{I}[\exists t : a_t = \tau_j]$ 鼓励覆盖全部 4 个工具，防止 early mode collapse；Stage 2 改用 $R(\tau) = r_{FMT} + r_{ACC} + r_{depth}$，其中 $r_{depth}(z) = \alpha \cdot \mathbb{I}[N_{short}=0] - \lambda_d N_{short}$ 惩罚 token 长度低于阈值 $\delta$ 的「碎片化」思考段。Search-Constrained Thinking 通过在每次工具执行后注入「Let me first carefully review the searched documents … and decide whether another search is necessary before proceeding」的回顾触发器，把搜索过程从「习惯性连续」转化为「二元决定」。第三步是 GCCL 课程设计。NC 任务的难度分数 $S_{NC}(v) = \hat{p}_v^{WLB}(z) + \eta \log(1+d_v)$，其中 $\hat{p}_v^{WLB}$ 是带 Wilson Lower Bound 修正的邻居标签一致性估计，$d_v$ 是度数；LP 任务用 $S_{LP}(e) = y_e \cdot sim(x_u, x_v) + (1-y_e) \cdot (1-sim(x_u, x_v))$，把高相似正样本和低相似负样本定为易例。训练时把样本分到 Easy/Medium/Hard 三档，Stage 1 用 800/500/500、Stage 2 用 200/500/500 的配额，按由易到难顺序喂入。

从技术新颖性看，AgentGL 的主要贡献可以拆成三个「新组合」：(1) 把图原生动作空间（4 个 GNS 工具）与强化学习直接耦合，避免了 GraphLLM 时代的 SFT 监督需求。已有的 GraphRAG 工作（如 GraphCoT、GraphSearch）大多依赖启发式 prompt 工程，没有可优化的策略；(2) 在 RL 中显式建模「搜索频率 vs 推理深度」的 Pareto 前沿，通过 RTT+CDR 组合在 Stage 2 中实现隐式效率优化。论文消融显示只有 RTT 与 CDR 同时存在时，搜索步数才能稳定下降约 22%；(3) 用图论可计算的难度分数替代人工或 pilot rollout 的难度估计，这是 LLM RL 训练中相对便宜的课程信号。算法层面也发现 GRPO 与 R++ 在 NC/LP 上呈现互补（GRPO 在 NC 平均高 0.9%，R++ 在 LP 平均高 3.3%），并能跨模型规模（3B→7B）稳定放大优势。

基于对论文的独立分析，我观察到几个值得改进的弱点。第一，两阶段 RL 的数据分配完全依赖经验（Stage 1: 800/500/500, Stage 2: 200/500/500），没有给出选择依据，且两个阶段的样本是 disjoint 还是 overlap 也不清晰。可以考虑自动课程（autocurricula）让模型在 Stage 1 达到饱和后再进入 Stage 2，或基于训练 reward 曲线动态切换。第二，GCCL 的难度分数只用了度数和邻居同质性，对异质性图（如 Reddit）可能不够。可以引入谱特征（如 Laplacian 特征值、motif 计数）或自监督 proxy loss 作为补充难度信号。第三，搜索工具被固定为 4 个离散动作，模型不能「跳过」某次搜索直接基于已收集证据推理。Search-Constrained Thinking 通过软提示实现这点，但没有显式地训练模型学会「足够就停」的 hard stop。可以增加一个 NoOp 动作，让模型显式选择「不搜索、直接回答」，并对正确早停给奖励。第四，τDENSE 检索完全依赖 RoBERTa-Large 的 embedding，对 OOD 节点或长文本支持不好。可以用 LLM 自身的 hidden state 作为 retrieval key，从而让检索与推理共享表示空间。第五，作者只在 Qwen 系列上做了实验，没有验证对 Llama、Mistral、DeepSeek 等其他开源 LLM 的迁移性，这限制了方法的通用性结论。第六，LP 任务上 R++ 比 GRPO 平均高 3.3% 的原因论文没有展开讨论（可能与 advantage normalization 对二元奖励的稳定性有关），值得后续专门分析。

作者在结论与 Limitations 中提出三个未来方向：(1) 扩展到多模态属性图，让节点属性可以是图像、音频或视频，需要设计新的图原生工具（如图卷积 + 视觉问答）；(2) 探索在更密集的图（如社交图、推荐系统图）上的可扩展性，因为当前 PPR 预计算和 τ2HOP 在百万级节点上的代价仍是瓶颈；(3) 进一步优化 MSO 阶段，研究它对工具使用分布的隐式影响。基于成果可延伸的方向还包括：(1) 把 AgentGL 推广到 graph-level 任务（如分子图性质预测、3D 点云分类）和异构图（heterogeneous graph），需要重新设计工具集；(2) 把 GNS 工具与外部知识库（如 Wikipedia、搜索引擎）结合，让 agent 在原生 TAG 之外还能获取世界知识；(3) 在 LLM serving 系统中部署 AgentGL 时研究 rollout 的并行化和 KV cache 复用，因为多回合 RL 训练和推理的延迟是工业落地的关键；(4) 与 self-consistency、test-time scaling 等技术结合，例如对每个 query 跑多个 rollout 再投票，进一步提升 zero-shot 鲁棒性。

AgentGL 的复现门槛中等偏上，作者在多个层面提供了便利：(1) 代码已开源（https://github.com/sunyuanfu/AgentGL），包含两阶段 RL 训练 pipeline、4 个 GNS 工具实现、GCCL 数据划分脚本以及所有 prompt template；(2) 数据集均为公开 TAG 基准（OGB-Arxiv/Products、PubMed、Amazon-Photo/Computers、Reddit、Arxiv-2023），但 Reddit 需要从原 benchmark 自行转换为 TAG；(3) 训练用 OpenRLHF 框架，KL 系数 0、学习率 2e-6、rollout batch size 32、total batch size 128、最大序列长度 1600、采样温度 1.0；(4) 算力需求较重：8 张 NVIDIA H100-80G-SXM5 GPU + 32 核 Intel Xeon Platinum 8462Y+ CPU，两阶段训练 + 7 个数据集的评估大致需要数天才能跑完。算力门槛对大多数学术实验室偏高。文本编码统一用 RoBERTa-Large (all-roberta-large-v1) 作为语义嵌入，GCCL 中标准正态分位数 z=1.96、η=0.05。Stage 1 训练 NC/LP 各 1800 样本、Stage 2 各 1200 样本，相对小规模。3 次独立运行结果显示方差普遍低于 1.1 个百分点，说明训练本身较稳定。综合来看，如果接受开源权重和合理算力预算，复现论文主表结果是可行的；但要完整复现 ablation（去掉 CDR/RTT/GCCL/λr 扫描等）则需要多组训练和数十次实验累计，工时成本较大。