TourPlanner：基于竞争共识与约束门控强化学习的旅行规划框架 TourPlanner: A Competitive Consensus Framework with Constraint-Gated Reinforcement Learning for Travel Planning
多智能体竞争共识+门控RL，解决旅行规划中多目标冲突与约束满足难题
前置知识
Chain-of-Thought (CoT) 思维链
Chain-of-Thought 是一种提示工程方法，通过让大语言模型逐步推理而非直接给出答案，显著提升复杂任务的解决能力。在旅行规划中，传统 CoT 采用单条推理路径，从用户需求出发逐步生成每日行程。然而单一路径容易陷入局部最优，难以同时满足文化、美食、预算等多重目标。本文提出的 CCoT 将单路径扩展为多路径竞争，每个路径专注于不同的优化目标，最终通过仲裁达成共识。
理解传统 CoT 的局限性是理解本文 CCoT 创新点的基础——为什么需要多路径而非单路径推理。
DBSCAN 密度聚类
DBSCAN (Density-Based Spatial Clustering of Applications with Noise) 是一种基于密度的聚类算法，能够自动发现任意形状的簇并识别噪声点。与 K-Means 不同，DBSCAN 不需要预设簇的数量，而是通过参数 ε（邻域半径）和 MinPts（最小点数）来定义簇的密度。在旅行规划中，DBSCAN 被用于将地理位置相近的景点、餐厅、酒店聚类，以优化路线效率。
本文使用 DBSCAN 对 POI 进行空间聚类，是 PReSO 工作流中实现空间紧凑候选集的关键技术。
Group Sequence Policy Optimization (GSPO)
GSPO 是一种序列级策略优化算法，与传统的 token 级 PPO 不同，它在完整序列层面计算重要性比率，排除过于偏离策略的样本。核心思想是：对同一查询采样 G 条轨迹，通过组内归一化估计优势函数，并使用裁剪机制稳定训练。这种设计在复杂决策任务中表现更优，因为旅行规划的奖励信号依赖于整个行程的质量，而非单个决策步骤。
本文采用 GSPO 作为强化学习的优化框架，是 Constraint-Gated RL 模块的基础训练算法。
Sigmoid 门控机制
Sigmoid 函数将任意实数映射到 (0,1) 区间，具有平滑的 S 形曲线。在本文中，门控函数 α(η) = 1/(1+exp(-k(η-τ))) 根据硬约束满足程度 η 动态调节软约束权重。当 η < τ 时 α → 0，系统专注于满足硬约束；当 η ≥ τ 时 α → 1，开始优化软约束。这种课程式学习策略避免了多目标优化中的冲突。
这是本文最核心的技术创新——解决硬约束和软约束同时优化的难题。
Multi-Agent Arbitration 多智能体仲裁
多智能体系统通过创建多个具有不同目标和偏好的智能体来探索解决方案空间。每个智能体独立生成提案，然后通过仲裁机制（如投票、加权共识）达成最终决策。在旅行规划中，文化爱好者智能体优先选择博物馆，美食家智能体优先选择特色餐厅，预算管理者智能体控制成本。仲裁机制需要平衡这些冲突目标，生成兼顾各方的最优方案。
CCoT 的核心是多智能体竞争与共识仲裁，理解这一概念是理解本文方法论的关键。
研究动机
当前基于大语言模型的旅行规划方法面临三大核心挑战。首先是候选兴趣点（POI）的规模问题：一个城市可能有数万个景点、餐厅和酒店，直接将所有候选点输入 LLM 会超出上下文长度限制，导致生成质量下降。TripTailor 数据集包含超过 5,622 个景点、89,000 家酒店和 422,000 家餐厅，如此庞大的候选池使得有效筛选成为关键难题。其次是单一推理路径的局限性：现有方法如 ReAct、Reflection 和 DeepTravel 都采用单一的推理链，难以充分探索可行解空间。当用户同时提出"最大化文化体验"和"最小化预算"这类冲突目标时，单路径方法往往只能满足其中一个目标，导致最终方案的可行性较低。最后是硬约束与软约束的同时优化难题：旅行规划涉及硬约束（如有效营业时间、不重复访问景点）和软约束（如路线效率、个性化偏好），传统的加性奖励函数 R = R_hard + R_soft 会导致优化目标冲突，使模型在满足基本可行性的同时无法提升用户满意度。
本文的目标是本文的目标是构建一个端到端的旅行规划框架 TourPlanner，能够在满足所有硬约束的前提下最大化用户偏好对齐。具体而言，框架需要实现以下可量化目标：在 TripTailor 基准测试中，Macro Rationality（综合理性指标）从现有最佳的 48.6% 提升至 88% 以上；Final Pass Rate（最终通过率）从 26.9% 提升至 50% 以上；同时将路线距离比率从 5.98 优化至 2.5 以下，确保生成的行程在地理上紧凑合理。此外，框架需要具备模型无关性，能够在不同的 LLM 骨干网络（GPT-4o、Qwen3-235B、DeepSeek-R1 等）上稳定运行。
与已有工作不同的是，本文的独特切入角度在于三个被忽视的关键点。第一，现有方法将 POI 筛选和行程生成视为独立步骤，而本文通过 PReSO 工作流将个性化用户画像、多维召回和空间聚类整合为统一的预处理管道，确保候选集既语义丰富又空间紧凑。第二，现有方法的"单路径"范式本质上是"一个人说了算"，而本文借鉴现实中的"圆桌讨论"机制，让多个专业智能体（文化专家、美食家、预算管理者）各自提出方案，通过竞争和共识仲裁达成最优解。第三，现有方法将硬约束和软约束的奖励简单相加，忽略了两者之间的优先级关系——必须先满足可行性（硬约束），再优化个性化（软约束）。本文通过 Sigmoid 门控机制实现了这种"先基础后优化"的课程式学习策略。
核心方法
TourPlanner 的整体思路可以用"三步走"来类比：先做信息筛选（PReSO），再做方案竞赛（CCoT），最后做精细打磨（Constraint-Gated RL）。想象你是一个旅行顾问，面对客户的模糊需求（"想去西安玩4天，喜欢历史文化"），你不会直接给出方案，而是：首先整理出一份精选的候选清单——通过分析客户的隐性偏好（如酒店档次、餐饮价位）从海量 POI 中筛选出最相关的选项，并按地理位置聚类以确保路线合理；然后召集一个专家团队——文化爱好者、美食达人、预算管家各自提出自己的方案，通过"圆桌讨论"达成共识；最后对共识方案进行精细优化，确保所有硬约束（营业时间、不重复景点）都被满足，同时尽可能提升软指标（路线效率、个性化程度）。技术路线依次为：PReSO 工作流（用户画像构建 → 三维 POI 召回 → 空间聚类与集成）→ CCoT 多路径推理（智能体实例化 → 并行提案生成 → 竞争共识仲裁）→ Constraint-Gated RL 精炼（Sigmoid 门控奖励 → GSPO 策略优化）。
本文最核心的创新是"竞争共识"范式与"约束门控"机制的结合，这两者分别解决了旅行规划中的两个根本性难题。竞争共识（CCoT）的本质区别在于：现有方法（如 ReAct、Reflection、DeepTravel）都采用"单人决策"模式，即一条推理链从头走到尾，这本质上是在高维解空间中做贪心搜索，容易陷入局部最优。而 CCoT 模拟了现实决策中的"专家委员会"机制——每个专家（智能体）有自己的专长和优先级，独立提出方案后通过三阶段仲裁（多样性加权、并行评审、加权共识选择）达成最终决策。这种"先发散后收敛"的策略显著提升了解空间的覆盖率。约束门控（Constraint-Gated RL）的创新在于：传统 RL 方法将硬约束和软约束的奖励简单相加 R = R_hard + R_soft，这会导致两个问题——当软约束奖励较大时可能掩盖硬约束的违反信号；当硬约束和软约束冲突时模型无所适从。本文的 Sigmoid 门控机制 α(η) 根据硬约束满足程度动态调节软约束权重，实现了"先确保可行，再追求最优"的课程式优化策略。
方法步骤详情
方法分为三个主要阶段，每个阶段都有明确的输入、操作和输出。第一阶段 PReSO（个性化召回与空间优化）：输入为用户自然语言查询 Q，首先通过 User Profile Construction 提取显式需求（出发城市、目的地、日期、预算）并利用 LLM 结合城市统计数据推断隐性偏好（酒店档次、餐饮价位、餐厅类型）；然后进行 Multi-dimension POIs Recall，采用三路召回机制——语义相似度召回（使用嵌入模型计算查询与 POI 的相似度）、热门景点召回（4A 级及以上景点按热度排序）、LLM 补充召回（识别符合用户偏好的隐藏景点）；最后通过 DBSCAN 聚类将地理位置相近的 POI 聚合，以簇中心为锚点选取附近的酒店和餐厅，输出空间紧凑的候选集 G。第二阶段 CCoT（竞争共识思维链）：输入为用户查询 Q 和候选集 G，首先进行 Agent Instantiation，根据用户需求创建 N 个专业智能体（如 A_Culture、A_Gourmet、A_Budget），每个智能体有明确的身份 I_i、目标 O_i 和优先级 R_i；然后对每一天执行 Parallel Proposal Generation，先由通用专家生成基础骨架 P_base,d，再由各智能体独立修改生成提案 P_i,d；接着进行 Competition and Consensus Arbitration，包括提案多样性加权（计算嵌入向量的相似度矩阵，奖励独特性）、并行评审（每个智能体对所有提案评分和点评）、加权共识选择（综合多样性和评审分数选出 top-k 提案并由 LLM 融合）。第三阶段 Constraint-Gated RL：输入为共识行程，通过 Sigmoid 门控函数 α(η) = 1/(1+exp(-k(η-τ))) 动态调节奖励权重，总奖励 R = R_hard + α(η)·R_soft；采用 GSPO 框架进行策略优化，对每个查询采样 G 条轨迹，通过组内归一化估计优势函数。
技术新颖性
本文的技术新颖性体现在三个层面。首先是框架层面的创新：现有旅行规划方法（如 TravelPlanner、TripTailor、DeepTravel）都采用"流水线"式设计——先筛选 POI，再生成行程，各模块相对独立。而 TourPlanner 通过 PReSO 的空间聚类为 CCoT 提供空间感知的候选集，CCoT 的多智能体竞争为 RL 提供高质量的初始方案，形成了"预处理 → 推理 → 精炼"的端到端协同框架。其次是推理范式的创新：传统的 CoT、MAoP（Multiple Aspects of Planning）都是单路径推理，而 CCoT 首次在旅行规划中引入"多智能体竞争共识"机制，通过提案多样性加权和并行评审实现了"先发散后收敛"的解空间探索策略。最后是优化策略的创新：现有的 RL 方法（如 RLHF、DPO、GRPO）都采用固定的奖励函数，而 Constraint-Gated RL 首次在旅行规划中引入基于 Sigmoid 函数的课程式学习策略，根据约束满足程度动态调整优化目标，解决了硬约束和软约束同时优化的难题。
实验结果
实验结果表明 TourPlanner 在多个关键指标上取得了显著突破。在可行性（Feasibility）方面，TourPlanner 在所有 LLM 骨干网络上都达到了完美的 100% Micro 和 Macro 通过率，完全消除了困扰传统方法的幻觉和沙盒不匹配问题。在综合理性（Macro Rationality）方面，TourPlanner 实现了 88.7%-91.8% 的通过率，相比基线方法的最高值 48.6% 提升了约 40 个百分点，这表明框架能够同时满足多个复杂约束。在路线效率方面，平均路线距离比率从 Direct Planning 的 5.98 降至 2.15，说明生成的行程在地理上高度紧凑。在最终通过率（Final Pass Rate）方面，TourPlanner 达到 56.1%，相比最佳基线 TripTailor Workflow 的 26.9% 提升了 29.2 个百分点。在最终超越率（Final Surpassing Rate）方面，TourPlanner 达到 30.2%，说明其生成的行程在个性化质量上能够匹配甚至超越人工规划的行程。消融实验证明了各组件的必要性：移除 CCoT 后 Macro Rationality 从 89.4% 降至 84.9%，Final Pass Rate 从 55.4% 降至 47.8%；使用 Vanilla RL（直接相加奖励）后 Macro Rationality 从 88.7% 降至 67.9%，证明了门控机制的关键作用。PReSO 的召回率对比显示，在 GPT-4o 上从 TripTailor 的 27.83% 提升至 42.26%（+14.43%），验证了多维召回机制的有效性。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| Macro Rationality (综合理性) | Pass Rate (%) | 88.7 | 48.6 (TripTailor Workflow + DeepSeek-R1) | +40.1 |
| Final Pass Rate (最终通过率) | Pass Rate (%) | 56.1 | 26.9 (TripTailor Workflow + DeepSeek-R1) | +29.2 |
| Final Surpassing Rate (最终超越率) | Rate (%) | 30.2 | 14.3 (TripTailor Workflow + DeepSeek-R1) | +15.9 |
| Feasibility Pass Rate (可行性通过率) | Macro Pass Rate (%) | 100.0 | 98.8 (TripTailor Workflow + GPT-4o) | +1.2 |
| Average Route Distance Ratio (路线距离比) | Ratio (↓) | 2.15 | 5.98 (Direct Planning + GPT-4o) | -64.0% |
| PReSO Recall (召回率) | Recall (%) | 42.26 | 27.83 (TripTailor + GPT-4o) | +14.43 |
局限与改进
论文承认了两个主要局限性。第一，由于 CCoT 机制的迭代特性（逐日生成、多智能体并行），端到端的强化学习优化面临挑战。虽然 RL 可以应用于单日行程生成，但定义有效的过程奖励函数（process reward）很困难，因为旅行规划的奖励通常依赖于整个行程的整体质量，而非单个决策步骤的即时反馈。这导致 RL 精炼阶段只能在 CCoT 生成的共识方案基础上进行"后处理"优化，而无法对整个推理过程进行端到端训练。第二，本文对奖励模型的探索较为有限，主要沿用 TripTailor 的方法论。奖励模型与用户偏好的对齐程度仍有提升空间，这直接影响 Final Surpassing Rate——目前 30.2% 的超越率意味着近 70% 的生成行程仍不及人工规划的质量。此外，本文未探讨动态环境下的适应性（如实时交通信息、景点临时关闭），也未涉及多城市联游的复杂场景。
独立分析的弱点
经过独立分析，我发现以下几个值得关注的弱点。首先是智能体数量的"甜蜜点"问题：消融实验显示，从 3 个增加到 4-6 个智能体能提升 Macro Rationality（87.3% → 89.4%）和 Final Pass Rate（51.9% → 55.4%），但进一步增加到 10 个智能体后收益递减（Macro Rationality 90.1%，Final Pass Rate 54.8%）。这表明当前的智能体设计可能存在冗余——文化爱好者和历史爱好者的目标高度重叠，美食家和预算管理者在餐厅选择上也存在冲突。改进方向是引入自适应智能体生成机制，根据用户查询的复杂度和目标冲突程度动态调整智能体数量和角色。其次是空间聚类的静态性：DBSCAN 使用固定的 ε 参数，但不同城市的 POI 密度差异很大（如北京 vs 丽江），可能导致过聚类或欠聚类。改进方向是引入自适应 ε 调整机制，或使用层次化聚类策略。第三是奖励模型的泛化性：本文使用的奖励模型基于 TripTailor 数据集训练，可能无法泛化到其他地区（如国外城市）或特殊需求（如无障碍旅行）。改进方向是引入多模态奖励信号（如用户实时反馈、社交媒体评分）和元学习策略。
未来方向
基于本文的研究成果，可以延伸出以下几个有前景的研究方向。第一，过程奖励模型（Process Reward Model）的探索：目前的奖励函数只评估最终行程的质量，而无法对中间决策步骤给出反馈。未来可以借鉴数学推理领域的 PRM 方法，为旅行规划的每一步决策（如选择哪个景点、安排在什么时间）训练细粒度的奖励模型，从而实现更精细的 RL 优化。第二，多模态信息融合：当前框架只使用文本信息，但旅行规划涉及丰富的视觉和地理信息（如景点图片、街景、实时交通数据）。未来可以引入视觉语言模型（VLM）来评估景点的视觉吸引力，或使用地理信息系统（GIS）数据来优化路线规划。第三，动态适应与实时调整：现实中的旅行规划需要应对突发事件（如天气变化、景点临时关闭）。未来可以引入在线学习和规划重调度机制，使框架能够根据实时反馈动态调整行程。第四，多城市联游与长周期规划：本文聚焦于单城市、4-5 天的短期旅行，但实际用户可能需要跨省或跨国的长周期旅行规划，这涉及更复杂的交通衔接和时间分配问题。
复现评估
从复现角度来看，本文的复现条件较为明确但门槛不低。数据方面，TripTailor 数据集提供了完整的沙盒环境，包含 3,145 个训练样本和 703 个测试样本，以及超过 28,000 个火车班次、15,000 条航线、5,622 个景点、89,000 家酒店和 422,000 家餐厅的静态数据，这为可重复的实验评估提供了坚实基础。算力方面，RL 精炼阶段使用了 32 块 NVIDIA H800 GPU 进行训练，奖励模型微调使用了 8 块 RTX 4090 GPU，这对一般研究团队来说是一笔不小的开销。好消息是，消融实验表明 TourPlanner w/o RL（不使用 RL 精炼的版本）已经能够达到 91.5% 的 Macro Rationality 和 53.7% 的 Final Pass Rate，仅需调用 LLM API 即可复现核心的 PReSO 和 CCoT 组件。代码方面，论文未提及是否开源，但详细的提示词模板（Appendix D）和超参数设置（Table 4）为复现提供了充分的技术细节。总体复现难度评估：完整复现（含 RL）为中高难度，仅复现 CCoT 部分为中低难度。
论文图表
