TransitLM：用于无地图公交路径生成的大规模数据集与基准 TransitLM: A Large-Scale Dataset and Benchmark for Map-Free Transit Route Generation
用1300万条公交路径规划记录做持续预训练，让LLM端到端摆脱地图引擎直接生成合法路线。
前置知识
持续预训练（Continual Pre-Training, CPT）
在已有的预训练基础模型上，用领域专属语料继续做下一token预测训练，使模型适配新领域。本文把1290万条公交路径会话和100万条站点/线路静态描述组织成自然语言文本语料，让模型内化公交网络拓扑、空间关系和用户偏好。
理解本文为什么能把无地图路径生成跑通，关键就在于CPT阶段注入了20亿token的领域知识。
监督微调（SFT）
用标准的prompt-label样本做指令微调。本文为三个基准任务各构造3万训练样本，模型在CPT后再分别SFT，把通用知识对齐到具体任务格式。
CPT+两阶段流水线是本文方法的核心骨架，需要分清CPT学到的通用知识如何被SFT引导到具体任务。
词表扩展与站点ID专用token
把全部120845个站点ID注册为独立的单一token。这样每个站点是一个原子符号，模型无法通过字符组合拼出不存在的站点（幻觉），并能直接学习站点级别的空间与拓扑关系。
这是本文抑制站点幻觉、实现高Station Grounding的关键技巧，也是和通用LLM的本质差异之一。
RAPTOR/Dijkstra/A*等传统路径算法
这些是图搜索类路径算法，需要显式的公交网络图结构（站点、线路、换乘、时刻表）作为输入。本文要证明的恰恰是这些显式地图基础设施可以被数据驱动的端到端生成取代。
不理解传统范式，就无法体会TransitLM的'无地图'定位和它真正打破了什么依赖。
Station Grounding（站点接地）
评估模型预测的上下车站点是否落在起点/终点附近模式特定的距离阈值内（步行3km、骑行5km、打车10km）。它衡量模型是否真正掌握了从GPS坐标到站点的隐式空间映射。
这是GPS-only消融实验的关键指标，是证明'隐式空间接地'能力涌现的核心证据。
研究动机
传统公交路径规划严重依赖结构化地图基础设施和复杂工程管线：需要先用检索模块拉取路网数据，再跑Dijkstra、A*、RAPTOR、Connection Scan、Transfer Patterns等图算法做多准则排序，最后用排序模型和规则打分。这一整套流程工程成本高、只能静态配置。更关键的是，平台每天产生海量路径规划日志，其中隐含了上下车站、换乘点、速度与线路偏好等丰富知识，却没有任何数据集能支撑'从数据直接学习路径规划'。现有数据源都只覆盖部分维度：T-Drive、Porto Taxi、GeoLife等车辆轨迹数据缺乏公交站结构与线路ID；GTFS、OpenStreetMap、CPTOND-2025等静态网络数据只有拓扑和时刻表却没有用户行为轨迹。作者还实测发现，GPT-5.4、DeepSeek-V4、Gemini-3.1、Claude-4.6、Qwen3.6、Doubao等通用LLM即便在更宽松的评估下（只需预测每段上下车站），最好成绩Gemini-3.1也只到75.5%连通率和40.2%完全匹配，普遍产生幻觉站点或断裂连接。
本文的目标是构建一个能把路径规划知识完整编码进模型、使其完全摆脱地图与路径引擎的大规模数据集，并配套一套标准化的、能严谨评估'端到端无地图路径生成'能力的基准。具体目标包括：(1) 提供覆盖四城、120845站、13666线路、超1300万条记录的预训练语料；(2) 定义最优路线生成(ORG)、偏好感知规划(PRG)、多路线生成(DRG)三个互补任务；(3) 设计跨连通性、接入可行性、路线重叠、数值字段精度、任务专属共五大类共10个指标；(4) 用实验证明端到端无地图路径生成在工程上是可行的。
与已有工作不同的是，本文的独特切入角度是把'路径规划'重新定义为一个纯粹的语言建模问题：与其给LLM接地图API或喂图搜索，不如让模型在海量真实规划会话上做CPT，把整个公交网络当作一种'语言'学进去。区别于LLM-A*（仍需图输入）、MapBench/MapTrace（像素级地图导航）、ReasonMap（地图视觉推理）、TraveLLM（依赖外部地图）、MobilityBench（只评估调API能力），TransitLM是首个直接从OD信息端到端生成站级精确路线、且完全不依赖地图基础设施的数据集与基准。它首次把行为轨迹、完整路线结构、线路标识三者合一，填补了既有数据的空缺。
核心方法
直觉上，作者观察到路径规划日志本身就是关于'人怎么走'的稠密监督信号，把它写成自然语言文本喂给LLM做CPT，模型应当能像学语法一样学到公交网络的'结构语法'。技术路线分两条：一是用平台生产级路径引擎生成的会话天然满足连通性与可行性约束，无需人工校验即可作为高质量训练信号；二是把会话组织成'查询头+候选路线+逐段细节'的自然语言文本，用户选中的路线排在首位以隐式学习偏好。整体方法是一个两阶段流水线：先在1390万条CPT语料上做下一token预测，再在三个任务的标准prompt-label数据上做SFT。同时通过词表扩展把每个站点ID变成单一token，从结构上杜绝站点幻觉。
核心创新是把120845个站点ID全部注册为专用token，并用领域自适应CPT让模型把网络拓扑、空间关系、用户偏好一起编码进权重。这与已有方法本质不同：传统路径算法需要显式图和实时时刻表；LLM-A*、GridRoute、ReasonMap等仍依赖图输入或只评估视觉推理；通用LLM则依赖站名的文本语义而非坐标的空间理解。TransitLM的关键洞见是'路径规划可被纯数据学习'——只要数据足够稠密，模型甚至能从裸GPS坐标隐式接地到合适站点，无需任何坐标到站点的显式映射或地理数据库。第二个核心创新是联合训练变体4B-Joint，证明三类规划目标共享底层拓扑表示、彼此强化而无不互干扰。
方法步骤详情
方法步骤：(1) 数据采集——从高德平台单日导航日志提取超1290万规划会话，记录起终点GPS、POI名、候选路线的完整站点ID序列与线路ID、逐段距离与时间、路线类型标签、首末段接驳细节和用户选择标签，全部脱敏。(2) CPT语料构造——生成1390万条文本记录（1294万会话+88万站点描述+14.8万线路描述），用户选中路线置首，平均2377个中文字符，总计超20亿token。(3) SFT数据构造——为ORG/PRG/DRG各建3万训练样本+1万测试样本，采用双重条件选标签：必须是平台排序第一且被用户选中。(4) 词表扩展——把120845个站点ID注册为单一token。(5) CPT训练——序列打包到固定长度、余弦学习率调度。(6) SFT——在三个任务各微调一个epoch，SFT数据取自不同时间段以防泄漏。(7) 联合变体——4B-Joint在三类任务合并SFT数据上微调。(8) 评估——按五大类10指标在四城1万样本上评测。
技术新颖性
技术新颖性体现在四个层面。第一，问题重构：首次把'端到端、无地图、站级精确'路径生成作为可学习任务，区别于工具调用式评测(MobilityBench)和视觉地图推理(ReasonMap)。第二，数据完整性：首次同时包含行为轨迹、完整路线结构和线路标识，1290万会话平均含6.32条候选路线，覆盖公交/地铁/混合/接驳全模态。第三，词表工程：把全部12万站点注册为token，从架构层面抑制幻觉，这是通用LLM做不到的。第四，评估协议：设计Station Grounding等指标量化'隐式空间接地'，并通过GPS-only消融以严格因果归因——本文模型几乎零退化(4B-Joint REM从73.7%到72.9%)，而通用LLM崩溃到<1%，强证能力来自训练而非输入文本。
实验结果
结论分四组。对比通用LLM(Table 2)：更宽松条件下最好的Gemini-3.1-Pro也只有75.5%连通、40.2%REM；本文0.6B在更严条件下全面超过它们，证明瓶颈是数据而非容量。主结果(Table 3-5)：Qwen3-4B在ORG达97.0%连通/71.0%REM/MAPE 1.33%，PRG 93.2%/50.4%，DRG 96.3%/64.5%REM。4B-Joint在所有指标均追平或超单任务4B，PRG连通+2.1pp、REM+2.2pp，无负迁移。数据缩放(Table 6)：6.25%数据即达94.0%连通、49.9%REM，呈学习层级：拓扑先学、数值校准更吃数据。GPS-only消融(Table 7-8)：通用LLM大多崩到 $\text{REM}<1\%$ ，本文4B仅从71.0%微降到70.4%，能力植根CPT非输入文本。重叠指标用IoU定义 $\text{LO}=\frac{|L_p\cap L_g|}{|L_p\cup L_g|}$ ， $\text{REM}\Leftrightarrow\text{LO}=1\land\text{SSO}=1$ 。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 最优路线生成(ORG) | Route Exact Match | Qwen3-4B-Joint 73.7% | Gemini-3.1-Pro 40.2%(更宽松条件) | 在更严格条件下仍提升约33.5pp，且0.6B模型即达62.1%全面超基线 |
| 最优路线生成(ORG) | 连通率Connectivity | Qwen3-4B-Joint 97.9% | GPT-5.4 60.5%(更宽松条件) | 提升约37.4pp，证明端到端可生成合法连续路线 |
| 偏好感知规划(PRG) | Preference Compliance偏好合规 | 4B-Joint 90.5% | 标签合规96.02% | 单一联合模型在硬约束下接近上限，且无负迁移 |
| 多路线生成(DRG) | Route Diversity多样性 | 4B-Joint 0.547 | 0.6B模型 0.514 | 4B-Joint在保持高质量(67.2% REM)的同时多样性最高 |
| 数值字段精度(距离/时间/票价) | MAPE | 4B-Joint 1.30%(ORG) | 通用LLM 10.7%-16.1% | 误差降低一个数量级以上 |
局限与改进
作者明确承认的局限：当前数据集只覆盖单一平台(高德)的四个城市，仅捕获静态路线结构，未纳入实时动态(如拥堵、临时改线、到站时间)。评估设置上，主表输入仍同时含GPS和POI文本名，虽然GPS-only消融补强了证据，但GPS-only下4B-Joint的SG从98.9%降到98.8%几乎无变化这点略反直觉，可能与文本名贡献本就不大有关。我自己观察到的局限：(1) 所有标签依赖生产路径引擎的排序质量，引擎偏差会被模型学进去；(2) 站点ID是平台专有编号，换城市换平台需重训词表，迁移性弱；(3) 联合模型虽无负迁移，但4B容量下增益边际(多任务+2pp级)，未验证更大模型是否放大协同效应；(4) 缺少对长尾OD对(罕见起终点)的细粒度失败分析，REM仍有27%-50%不匹配的原因未拆解；(5) 评估的'连通性'基于静态网络，未验证生成的路线在真实时刻表下是否可乘。
独立分析的弱点
第一，地理泛化弱：每个站点是一个专用token，迁移到新城需扩展词表并重训，且四城中国城市可能编码了特有的出行文化偏(如高换乘容忍度)。改进方向是设计可跨城市复用的层级站表示或位置编码。第二，对上游引擎的隐含依赖：标签质量等于路径引擎质量，引擎若偏好某类路线会引入系统偏差。改进方向是引入用户实际乘车后的反馈或对比多引擎融合标签。第三，静态性：模型一旦训练完成，对实时事件(封路、晚点)零适应。改进方向是结合检索增强或在线更新，把实时状态作为额外输入模态。第四，REM的失败模式不透明：仍有一半左右路线不精确匹配但缺乏错误归因(是站点错、线路错还是顺序错)。改进方向是建立细粒度错误分类基准。第五，可解释性差：LLM给出路线无法像图算法那样回溯到具体边。改进方向是加置信度估计与路径解释模块。
未来方向
作者明确提出的方向：扩展到更广地理覆盖、纳入实时动态(时刻表、拥堵)。基于成果可延伸的方向：(1) 把CPT范式推广到其他空间序列推理任务，如室内导航、物流配送、电力潮流；(2) 探索站ID专用token之外的参数高效迁移，使模型在新城市少量样本下即适配；(3) 将偏好从硬规则合规升级为对模糊用户语言的鲁棒理解，结合用户长期画像做个性化规划；(4) 研究多模态扩展，把地图图像、时刻表表格作为辅助输入，验证是否能进一步压低MAPE；(5) 把'隐式空间接地'能力单独提取为一个可迁移模块，作为通用空间推理的基座；(6) 跨平台联邦学习，在不共享原始日志的前提下融合多平台数据扩大覆盖。
复现评估
复现友好度中等偏上。代码已在 https://github.com/HotTricker/TransitLM 开源，数据集在 https://huggingface.co/datasets/GD-ML/TransitLM 公开，这是最大优势。基础模型Qwen3-0.6B/1.7B/4B-Base权重公开可得。训练流水线(CPT+两阶段SFT)在附录E给出超参，余弦学习率调度、固定长度打包等细节清晰。主要障碍有二：一是CPT语料超20亿token、4B模型在阿里云PPU上训练，算力门槛高，个人或小团队复现4B-Joint较困难；二是数据来自高德真实日志虽脱敏，但研究者无法重建同等规模的原始日志，新数据需平台合作。评估侧1万样本benchmark和10个指标定义清晰(附录D)，单机即可复跑推理评估，这部分可复现性高。整体看，方法可复现、benchmark可复跑、大规模训练复现受限。
论文图表
三栏对比图。顶部是传统地图流水线：用户输入→地图数据检索→路径算法(Dijkstra/A*/RAPTOR)→排序，工程成本高且静态。左下是通用LLM范式：能回答但缺乏结构接地，产生幻觉站点、断裂路线、无效上下车点。右下是TransitLM：端到端无地图，隐式空间接地，生成结构合法的连续路线。
这张图是理解全文立意的总纲，一眼说清TransitLM相对传统方法和通用LLM两种范式的本质差异与定位。