RouteProfile：阐明 LLM 路由中模型画像的设计空间 RouteProfile: Elucidating the Design Space of LLM Profiles for Routing
为冷启动 LLM 路由设计基于异构图的画像框架
前置知识
LLM 路由
在多个大语言模型组成的候选池中，为每条用户查询自动分配合适模型的推理时决策问题。目标是在质量、成本、延迟等约束下选到最佳模型。
本文核心问题就是 LLM 路由，尤其是新模型不断涌现时的路由方案设计。
冷启动
在推荐系统与本文的 LLM 路由中，冷启动指缺少被评估对象的交互历史信息。新发布的 LLM 没有 query–response–reward 交互，无法直接训练路由器。
冷启动是本文要解决的核心场景，所有方法设计都围绕"无交互数据如何构建画像"展开。
异构图
节点或边有多种类型的图结构，定义映射 $\phi: V \to C$ 和 $\psi: E \to D$。本文用 4 类节点（模型、模型族、领域、基准）和 3 类边来组织公共信号。
异构图是 RouteProfile 把异构公共信号统一表示的载体，是后续消息传递与聚合的基础。
图神经网络
在图结构上做消息传递来学习节点表示的神经网络。本文采用简化 GCN 风格的 $x_v^{(k)} = \sum_{u \in N(v) \cup \{v\}} w_{uv}/\sqrt{|N|}\cdot x_u^{(k-1)}$ 进行 $K$ 跳聚合。
GNN 是 EmbGNN 与 TrainGNN 的核心实现方式，直接决定了结构化画像的表征能力。
研究动机
随着 LLM 生态快速扩张，单个模型在不同查询、基准、领域上的能力差异显著，需要路由系统选模型。传统路由依赖 query–response–reward 交互来训练路由器，而新发布的 LLM 缺乏这些数据，必须经历大推理、数据采集、路由器重训练才能纳入候选池。如图 1(A) 所示，新模型集成成本高、速度慢，与模型发布频率加速的现实形成尖锐矛盾。具体来说，每次新模型加入都要重新跑基准、收集交互、retrain 路由器，时间和算力代价不可接受。
本文的目标是本文提出 RouteProfile 框架，目标是在不收集任何 query–response–reward 数据的前提下，仅凭技术报告或模型卡片中的公共信号——包括模型族、模型描述、报告的基准分数、基准所属领域——就能为每个 LLM 构建可靠的画像，从而支持训练自由的冷启动路由，以及不重训地接入新 LLM。论文系统地分析画像设计选择如何影响路由性能，旨在识别出对冷启动路由最关键的设计维度，并推动路由系统在 LLM 生态加速演进的现实中保持可扩展性。
与已有工作不同的是，现有 LLM 画像方法各有局限：基于 one-hot 的索引画像语义信息贫乏；用强 LLM 生成的画像粗糙、知识受限且不完整；基准级摘要廉价但丢失了模型-基准-领域之间的结构关系。已有工作如 GraphRouter、BELLA 把这些信号当作辅助输入而非独立设计问题。RouteProfile 的独特切入角度是把"画像设计"本身视为一个独立研究问题，建模为异构图上的四维设计空间（组织形式、表征类型、聚合深度、学习配置），并通过结构化集成挖掘稀疏异构公共信号的价值。
核心方法
RouteProfile 的整体思路是：把分散、异构、仅部分可比的公共信号建模成异构图 $\mathcal{G} = (V, E)$，通过聚合函数 $f(\omega, \gamma, K, \ell)$ 生成模型画像 $p_m = f(\mathcal{G})_{v_m}$。直觉上，模型族提供结构先验、描述提供语义、基准分数提供可比较能力、基准领域刻画覆盖范围，把它们组织成图后用消息传递放大信号强度。技术路线上先把所有信号用 GPT-4o-mini 写成文本描述并用 Longformer 编码为节点特征，然后按四种代表性配置（Flat、Text-based GNN、Embedding-based GNN、Trainable GNN）实例化聚合函数。
核心创新点是把"LLM 画像设计"从经验调参升级为系统化的四维设计空间：组织形式 $\omega \in \{\text{Flat, Structured}\}$ 决定是否利用图结构，表征类型 $\gamma \in \{\text{Text, Embedding}\}$ 决定信息融合机制，聚合深度 $K \in \{$0,1,2,3,4$\}$ 控制传播范围，学习配置 $\ell \in \{\text{Training-free, Trainable}\}$ 决定是否优化 $f$。与已有方法（如 GraphRouter 把模型-任务-查询做成图）本质区别在于：本文的研究对象是"画像本身"而非"路由器"，并提出 image 化的形式化定义 $p_m = f(\omega, \gamma, K, \ell)(\mathcal{G})_{v_m}$，从而把画像-路由器协同设计纳入统一框架。
方法步骤详情
步骤一，异构图构建：收集 15 数据集、25 LLM、5 模型族、4 能力域，定义 4 类节点 $v_m, v_f, v_d, v_b$ 与 3 类边，从 Open LLM Leaderboard 取边特征 $r_{uv}$。步骤二，特征初始化：GPT-4o-mini 生成文本描述，Longformer 编码为 $x_v^{(0)}$。步骤三，实例化 $f$：Flat 直接拼接文本（$K=0$）；Text-based GNN 在文本空间迭代 LLM 摘要 $x_v^{(k)} = \text{LLM}(\pi_v^{(k)})$；Embedding-based GNN 按 GCN 风格更新嵌入；Trainable GNN 加自监督掩码损失 $\mathcal{L} = \mathcal{L}_{node} + \mathcal{L}_{edge}$。步骤四，下游路由：训练自由场景用 SimRouter 按相似度选模型；新 LLM 接入场景冻结 MLPRouter/GraphRouter，把新 LLM 作节点加入图后直接复用。
技术新颖性
技术新颖性体现在三方面。第一，把"画像设计"从零散技巧变成四维可枚举、可分析的设计空间，并给出形式化定义 $p_m = f(\omega, \gamma, K, \ell)(\mathcal{G})_{v_m}$，这是该问题第一次被显式结构化。第二，把 LLM 路由类比推荐系统冷启动问题，并首次在严格无 query–response–reward 约束下系统比较结构化与扁平画像的差异。第三，提出 New-LLM Correct Integration Rate (NCIR) = $N_{new \wedge correct} / N$ 这一新指标，把"新模型被选中且答对"的频率和正确性结合，量化路由器对未见模型的泛化能力。整体上，论文从问题定义、表征设计、评测协议三方面推动了冷启动路由研究。
实验结果
表 1 显示训练自由冷启动场景下，PlainText 仅 0.532 低于 Single-Best 0.547，说明扁平画像不够；TextGNN-4hop 取得 0.580、EmbGNN-4hop 取得 0.577，双双超过 Single-Best，证明结构化 + 足够深度能无训练地提升路由。浅层 1 hop 几乎无收益。表 2 显示模型族元数据是更可靠信号：给 EmbGNN-3hop 加族信息从 0.500 提到 0.551，TextGNN-3hop 从 0.509 升到 0.552；领域信息要看配置，加到 TrainGNN-3hop 可达 0.600。表 3 揭示新 LLM 接入最关键：PlainText 的 NCIR 双双为 0.000，TextGNN 几乎为 0；EmbGNN-3hop + GraphRouter 取得 NCIR = 0.411、平均 0.613 的最佳成绩。TrainGNN-1hop + GraphRouter 达 NCIR = 0.400，但配 MLPRouter 全为 0.000，说明必须做画像-路由器协同设计才能让新 LLM 被正确路由。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 训练自由冷启动路由 (SimRouter, 12 数据集) | 平均响应性能 | TextGNN-4hop 0.580; TrainGNN-2hop 0.613 | PlainText 0.532; Single-Best 0.547; Random 0.508 | 结构化 TextGNN-4hop 较 PlainText 提升 +0.048，超过 Single-Best +0.033；可训练 TrainGNN-2hop 较 Single-Best 提升 +0.066，逼近 Oracle 0.679 |
| 公共信号消融 (Benchmark + Family) | 平均性能 | EmbGNN-3hop 0.551; TextGNN-3hop 0.552 | EmbGNN-3hop 仅 Benchmark 0.500; TextGNN-3hop 仅 Benchmark 0.509 | 加入模型族元数据带来 +0.043 (EmbGNN) / +0.043 (TextGNN) 一致提升 |
| 新 LLM 集成 (GraphRouter, 8 候选 LLM) | NCIR (新模型正确路由率) | EmbGNN-3hop NCIR = 0.411; TrainGNN-1hop NCIR = 0.400 | PlainText NCIR = 0.000; TextGNN NCIR ≤ 0.007 | 相对 PlainText 实现从 0 到 0.411 的质变，说明嵌入式结构化画像是泛化新模型的关键 |
| 训练可配置深度敏感性 | 平均性能 vs 聚合跳数 | TrainGNN 1hop 0.613 → 4hop 0.555 | EmbGNN 1hop 0.531 → 4hop 0.577 (波动上升) | TrainGNN 出现 over-smoothing 退化 −0.058；TF 画像对深度更鲁棒 |
局限与改进
作者在 Limitations 部分明确指出三点：第一，公共信号本身不完整且报告不一致，不同模型卡使用不同评测协议和基准覆盖，存在报告偏差；第二，实验仅覆盖代表性画像与路由器设计，没有穷举所有 GNN 架构、模型族和部署场景，画像-路由器协同设计的有效性可能随候选池和路由器变化；第三，新 LLM 接入假设路由器在不重训下用公共画像工作，而真实系统可能在 query–response–reward 积累后做持续更新，混合冷启动 + 持续适配仍是开放问题。我额外观察到：Table 3 中 EmbGNN 在不同路由器上最优跳数不同（MLPRouter 1hop、GraphRouter 3hop），说明画像-路由器协同设计缺乏统一理论指导；Text-based GNN 在新 LLM 接入上几乎失败，但作者未深入分析原因，可能与文本空间粒度粗、不利于差异性区分有关。
独立分析的弱点
独立分析的弱点有三。一是 Text-based GNN 在新 LLM 接入任务上几乎完全失效（NCIR ≤ 0.007），作者只观察到现象没给出根因，改进方向可以引入对比学习或元学习让文本画像具备对未见模型的区分力。二是 TrainGNN 在 4 hop 时性能从 0.613 退化到 0.555 的 over-smoothing 问题，作者也未给出抑制方案，可借鉴 PairNorm、DropEdge 或自适应深度选择机制。三是实验仅在 8 候选 LLM、5 模型族上做评估，规模偏小，可能掩盖了一些画像设计选择在大候选池下的失效模式，改进方向是扩到 Open LLM Leaderboard 全量模型并报告方差。
未来方向
作者在结论中提出两个未来方向：探索冷启动 + 持续适配的混合策略，以及扩大画像-路由器协同设计的评估范围。基于本文成果还可延伸的方向包括：把四维设计空间拓展到路由器端（除 MLPRouter、GraphRouter 外，引入基于 Transformer 的路由器）；把异构图扩展为时序图，刻画模型版本迭代带来的能力漂移；研究公共信号不确定性的量化方法，在画像中显式编码报告偏差；以及把 RouteProfile 应用到多模态模型路由和成本-质量帕累托前沿优化。NCIR 指标本身也值得推广到路由器-画像协同学习的强化学习框架中。
复现评估
复现性整体良好：作者承诺代码与数据开源（GitHub 仓库 ulab-uiuc/RouteProfile 和 Hugging Face Collection），公共信号来源是公开的 Open LLM Leaderboard，节点文本描述的 prompt 在 Appendix A.2 给出。主要不确定性在于：第一，文本描述调用 GPT-4o-mini 生成，模型版本和采样参数会影响结果，建议复现时固定 prompt 并多次采样报告均值方差；第二，TrainGNN 的自监督训练超参与 mask 比例未在正文详细披露，需要查附录；第三，实验在 25 LLM + 12 数据集上完成，单卡 GPU 即可跑，但 8 候选 LLM 的实际推理与路由评估仍需相当算力（数十到数百 GPU 小时），个人研究者建议先复现 PlainText 与 EmbGNN-1hop 两个小实验再扩展。
论文图表
对比传统 LLM 路由集成新模型的流程（A）与冷启动路由的设想（B）。左侧传统流程：新 LLM 需经大推理、数据采集、路由器 retraining 三大步骤才能上线；右侧冷启动流程：仅凭技术报告、模型族、基准分数、基准领域四类公共信号构建画像，再无重训地把新 LLM 加入候选池。
图 1 把整篇论文的痛点和贡献一目了然地呈现：传统接入昂贵慢，冷启动能否只用公共信号支撑，是 RouteProfile 要回答的核心问题。