SEAR: 基于模式的LLM网关评估与路由系统 SEAR: Schema-Based Evaluation and Routing for LLM Gateways

SEAR的工作流程分为四个主要阶段。第一阶段是请求采样：网关按照可配置比例采样请求（称为会话），每个会话包含从对话开始到当前LLM响应的完整历史。第二阶段是schema驱动生成：SEAR judge接收会话数据并按顺序生成四个语义评估表。context_info表首先生成，只接收对话上下文，捕获请求侧上下文和意图（语言、领域、任务类型、工具使用要求、代码要求等），还包含20个静态会话特征（模态标志、消息计数、按角色的token计数）直接从原始日志派生。llm_response_info表第二生成，接收对话上下文和context_info的输出，捕获模型实际产生的内容（工具调用、代码生成、推理行为、拒绝）。issue_attribution表第三生成，接收之前所有输出，对检测到的每个共享维度归因到可能来源（用户输入、上下文、模型行为或混合原因）。evaluation表最后生成，对问题严重度分配四级有序评级（not_applicable、minor、major、critical）并报告总体质量维度包括相关性、完整性、连贯性、指令遵循、事实准确性、安全性和总体响应质量。第三阶段是数据插入和一致性检查：每个阶段生成的JSON对象插入相应表，所有四个表完成后通过外键链接，执行跨表一致性检查（例如如果请求和响应的工具调用标志都为false，对应的严重度必须是not_applicable），违反记录被重新评估或过滤。第四阶段是评估和路由查询：因为信号和网关指标在同一个SQL可查询数据层中，评估和路由简化为标准SQL查询。模型评估可以按领域比较LLM引起的问题率和平均严重度，提供商评估可以结合质量分数和网关运营指标按中位数延迟排名，用户评估可以聚合安全敏感内容、模糊指令和噪声上下文以触发生成护栏或调整采样率。路由查询可以在质量、成本和延迟之间进行权衡，例如选择质量在最佳10%以内的最便宜模型，或选择质量在最佳5%以内按TTFT排名的提供商。

SEAR的技术新颖性体现在三个层面。在架构层面，SEAR是首个将LLM评估和路由统一在单个关系型数据层中的系统。之前的工作要么关注评估维度设计（如单分评估器、基于量规的评估），要么关注路由算法优化（如基于偏好、图模型、级联、强化学习），但从未将评估信号和运营指标在数据库层面联合，导致评估结果很少连接到路由策略。SEAR的四个语义评估表和一个网关指标表通过外键链接，使评估和路由简化为SQL查询，这提供了前所未有的灵活性和可解释性。在生成技术层面，SEAR提出了使大规模schema约束生成可靠的三项技术创新。自包含信号指令将每个列描述明确定义边界、证据范围、赋值规则、可选示例和边界情况，减少多约束场景下的列间干扰。Schema内推理将推理文本作为JSON schema的第一个属性，在同一个自回归过程中生成推理和信号列，避免了标准链式思维需要额外LLM调用的开销p(Y|x) = ∑ p(Y|c,x) p(c|x)。多阶段生成按请求流顺序分阶段生成各表，每个阶段接收上游结构化输出，减少格式错误（单阶段生成约100个列经常产生格式错误或不完整JSON）并允许后期阶段引用早期输出提高跨表连贯性。在质量保证层面，SEAR的跨表一致性检查是首个针对LLM-as-Judge系统的自动化质量保证机制。通过SQL连接查询验证跨多张表的逻辑约束，可以发现LLM评估器的判断错误或幻觉。例如对于tool_call信号族，如果请求和响应标志都是false但严重度不是not_applicable，或者归因和严重度不匹配，都会被标记为违反记录。这些记录可以用更强模型重新评估或过滤，这在弱配置下可减少7.47%的错误率。

SEAR的几个独立分析弱点包括：实时分类与离线评估的质量差距。GPT-5-nano实时上下文分类器的布尔准确率（82.6%）明显低于完整SEAR judge（92%），分类准确率（72.3%）也低于完整judge（91%），有序MAE（0.64）更是远高于完整judge（0.22）。虽然实时分类的更高误差率对下游路由影响有限（因为路由通常将复杂度离散化为粗粒度桶，相邻级别的有序错误仍映射到相同路由决策），但这确实限制了对细粒度请求特征的路由能力。改进方向是探索专门训练的轻量级分类器或多模型联合评估架构。元任务混淆问题在低推理努力模型上更为严重（7.3%），需要额外的过滤或后处理机制。改进方向是在schema设计中添加元任务检测列或开发专门的元任务去偏技术。跨表一致性检查在强配置下收益有限（GPT-5-mini高推理努力加schema内推理只减少0.33%错误率），但可以进一步优化检查规则或增加更多跨表逻辑约束。单次调用生成约100个列在技术上不可行，多阶段设计虽然解决了这个问题但增加了系统复杂性，改进方向可以是混合架构（关键列多阶段、次要列单阶段）或增量schema加载技术。成本方面，虽然采样评估降低了成本，但对所有流量进行评估仍然昂贵，改进方向可以是自适应采样率或基于预测的优先级采样。

作者提出的未来工作方向包括：扩展数据收集以覆盖更广泛的任务和复杂度范围，并评估更广模型池上的路由。当前的实验主要针对简单复杂度切片，未来需要验证在复杂任务上的路由有效性。进行端到端在线路由实验，将轻量级上下文分类器与组织特定的路由策略结合，测量每请求路由是否保持下游质量。这将验证SEAR在实际生产环境中的路由效果和稳定性。在GPT家族之外的模型上运行SEAR judge，包括非GPT闭源模型和开源模型。这将验证SEAR schema和生成技术的通用性，以及judge模型选择的灵活性。优化跨表一致性检查机制，开发更复杂的逻辑约束或自动检查规则生成技术，进一步提高评估质量保证的有效性和自动化程度。探索增量schema更新机制，支持在不破坏现有数据或核心LLM评估工作流的情况下渐进式扩展schema，使系统能够适应不断演变的评估需求和新的任务类型。研究自适应采样策略，根据请求重要性、历史质量或预测风险动态调整采样率，在有限评估预算下最大化信号价值和路由改进效果。开发专门针对元任务混淆的缓解技术，包括检测、过滤和校正机制，以提高judge在密集指令上下文中的鲁棒性。

SEAR的复现评估需要考虑多个方面。数据方面，实验在三个组织的生产流量上进行，这些数据受每个组织的数据使用、同意和隐私政策限制，不可公开共享。作者提供了300会话测试集的ground-truth分布（表9-12）包括每个组织的信号分布，但这不足以完整复现实验。代码方面，论文提供了关键SQL查询代码（代码3-10）展示了评估和路由的具体实现，包括模型比较、提供商排名、用户风险画像、成本感知模型选择等。但没有公开完整的SEAR系统实现代码。模型方面，实验使用GPT-5-mini和GPT-5.2作为judge，这些是OpenAI的专有推理模型，需要API访问权限和相应成本。系统提示在附录G中提供，这有助于复现judge的行为。算力方面，具体成本未公开，但可以从上下文推断：对3000个会话进行评估需要大量LLM调用（每个会话4次调用对应4个表），使用GPT-5-mini和GPT-5.2的高推理努力配置会产生相当高的推理成本。实时分类使用GPT-5-nano，成本约为完整管道的1/16。难度方面，中等偏难。虽然schema设计和SQL查询相对透明，但需要访问生产级LLM API、理解多阶段生成和schema内推理的实现细节，以及构建完整的网关-评估-路由数据管道。缺乏公开的完整实现代码和数据集增加了复现难度。总体而言，SEAR的复现性中等，主要限制是专有数据和模型访问，但核心思想和部分实现细节已经足够透明，可以在类似的生产环境中重新实现。