工作负载漂移下 ASR 服务的时长感知调度 Duration Aware Scheduling for ASR Serving Under Workload Drift

方法步骤的完整描述如下：第一步是在 API 端点（OpenAI 兼容的 /v1/audio/transcriptions）捕获音频时长 $d$，在 mel 频谱提取之前根据公式 $\hat{n} = d \times \kappa$ 估计输出 token 数，将估计值存储在 sampling_params.extra_args['estimated_output_tokens'] 中。第二步是在 Request 类构造时读取估计值，如果 extra_args 中没有则回退到 max_tokens。第三步是实现两个队列类：SJFRequestQueue 使用最小堆，优先级元组为（估计输出 tokens，到达时间，请求 ID），插入和删除的时间复杂度为 $O(\log n)$；HRRNRequestQueue 每次弹出时动态计算响应比 $R = (now - arrival_time + estimated_output_tokens) / estimated_output_tokens$，时间复杂度为 $O(n)$。第四步是配置调度策略，通过 CLI 标志 --scheduling-policy sjf 或 hrrn 选择，无需其他配置更改。第五步是在内存压力下实现抢占逻辑：SJF 驱逐估计 tokens 最大的请求（最长作业优先），HRRN 驱逐当前响应比最低的请求（最不紧急优先）。完整的实现只需要修改 vLLM 的 5 个文件，总共约 250 行代码。

技术新颖性体现在三个方面：一是首次将经典的 SJF 和 HRRN 调度算法应用于 ASR 服务场景，利用音频时长这一天然信号实现优先调度；二是验证了音频时长与 ASR 输出 token 数量的线性关系跨语言、跨数据集的泛化能力，为调度信号的可靠性提供理论依据；三是在 vLLM 中实现了零开销的调度增强，平均每请求的调度开销小于 0.1ms，与 60-100ms 的解码步骤时间相比几乎可以忽略。与现有工作相比，FastServe 使用多级反馈队列需要根据已生成 tokens 动态调整优先级，Fu 等人训练排序模型预测相对输出长度，S3 使用分类模型预测序列长度用于 KV-cache 大小，这些方法都需要额外开销。本文的方法利用了 ASR 任务的特殊性质，实现了近乎零开销的调度增强，且不需要训练任何辅助模型。

独立分析的弱点包括：一是静音段导致的估计不准确，在会议录音等场景中静音比例可能很高，导致作业时间估计严重高估，调度决策次优。改进方向是集成轻量级 VAD 模块，使用实际语音时长而非文件时长。二是固定 $\kappa$ 在多语言环境下的局限，不同语言的 tokenization 密度不同，作者虽展示了跨语言的线性关系但未实现语言感知的 $\kappa$ 自适应。改进方向是根据音频语言检测动态选择 $\kappa$ 值，或者使用用户提供的语言配置。三是缺乏对不同 ASR 架构的泛化验证，实验只使用 Whisper 这种 encoder-decoder 模型，在纯 encoder 模型（如 wav2vec2）或流式模型（如流式 Whisper）上时长与处理时间的关系可能不同。改进方向是在更多 ASR 架构上验证时长信号的可靠性。四是高负载下 SJF 的尾延迟恶化问题在交互式应用中可能不可接受，如实时字幕服务对 P90 延迟敏感。改进方向是探索更激进的饥饿缓解机制，如为长请求设置最大等待时间阈值，或使用混合策略（低负载用 SJF，高负载用 HRRN）。

未来研究方向包括：一是集成语音活动检测（VAD）模块处理静音敏感性问题，作者提出使用 Silero VAD 等轻量级模型在 API 端点进行预处理，计算实际语音时长而非文件时长。二是实现自适应 $\kappa$ 机制，根据语言检测动态选择 $\kappa$ 值，或者通过在线学习适应不同说话者的语速变化。三是动态策略切换框架，实时监控队列深度、尾延迟百分位、请求到达率等指标，在不同负载条件下自动切换 FCFS、SJF 和 HRRN，作者提到这是生产系统的自然扩展方向。四是扩展到分布式部署，当前实验在单个 A100 GPU 上进行，多 GPU 部署时的跨节点调度和负载均衡需要进一步研究。五是验证在其他 ASR 架构上的效果，如纯 encoder 模型、流式模型、端到端联合模型等，确认音频时长信号的泛化能力。六是探索更复杂的饥饿缓解策略，如为长请求设置优先级提升阈值、使用时间片轮转与优先级调度结合的混合策略、基于用户等级的差异化调度等。七是在实际生产工作负载上进行 A/B 测试，验证实验室环境下的发现在真实场景中的效果。

复现评估：本文提供了完整的实现细节，约 250 行代码修改分布在 5 个文件中，包括 API 端点的时长捕获、Request 类的估计值读取、两个队列类的实现、抢占逻辑和 CLI 配置。作者提到完整补丁在补充材料中提供。实验配置明确：使用 whisper-large-v3 模型（1.5B 参数）和 whisper-medium 模型（769M 参数），在单个 NVIDIA A100 GPU（40GB HBM2e）上运行，CUDA 12.1，vLLM 配置最大批量大小 256、GPU 内存利用率目标 95%、最大输出长度 448 tokens、启用分块预填充。数据集使用 LibriSpeech test-clean（原始和合成均匀分布），合成数据集通过选择 6 个特定时长 {5, 10, 15, 20, 25, 30} s 的样本构造，每请求率运行 5 分钟，泊松到达过程突发性因子 1.0。复现难度中等，需要相应的 GPU 资源和 vLLM 知识。作者未明确提供实验数据或脚本，但实现细节充分，理论上可以复现。建议补充提供：完整的代码补丁链接、实验配置文件、原始数据日志、用于合成数据集的样本选择逻辑、以及重现表 1 和表 2 的完整数值结果。