Ultralytics YOLO26：统一的实时端到端视觉模型家族

用 DFL-free 双头架构+MuSGD/渐进损失/STAL 训练，统一多任务实时检测。

前置知识

非极大值抑制 NMS

NMS 是目标检测后处理步骤：对同一物体的多个重叠预测框，按置信度排序后逐个保留高分框，并删除与它 IoU 超过阈值（常取 0.45–0.65）的低分冗余框，从而输出最终检测结果。它是传统一阶段/两阶段检测器去重的标准手段，但引入了超参数、顺序串行操作和难以微分的问题。

理解本文首先要懂 NMS 的开销与缺陷——YOLO26 的核心目标之一就是用一对一预测头实现 NMS-free 端到端推理，从而简化部署、提升低延迟场景的吞吐。

Distribution Focal Loss (DFL)

DFL 源自 Generalized Focal Loss (GFL)，把边界框每条边的回归值建模为 $K$ 个离散 bin 上的概率分布，再按期望解码 $d=\sum_{i=0}^{K-1} i\cdot\mathrm{softmax}(z)_i$。典型 $K=16$，于是每条边从 1 个标量扩展成 $K$ 个 logit，四条边共需 $4K$ 个输出。

DFL 自 YOLOv8 起被广泛采用，但本文论证它会膨胀检测头参数、施加有限回归范围 $[0,(K-1)s]$，并专门做了 DFL-free 设计。不懂 DFL 就无法理解 YOLO26 为何要砍掉它、以及砍掉后如何补偿定位质量。

Task-Aligned Learning (TAL) 标签分配

TAL 是一种动态标签分配策略：先用几何约束（锚点中心必须落在真值框内部）筛候选，再用分类置信度与 IoU 的对齐分数 $s=\sqrt{p^{\alpha}\cdot\mathrm{IoU}^{\beta}}$ 对候选排序，取 top-k 作为正样本。YOLO11 用 topk=10。

YOLO26 的双头都基于 TAL（一对一用 topk=7 再二次 topk2=1），而 STAL 正是对 TAL 在极小目标上失效的修复。理解 TAL 才能看懂 STAL 为什么要解耦候选选择几何与回归几何。

一对多与一对一双头分配

一对多分支（one-to-many）让每个真值匹配多个锚点，提供稠密监督、配合 NMS 推理、精度略高；一对一分支（one-to-one）保证每个真值只产生一个预测，从而无需 NMS、可端到端解码。YOLOv10 的 consistent dual assignment 用同一套 TAL 但不同匹配基数同时训练两个头。

YOLO26 直接继承这一双头范式，其核心创新之一 Progressive Loss 就是为了解决两个头优化不对称、推理头训练不充分的问题。不懂双头机制就无法理解 Progressive Loss 的动机。

Muon 优化器

Muon 是面向大模型训练的优化器：对动量更新得到的梯度方向做一次轻量正交化（通过若干次 Newton–Schulz 迭代近似实现），使更新方向的条件数更好、训练更稳定，在大语言模型训练中相比 AdamW 提升约 2× 计算效率。它主要作用于多维权重张量。

YOLO26 把 Muon 从 LLM 迁移到检测，构造 MuSGD 混合优化器。理解 Muon 的正交化思想才能理解 MuSGD 为何能在更短训练周期（500 vs 600 epoch）下拿到更高 mAP。

Residual Log-Likelihood Estimation (RLE)

RLE 用归一化流（如 RealNVP）学习关键点回归残差的概率密度 $\log\varphi(\varepsilon)$，其中 $\varepsilon=(\hat{x}-x^*)/\sigma$ 为按预测不确定性归一化的残差。损失 $\mathcal{L}_{\mathrm{RLE}}=\log\sigma-\log\varphi(\varepsilon)+\mathcal{L}_q(\sigma,\varepsilon)$ 把显式基础分布（Laplace）与学到的残差项结合，让高不确定性的关节被自动降权。

YOLO26 的姿态头用 RLE 替代纯坐标回归来实现原理化的逐关节不确定性建模，这是其在 COCO 关键点上提升高达 +7.2 AP 的关键技术，需要先掌握 RLE 才能看懂其损失设计。

研究动机

实时目标检测长期面临精度与部署简易性之间的矛盾。DETR 系（RT-DETR、D-FINE、DEIM、RF-DETR）虽端到端且精度逼近 CNN 检测器，却依赖大型预训练视觉骨干、可变形注意力或自定义算子、固定输入分辨率，跨云/移动/边缘硬件部署不便。而工业界部署最广的 YOLO 家族仍存在四个具体短板：(a) 依赖 NMS，且即便 YOLOv10 引入双头，仍对两个头用相同损失权重，导致真正用于推理的一对一头训练不充分；(b) DFL 把每条边的回归从 1 个标量扩成 $K=16$ 个 logit（共 $4K$ 个），YOLO11n 含 DFL 时 2.6M 参数/6.5 GFLOPs，去掉后仅 2.3M/5.2 GFLOPs——这对 head 占参数主导的 nano 模型尤其不划算，且 DFL 把回归范围限制在 $(K-1)s$ 像素/边，高分辨率下大物体会被截断；(c) SGD 训练仍需约 600 epoch 才达竞争力，迭代昂贵；(d) TAL 要求锚点中心落在真值框内，下采样后空间范围低于最小 stride 的极小物体会落到零正样本、零梯度，训练中完全被丢弃。

本文的目标是本文要在保留 YOLO「标准卷积、易跨平台导出、多任务统一」这两大护城河的前提下，针对性地消除上述四个短板，构建一个统一的实时视觉模型家族 YOLO26。具体目标包括：实现原生 NMS-free 端到端推理、彻底移除 DFL 以换取更轻的检测头与无约束回归范围、把 LLM 训练里的 Muon 优化器迁移到检测以缩短训练周期、保证极小目标在训练中获得正样本监督，并把同一套改进延伸到实例分割、姿态估计、旋转目标检测（OBB）以及开放词汇检测（YOLOE-26），在单一训练与部署栈内横跨 n/s/m/l/x 五个规模。

与已有工作不同的是，独特切入角度在于「协调而非孤立」地同时改架构与训练，并把 LLM 领域的优化器红利首次搬运到检测。不同于 YOLOv10 只做双头架构、对两头一视同仁，YOLO26 用 Progressive Loss 显式建模两头的优化不对称并随训练进度动态转移权重；不同于 D-FINE 靠增大 $K$ 来缓解 DFL 范围限制（反而更贵），YOLO26 直接删掉 DFL、改用直接回归，再用 Progressive Loss 与 STAL 补回定位质量；不同于 DETR 系需要定制算子，YOLO26 坚持纯卷积、原生支持 19 种非 PyTorch 导出目标。此外 STAL 提出把候选选择几何与回归几何解耦的思路，是过去 TAL 工作未专门处理的极小目标零分配失败模式。

核心方法

整体思路是「架构瘦身 + 训练增强」两手并进。直觉上：YOLO26 先把检测头做轻（删 DFL、用直接回归）、把推理路径做成 NMS-free（一对一头），这会损失一些精度，于是再通过三个互补的训练组件把精度补回来、并把优化目标对齐到部署时真正使用的推理路径。技术上，共享的 backbone+neck 同时喂给两个头：一对一头用 TAL 先取 topk=7 再二次 topk2=1，每个真值唯一匹配、输出至多 300 个检测、推理免 NMS；一对多头用 topk=10 提供稠密监督、推理需 NMS 但精度略高。训练时 STAL 修复极小目标的候选覆盖，Progressive Loss 把两头损失从 $(0.8,0.2)$ 线性调度到 $(0.1,0.9)$，MuSGD 完成参数更新。任务侧再叠加分割的 multi-scale proto 与辅助语义监督、姿态的 RLE、OBB 的长边角度定义与方形物体角度损失。

核心创新是「DFL-free 双头 + Progressive Loss」这对组合：直接回归使头的参数/算力大幅下降且回归范围无上限，但代价是一对一头训练不足；Progressive Loss 用课程式重加权 $\mathcal{L}_{total}=\alpha(t)\mathcal{L}_{o2m}+(1-\alpha(t))\mathcal{L}_{o2o}$，$\alpha(t)$ 从 0.8 线性衰减到 0.1，让早期靠稠密一头稳定特征学习、后期把优化压力转移到推理头，从而把架构瘦身省下的精度预算精准地投回端到端路径。这与 YOLOv10「两头同等权重」有本质区别。第二项关键创新 STAL 同样是解耦思想：候选选择用放大的代理框 $\tilde{g}_i$（小于 $s_{min}$ 的维度被钳到 $s_{ref}=16$），但回归仍用原始真值框 $g_i$，从而只补覆盖、不污染定位目标，是对 TAL 的一条「保守且可解释」的修补。

方法步骤详情

训练流程如下：(1) backbone+neck 提取多尺度特征并喂入双头；(2) STAL 标签分配：对每个真值 $g_i=(x_i,y_i,w_i,h_i)$，当某维度 $d_i<s_{min}=8$ 时把候选选择用的代理尺寸钳到 $s_{ref}=16$，构造候选掩码 $M_{ij}$ 判断锚点中心是否落在 $\tilde{g}_i$ 内，但后续打分、目标分配、回归仍用 $g_i$；(3) 两头分别做 TAL 分配（一对多 topk=10，一对一 topk=7 再 topk2=1）并算各自的框+类损失；(4) Progressive Loss 按当前 epoch 用 $\alpha(t)=\max(1-\tfrac{t}{\max(E-1,1)},0)(\alpha_{init}-\alpha_{final})+\alpha_{final}$ 合成总损失；(5) MuSGD 更新参数——对多维权重（卷积核、线性权重）施加 Muon 更新与 SGD 更新的加权混合（如 YOLO26s 为 $\mu$ 权 0.44 / SGD 权 0.48），对 1D 参数（偏置、归一化 scale）用纯 SGD；(6) 推理默认走一对一头输出 $(N,300,6)$ 的固定检测集，免 NMS。任务侧：分割用 $F_{proto}=X_1+\sum_{\ell=2}^L X_1\,U(\phi_\ell(X_\ell))$ 融合多尺度原型并接训练态语义分支；姿态并接 $\sigma$ 分支预测逐轴不确定性并用 RealNVP 估计 $\log\varphi(\varepsilon)$；OBB 把角度定义改为 $[-45^{\circ},135^{\circ})$ 的长边定义、直接预测 $\hat{\theta}=z$，并对方形物体施加 $\mathcal{L}_{angle}=\frac{1}{S}\sum_{i\in F}q_i\,\omega_i\sin^2(2\tilde{\Delta\theta}_i)$ 的双倍角监督。

技术新颖性

新颖性体现在三点。其一，首次把 LLM 训练中的 Muon 优化器系统迁移到目标检测，构造 MuSGD 混合方案，并按参数维度区分更新策略，验证了「优化器红利可跨域迁移」（500 vs 600 epoch、+0.4 mAP，ImageNet 分类亦提升 +1.0–1.4 Top-1）。其二，Progressive Loss 把双头检测中两头优化不对称这一现象显式建模为可调度的课程权重，是 YOLOv10 之后对双头范式的实质性推进，而非又一个「加分支」。其三，STAL 用「候选几何与回归几何解耦」修复 TAL 的零分配失败，并在 $s_{ref}=8/16/32$ 三档消融里证实下一级 stride 是最优参考尺寸。此外把分割/姿态/OBB/开放词汇四个任务在统一架构内对齐 YOLO26 的检测改进，并附带 YOLOE-26 的伪标签数据引擎（4585 类词表、IoU<0.5、置信度>0.5 的预测作为伪标签二次训练），构成一个「工程闭环」式贡献。

**Figure 2**: Training pipeline of Ultralytics YOLO26

**Figure 3**: Deployment pipeline of Ultralytics YOLO26

实验结果

主结果全面且量化清晰。COCO 检测上，YOLO26 五档（n/s/m/l/x）在 NMS 口径下达到 40.9/48.6/53.1/55.0/57.5 mAP，对应 T4 TensorRT10 延迟 1.7/2.5/4.7/6.2/11.8 ms；端到端（E2E）口径仅比 NMS 口径低 0.6–0.8 AP（如 YOLO26s 47.8 vs 48.6）。与同档近邻对比，YOLO26s 拿到 48.6 mAP/2.5ms，超过 YOLOv12-S(48.0)、YOLO11-S(47.0)、与 D-FINE-S(48.5) 持平且延迟更优；YOLO26x 达 57.5 mAP，超过 DEIM-X(56.5)、D-FINE-X(55.8)、YOLOv9-E(55.6)。消融清晰支撑每项贡献：删 DFL 在 640 下 +0.3 AP/+1.0 APL，1280 下 +1.3 AP/+2.2 APL（说明分辨率越高直接回归越占优）；MuSGD 以 500 epoch 拿到 47.4 mAP，胜过 SGD 的 600 epoch 47.0；Progressive Loss 最优调度 $(0.8,0.2)\to(0.1,0.9)$ 达 46.7 E2E AP，优于等权 46.4；STAL 在 $s_{ref}=16$ 下 +0.2 AP 且 $AP_S$ 29.0→29.6。CPU ONNX 上 YOLO26n 比 YOLO11n 快约 43%。任务扩展方面：实例分割比 YOLO11 提升 +1.6~+2.5 box AP、+2.4~+3.7 mask AP（YOLO26x-seg 47.5 mask AP vs 43.8）；姿态提升 +2.1~+7.2 AP（YOLO26n-pose 57.2 vs 50.0，提升最显著）；DOTA-v1.0 OBB 提升 +2.5~+3.4 mAP，且 AP75 增益 +4.6~+6.0 更明显，印证方形物体角度监督有效。开放词汇上 YOLOE-26x 文本提示达 40.6 AP、视觉提示 38.5 AP，比 DetCLIP-T 高 +6.2 AP；prompt-free 设定最高 31.1 AP，YOLOE-26l 仅 23.6M 参数即与 467M 参数的 GenerateU-L(27.9) 相当。

**Table 1**: Main YOLO26 detection components and implementation names

**Table 2**: Step-by-step ablation from YOLO11s baseline to final YOLO26s

**Table 3**: Controlled DFL removal ablation on COCO at 640 and 1280

**Table 4**: MuSGD convergence speed and accuracy on COCO from scratch

**Table 5**: Progressive Loss schedule ablation on COCO

**Table 6**: STAL reference size ablation on COCO

**Table 7**: Released YOLO26 detection benchmarks on COCO

**Table 8**: Effectiveness of segmentation module and auxiliary loss on COCO

**Table 9**: OKS/RLE loss weight ablation for pose on COCO keypoints

**Table 10**: Angle definition comparison for OBB on DOTA-v1.0

**Table 11**: Angle loss lambda ablation for OBB on DOTA-v1.0

**Table 12**: YOLOE-26s-TP ablation on LVIS minival

**Figure 1**: Accuracy–latency trade-off on COCO val2017

**Figure 4**: Qualitative comparison for large-object localization at 1280 resolution

**Figure 5**: Qualitative comparison between TAL baseline and STAL

**Figure 6**: Qualitative comparisons between YOLO26x-obb and YOLO11x-obb for square rotated objects

查看结构化数据

任务	指标	本文	基线	提升
COCO 目标检测 val2017 (s 档)	mAP50-95 (NMS) / T4 延迟	YOLO26s 48.6 mAP / 2.5 ms / 9.5M 参数	YOLO11-S 47.0 / 2.5ms / 9M	+1.6 mAP，同延迟，帕累托前沿领先 YOLOv12-S(48.0)、D-FINE-S(48.5)
COCO 目标检测 (x 档)	mAP50-95	YOLO26x 57.5 mAP / 11.8 ms	YOLO11-X 54.7 / DEIM-X 56.5 / D-FINE-X 55.8	比 YOLO11-X +2.8、超 DEIM-X +1.0、超 D-FINE-X +1.7，成为该规模最高 AP
COCO 检测 E2E vs NMS	mAP 差距	E2E 仅落后 0.6–0.8 AP（如 s 档 47.8 vs 48.6）	传统需 NMS 后处理	免去 NMS 的同时几乎不损精度，部署更简洁
COCO 实例分割	mask AP50-95	YOLO26x-seg 47.5 (Non-E2E)	YOLO11x-seg 43.8	+3.7 mask AP；s 档 +2.7，多尺度 proto + 辅助损失贡献 +0.7
COCO 姿态估计 keypoints	mAP	YOLO26x-pose 71.6 (E2E)	YOLO11x-pose 69.5	+2.1 AP；n 档 57.2 vs 50.0 高达 +7.2，RLE 在小模型上收益最大
DOTA-v1.0 OBB 检测	mAP50-95	YOLO26x-obb 56.7	YOLO11x-obb 54.1	+2.6 mAP；AP75 增益更大（如 l 档 62.2 vs 56.6，+5.6），印证方形物体角度监督
LVIS minival 开放词汇检测	AP50-95 (text prompt)	YOLOE-26x 40.6 AP	DetCLIP-T 34.4 / YOLOE-11l 35.2	比 DetCLIP-T +6.2 AP；prompt-free 最优 31.1 AP

局限与改进

作者明确承认的局限有三：一是评测仍以 COCO 为中心，作者在结论里把「COCO-centric 之外的更广评测」列为未来工作，意味着这些提升能否迁移到更真实、长尾的工业数据尚未验证；二是损失调度仅用线性 $\alpha(t)$，作者指出未来要探索学习式或任务自适应的调度形状；三是预训练仍停留在 Objects365-v1，作者计划扩展到网页级或 grounding 语料。从我的观察还有几点：(1) 主要增益高度依赖两阶段训练（Objects365 预训练 150 epoch + COCO 微调），表 2 显示去掉 Objects365 预训练，YOLO26s 从 48.6 掉到 47.6，说明纯 COCO 从头训的优势被显著压缩，对算力有限的复现者不友好；(2) 端到端头依赖 top-K 算子，部分不支持 top-K 的推理后端会自动回退到非端到端分支，导出兼容性并非完全无损；(3) 姿态、分割在 CPU ONNX 上的延迟相比 YOLO11 明显上升（如 YOLO26x-seg 795.9ms vs 664.5ms），边缘 CPU 部署的性价比需单独评估；(4) MuSGD 的混合权重、$s_{ref}$、$\alpha$ 调度等大量超参是按规模分别搜出来的（见 Table S4/S7），泛化到新数据集时可能需重新调参。

独立分析的弱点

弱点一：对预训练的强依赖与可复现成本。表 2 显示 Objects365 预训练贡献约 0.6–1.0 AP，且全文采用批量 128 的多 GPU 两阶段流程，算力门槛高；改进方向是把 MuSGD + Progressive Loss 的快速收敛优势做成单阶段、从零训练就能逼近的配方，或用自蒸馏/数据引擎进一步降低对 Objects365 的依赖。弱点二：超参数众多且规模相关。Muon/SGD 权重、$s_{ref}$、$\alpha$ 起止、各任务损失权重（如姿态 $w_{OKS}=24,w_{RLE}=1$）都按规模搜参，迁移成本高；改进方向是把这些做成可学习或自适应量（如根据当前 batch 的目标尺度分布自适应选 $s_{ref}$，或用元学习调 $\alpha(t)$）。弱点三：CPU/边缘端对大模型不友好。CPU ONNX 上 YOLO26x-seg、x-pose 比 YOLO11 慢 10–20%，与「实时边缘部署」叙事有张力；改进方向是面向边缘再做量化/剪枝专用变体，或在导出时按后端自动选分支。弱点四：开放词汇的视觉提示增益相对弱。YOLOE-26x 视觉提示 38.5 AP 明显低于文本提示 40.6 AP，且视觉提示分支需解冻 SAVPE 微调；改进方向是增强视觉提示的少样本泛化或引入更强 region 级对齐。弱点五：评测集偏单一。COCO/DOTA/LVIS 之外缺乏 OpenImages、nuScenes 等多样真实场景验证。

未来方向

作者明确提出的未来方向包括：(1) 跳出 COCO-centric 评测，开展更广泛基准验证；(2) 探索超越线性 $\alpha(t)$ 的学习式或任务自适应损失调度形状；(3) 把预训练从 Objects365-v1 扩展到网页级或 grounding 风格语料。基于本文成果可延伸的方向：把 MuSGD 的跨域迁移进一步推广到分割/姿态/视频检测等其他任务的从零训练，验证其作为「通用检测优化器」的地位；把 Progressive Loss 的课程思想与 DETR 系的 hybrid matching（H-DETR、Group DETR）结合，看能否进一步加速 transformer 检测器收敛；把 STAL 的「候选几何/回归几何解耦」思想推广到 3D 检测、全景分割等更多候选选择场景；用 YOLOE-26 的伪标签数据引擎做持续学习闭环，在线扩充词表；探索端到端头在不支持 top-K 的后端上的等价无损算子替代，实现真正的全后端 NMS-free。

复现评估

复现性整体较高且友好。代码与模型已在 https://github.com/ultralytics/ultralytics 开源，提供 n/s/m/l/x 五档预训练权重、PyTorch 检查点，并原生支持 19 种非 PyTorch 导出目标（TensorRT、ONNX、CoreML、TFLite、NCNN、ExecuTorch 等），部署链路完整。训练配方透明度极高：补充材料 Table S2–S7 直接从检查点的 train args 抄录了 Objects365 预训练与 COCO 微调两阶段的优化器、学习率、动量、权重衰减、损失权重（box/cls/dfl）、增强参数及 MuSGD 的 $\mu$/SGD 权重与 topk 等内部参数，甚至保留了原始精度。任务侧（分割、姿态、OBB、YOLOE-26 的 TP/VP/PF/SEG 四阶段）也给了学习率、解冻策略、epoch 数。主要门槛在于算力：两阶段训练、批量 128 的多 GPU、Objects365-v1 大数据集，对个人或小团队复现完整大盘子成本较高；但单任务消融（如 DFL 删除、STAL、Progressive Loss）的规模较小、可在 COCO 上单卡/少卡复现，作者也提供了受控的 640/1280 与 YOLO11s 基线对比，便于增量验证。超参虽多但已记录，整体属「工程量大但路径清晰」的可复现项目。