YOLO-PEFT：面向 YOLO 系列检测器的结构感知参数高效微调框架 YOLO-PEFT: Parameter-Efficient Fine-Tuning on YOLO Family

步骤①解析：把模型展开为骨干/颈部/解耦头节点，结合图位置与检测习语赋予双角色（算子角色 $o_i$ 与语义角色 $s_i$），并构造指纹 $\phi_{core}=(\phi_{attn},\phi_{text},\phi_{moe},\phi_{dw},\phi_{conv})$。步骤②规划按固定顺序：先算子过滤（移除深度可分离、归一化、未知算子，分组卷积按 $r_g=r/G$ 平衡分配要求 $G|r$），再语义过滤（移除固定 DFL 投影、MoE 路由、几何敏感回归路径），用户目标 $T$ 与层区间 $L$ 只在强制过滤后求交，故显式请求无法重启不安全模块；接着应用家族策略（RT-DETR 冻结解码器采样偏移/注意力权重；YOLO12 排除 $attn.\{qkv,proj,pe\}$；YOLO-World 文本融合可把 LoRA 改路由为 LoHa），然后在预算下分配秩 $\max_\pi\sum u(i,\pi(i))$ s.t. $\sum c_p(i,\pi(i))\le B$，最后做可靠性校验 $\Delta mAP\approx\beta_0+\beta_1\phi_{attn}+\beta_4\xi_p$，预测低于 $-0.05$ 即拒绝。步骤③下译：保证不变量 $I_1$（基座加载不变）到 $I_4$（ONNX/TRT 图兼容），PEFT 后端处理十余种变体，fallback 后端提供纯卷积 LoRA，合并 $W_0\leftarrow W_0+s\Delta W$ 后还原普通模块。步骤④训练策略含层间学习率衰减 $\eta_\ell=\eta_0\rho^{d_\ell}$（$\rho=0.85$）、$\alpha/r$ 余弦 warmup、正交正则 $\lambda_{ortho}\|A^\top A-I\|_F$、动态 dropout 在 30% 训练后线性增到 0.15。

技术新颖性体现在五点。其一，约束形式化与安全模型：把放置定义为算子有效性、检测语义、图接口、部署与预算五类约束的联合满足，并用 10 维指纹在校准覆盖内支持可审计的训练前风险估计。其二，‘拒绝’是一等公民：Refuse→Full-SFT 是规划结果而非运行时故障，避免昂贵试错。其三，合并等价性证明：对 fallback 手工 Conv2d 后端，证明每组更新 $\Delta W_g=B_gA_g^\top$ 重塑后合并 $W_0\leftarrow W_0+s\Delta W$ 可在浮点容差内保持卷积输出不变，分组结构不破坏。其四，部署完整运行时契约：四条不变量覆盖适配器只存权重、合并后还原普通 YOLO 模块、ONNX/TensorRT 看到兼容图。其五，架构条件化证据：14 变体×5 架构的诊断扫描加 YOLO-Master-EsMoE-S 压力测试，证明不存在普适 PEFT 排序，LOVO 在已知架构上达 86.7% 准确率、$F_1=0.850$。

第一，校准只覆盖已观测架构，对全新检测器家族无安全保证——改进方向是收集更多家族数据做真正的架构级留出验证，给出真假拒绝率，而非变体级 LOVO。第二，可靠性模型只有 5 个核心维度且依赖变体系数 $\xi_p$，外推能力弱——改进方向是引入更丰富的图嵌入（如子结构同构特征、算子级敏感度）并用贝叶斯方法量化预测不确定性。第三，预算匹配选择器诊断（Tab. 12）地平线过短（一 epoch、2% 子集），四种选择器均值差仅 0.0034 而 SD 达 0.0093–0.0267，无法判优劣——改进方向是在主协议下做长训练、多种子、同预算的真正选择器对比。第四，部署契约只做运行时元数据校验（防后端/路径混淆），缺乏完整基座检查点与类词汇哈希强校验——改进方向是把图哈希、类名校验作为硬检查，提升跨环境部署鲁棒性。第五，显存收益伴随 1.72× 训练时间代价，且 MoE 压力测试中 BOFT/OFT 提前失败——改进方向是研究为何失败并提供针对 MoE 的专家感知放置。第六，VOC2007 test 参与检查点选择削弱了绝对分数可信度——改进方向是引入独立验证集报告盲测估计。

作者明确提出未来要扩展到带跨模态注意力与词汇头的 VLM 检测器，以及带共享块的混合 Transformer/MoE 检测器，研究专家局部适配器、路由负载均衡、调度感知预算，并在留出架构和跨域基准（含合并/未合并导出检查）上验证。基于本成果还可延伸：把约束规划框架推广到分割、姿态等密集预测任务；用主动学习自动扩充校准覆盖以降低未见家族风险；研究自适应秩分配（如按层敏感度动态选 $r$）替代固定预算；探索把 Refuse 机制与 AutoML 结合做联合的‘方法+放置’搜索；把合并等价性证明扩展到量化路径与 PEFT 托管的 RS-LoRA/DoRA 变体；以及评估在边缘设备上合并模型相对未合并适配器的真实推理加速（Tab. 6 已显示 YOLO11s 合并后 21.7 GFLOPs 对未合并 25.9 GFLOPs、吞吐 55.8 对 36.1 img/s）。

复现性中等偏好。作者提供项目主页 github.com/Tencent/YOLO-Master 作为开源入口，论文详尽描述官方 Ultralytics VOC 配置（训练 16,551 张 trainval、测试 4,952 张 VOC2007 test、640×640、600 epoch 上限、optimizer=auto 解析为 SGD、学习率 0.01、动量 0.9、权重衰减 $5\times10^{-4}$、余弦调度、最后 10 epoch 关 Mosaic、patience 100），并给出种子 {0,28,42}、W&B 字段、VOC 划分审计（Tab. 17 证明训练/评估 ID 交集为零）、合并等价性证明与数值容差检查、ONNX opset 18 校验与 TensorRT FP32/FP16 引擎验证。算力方面 s-scale 600 epoch 在多加速器分布式环境训练，诊断矩阵用 300 epoch/320×320，复现全套矩阵开销不小。难度在于：规划器、图解析器与双后端实现多停留在附录伪代码层面，完整代码与日志开放度需以仓库实际发布为准；RT-DETR-L 拒绝规则依赖校准数据，独立复现需先跑出灾难矩阵才能标定阈值。