YOLO-PEFT：让目标检测模型微调不再靠试错

导语

PEFT（参数高效微调）已经成为大语言模型领域的常用工具，但把 LoRA、RS-LoRA 等方法直接搬到实时目标检测模型上，并不一定安全。YOLO 系列这类检测器包含卷积、检测头、特征融合等异构结构，和规则堆叠的 Transformer 有明显差异。论文 YOLO-PEFT 关注的正是这个容易被忽略的问题：适配器到底应该放在哪些模块上，哪些位置看似可训练却可能导致性能崩坏？

核心要点

• 从“手工试层”变成“约束规划”：YOLO-PEFT 将适配器放置建模为一个可审计的规划问题。输入包括检测器图结构、PEFT 请求和资源预算，输出则是目标模块清单，或在条件不满足时直接 Refuse。
• 显式检查多类约束：框架会为模块分配算子角色和语义角色，并检查算子有效性、检测语义、图接口以及部署相关谓词。被排除的模块会记录原因码，避免训练失败后才回头猜测问题来源。
• 不盲目相信 PEFT 一定省事：在 VOC07+12 trainval 到 VOC07 test 的官方协议下，规划器选择的 RS-LoRA 在 YOLO11s 上达到 0.7138 mAP50-95，在 YOLO12s 上达到 0.7307，高于对应 Full-SFT 的 0.6428 和 0.6662。
• 拒绝也是能力的一部分：在 RT-DETR-L 上，论文评估的 7 种 LoRA-family 配置都越过预设的灾难阈值，因此框架支持在已校准覆盖范围内拒绝 PEFT，转向 Full-SFT。
• 资源收益与时间代价并存：受控 YOLO11 审计显示，LoRA 可将峰值训练显存降低 43.9%，但训练耗时变为 1.72 倍。

意义与影响

这项工作的价值不只在于某个 mAP 数字，而在于把检测模型微调中高度经验化的“选模块”步骤制度化。对于工程团队来说，可审计的模块计划、排除原因和 train-save-merge-export 路径验证，能降低部署前的不确定性。

同时，论文也给 PEFT 的跨领域迁移敲响警钟：在语言模型上通用的方法，进入目标检测器后会遇到新的结构约束。YOLO-PEFT 的 Refuse 机制说明，工具不应只追求“总能给出方案”，还要能在证据不足或风险过高时停止。

不过，作者也指出，对未见过检测架构的拒绝与泛化仍是开放验证问题。因此，YOLO-PEFT 更像是面向特定检测家族和校准范围的工程化框架，而不是所有视觉模型 PEFT 的通用答案。

来源：Hugging Face Daily Papers