SULAND v2：RGB地雷検出データセットを再注釈し、ドメインシフト評価を強化

導入

RGB カメラは低コストで扱いやすく、UAV や UGV による地表地雷調査支援に適したセンサーとして期待されています。しかし、地雷検出は安全性に直結する分野であり、単にベンチマーク上の精度が高いだけでは不十分です。データの注釈が正確か、未知の環境変化に耐えられるか、異なる検出器を公平に比較できるかが重要になります。SULAND v2 は、この課題に対して既存の SULAND データセットを精査し、再構築したものです。

主なポイント

• 画像と分割は維持：研究チームは新しい画像セットを作るのではなく、元の SULAND の画像とデータ分割を保持しました。そのうえで Label Studio を使い、注釈を手作業で修正しています。
• 注釈品質の改善：漏れたラベル、誤ったラベル、不正確なバウンディングボックス、部分的に見える対象の扱いの不一致、視覚的アーティファクト、時間的なラベル不整合が確認されました。
• OOD 評価の重大な修正：元データの OOD 分割ではクラス ID の約束が反転しており、ドメイン外性能の評価を大きく歪める可能性がありました。
• データ規模：SULAND v2 は 33,771 枚の RGB 画像と 12,433 個のバウンディングボックスを含み、PFM-1 と PMA-2 の地表検出を対象としています。
• 広範な検出器評価：9 系統、35 構成の物体検出器を同一プロトコルで評価し、一段階型、二段階型、Transformer 系、オープンボキャブラリ型を含んでいます。

結果の読みどころ

注釈の修正は大きな差を生みました。YOLOv8 の IID テスト mAP@50 は 14.6〜19.6 ポイント向上し、OOD クラス ID の修正だけでも平均 OOD mAP@50 が約 25 ポイント上がりました。これは、ベンチマークの小さく見える不整合が、モデル性能の評価そのものを変えてしまうことを示しています。

SULAND v2 上では、YOLOv12-Small が IID mAP@50 で 0.908 を達成し最良でした。一方、ドメインシフト下では RF-DETR-Large が OOD mAP@50 0.799、リコール 0.675 で最も強い結果となりました。つまり、既知分布での順位は未知条件ではそのまま通用せず、モデルサイズも頑健性の確実な指標にはなりません。

意義と影響

SULAND v2 の意義は、単にデータをきれいにしたことにとどまりません。安全クリティカルな AI では、評価データの品質と OOD テスト設計が信頼性を左右します。UAV/UGV による地雷調査支援では、地形、光、視点、撮影条件が変わるため、IID の高精度だけでは実運用可能性を判断できません。

研究者にとっては、RGB ベースの地表地雷検出を検証するためのより信頼できる公開基準となります。実務側にとっては、配備前にドメインシフト耐性を独立して評価する必要性を改めて示す成果です。

出典：Hugging Face Daily Papers