SULAND v2: RGB 지뢰 탐지 데이터셋을 정제하고 도메인 시프트 평가를 강화

들어가며

RGB 카메라는 저렴하고 장착이 쉬워 UAV와 UGV 기반 지표 지뢰 조사 지원에 현실적인 선택지로 여겨집니다. 하지만 지뢰 탐지는 안전과 직결되는 작업입니다. 따라서 모델이 벤치마크에서 높은 점수를 얻는 것만으로는 충분하지 않습니다. 데이터 주석이 정확한지, 훈련 조건과 다른 환경에서도 작동하는지, 여러 탐지기 구조를 공정하게 비교했는지가 중요합니다. SULAND v2는 기존 SULAND 데이터셋을 전면 점검해 이러한 문제를 다룬 결과물입니다.

핵심 내용

• 새 이미지가 아닌 정제된 기준: 연구진은 원본 SULAND의 이미지와 데이터 분할을 그대로 유지했습니다. 대신 Label Studio에서 전체 데이터를 수작업으로 다시 주석 처리해 v1과 v2를 직접 비교할 수 있게 했습니다.
• 다양한 주석 오류 수정: 누락된 라벨, 잘못된 라벨, 부정확한 바운딩 박스, 부분적으로 보이는 대상에 대한 기준 불일치, 시각적 아티팩트, 시간적 라벨 불일치가 발견됐습니다.
• 중요한 OOD 오류 해결: 원래 SULAND의 OOD 분할에는 클래스 ID 규칙이 반대로 적용된 문제가 있었고, 이는 도메인 외 성능 평가를 크게 왜곡할 수 있었습니다.
• 데이터 규모: SULAND v2는 33,771장의 RGB 이미지와 12,433개의 바운딩 박스를 포함하며, PFM-1과 PMA-2 지표 지뢰 탐지를 대상으로 합니다.
• 폭넓은 모델 비교: 단일 프로토콜에서 9개 탐지기 계열, 35개 구성을 평가했으며, one-stage, two-stage, Transformer, open-vocabulary 방식이 포함됐습니다.

결과가 말하는 것

데이터 품질 개선의 효과는 뚜렷했습니다. 주석 정제만으로 YOLOv8의 IID 테스트 mAP@50은 14.6~19.6%포인트 상승했습니다. 또한 OOD 클래스 ID 규칙을 바로잡은 것만으로도 YOLOv8의 평균 OOD mAP@50이 약 25%포인트 높아졌습니다. 이는 벤치마크의 오류가 모델 성능 판단 자체를 바꿀 수 있음을 보여줍니다.

정제된 SULAND v2에서는 YOLOv12-Small이 IID mAP@50 0.908로 가장 높은 점수를 기록했습니다. 그러나 도메인 시프트 조건에서는 RF-DETR-Large가 OOD mAP@50 0.799, 재현율 0.675로 가장 강했습니다. 즉 익숙한 분포에서 좋은 모델이 낯선 환경에서도 최고라는 보장은 없습니다. 모델 크기 역시 강건성을 안정적으로 예측하는 지표가 아니었습니다.

의미와 영향

SULAND v2의 가치는 단순히 더 깨끗한 데이터셋을 제공하는 데 그치지 않습니다. 안전 필수 AI에서는 평가 데이터의 품질과 OOD 테스트 설계가 신뢰성을 좌우합니다. UAV/UGV 기반 지뢰 조사에서는 지형, 조명, 시점, 촬영 조건이 달라질 수 있으므로 IID 고성능만으로 운영 준비가 됐다고 판단할 수 없습니다.

연구자에게 SULAND v2는 RGB 기반 지표 지뢰 탐지를 더 신뢰성 있게 비교할 수 있는 공개 벤치마크입니다. 실무자에게는 실제 배치 전 도메인 시프트 강건성 평가가 필수 절차임을 다시 확인시켜 줍니다.

출처: Hugging Face Daily Papers