전파형 LiDAR Transformer를 실시간으로 만드는 방법

배경

LiDAR는 자율주행과 로봇 인식에서 핵심적인 센서지만, 안개와 비, 투명 물체, 낮은 반사율의 표면에서는 반사 정보가 약해질 수 있습니다. 전파형 LiDAR(Full-Waveform LiDAR, FWL)는 하나의 점만 기록하는 대신 각 광선의 전체 반환 신호를 히스토그램으로 저장합니다. 이 방식은 다중 경로 에코와 약한 반사처럼 일반적인 점 표현에서 놓치기 쉬운 정보를 보존할 수 있습니다. 그러나 파형을 Transformer 토큰으로 바꾸면 입력이 크게 늘어나며, 정보 기여도가 낮은 저강도 배경 영역에도 많은 연산이 투입됩니다.

두 가지 핵심 제안

연구진은 계산 비용과 데이터 부족에 따른 일반화 문제를 각각 겨냥해 두 가지 기법을 제시했습니다.

• FWL-ToPM: 신호 세기 기반 토큰 축소. 신호 세기 분포를 활용해 정보량이 낮거나 서로 유사한 토큰을 찾아 선택적으로 제거하거나 병합합니다. 파형을 무작정 버리는 것이 아니라 중요한 반환 신호를 유지하면서 어텐션 계산을 줄이는 것이 목표입니다.
• FWLAug: 물리 구조를 보존하는 데이터 증강. 임의의 외형 변형 대신 각 광선의 Time-of-Flight 파형과 시야 절두체의 기하 관계를 보존한 채 학습 샘플을 확장합니다. 증강 이후에도 전파형 LiDAR의 센싱 구조가 유지되도록 설계했습니다.

실험 결과

Ghost-FWL 벤치마크에서 FWL-ToPM은 8배 이상의 속도 향상을 달성해 실시간 처리 수준에 도달했다고 보고됐습니다. 동시에 이전 최고 성능 방법보다 F1이 거의 9포인트 높아졌습니다. 이는 정확도를 낮춰 속도를 얻는 방식이 아니라, 토큰 선택을 통해 효율과 인식 성능을 함께 개선하려는 접근입니다. FWLAug 역시 표준 벤치마크와 보지 못한 장면 모두에서 추가적인 성능 향상을 보였습니다. 라벨이 부족한 전파형 LiDAR 분야에서 물리 구조를 유지하는 증강이 일반화에 도움을 줄 수 있다는 의미입니다.

이 연구의 broader한 시사점은 모든 센서 토큰을 동일하게 처리할 필요가 없다는 데 있습니다. 신호 강도로 계산 우선순위를 정하고, 센서가 데이터를 생성하는 물리적 과정을 학습 증강에 반영하면 단순한 모델 확장과 다른 효율화 경로를 만들 수 있습니다. 이는 실시간 응답이 필요한 자율주행 및 로봇 시스템에서 특히 중요합니다.

다만 제공된 자료에는 하드웨어 구성, 실제 지연 시간, 토큰 감소 비율, 기상 조건별 세부 결과가 제시되지 않았습니다. 따라서 ‘실시간’의 의미와 악조건에서의 강건성은 전체 논문과 실제 배포 플랫폼을 기준으로 추가 검증해야 합니다.

출처: Hugging Face Daily Papers