RainDancer: RGB-Event 융합과 스파이킹 동역학으로 비 오는 영상 복원

도입

비 오는 영상 복원은 단순한 화질 개선 문제가 아닙니다. 자율주행, 이동 로봇, 실외 감시 시스템에서는 빗줄기가 물체 경계와 움직임 단서를 흐리게 만들고, 후속 인식 성능에도 영향을 줄 수 있습니다. 기존 비디오 디레이닝 방법은 주로 RGB 프레임의 시간적 중복성을 활용해 왔지만, 동적인 우천 장면에서는 빗줄기, 텍스처, 경계, 모션 블러, 가림 현상이 서로 비슷하게 보일 수 있습니다. 이 때문에 RGB만으로는 무엇이 비이고 무엇이 배경인지 판단하기 어렵습니다.

arXiv 논문 “RainDancer: RGB-Event Video Deraining with Rain-Oriented Spiking Dynamics”는 여기에 이벤트 카메라를 도입합니다. 이벤트 카메라는 일반 프레임을 출력하는 대신 밝기 변화가 발생할 때 비동기 이벤트를 기록합니다. 매우 높은 시간 해상도를 갖기 때문에, 빠르고 희소하며 순간적으로 발생하는 비의 움직임을 포착하는 데 유리할 수 있습니다.

핵심 포인트

• 단순 융합은 위험할 수 있음: 논문은 이벤트 스트림에도 센서 노이즈와 배경 변화로 인한 반응이 포함된다고 지적합니다. RGB와 이벤트 특징을 그대로 합치면 모달리티 간 간섭이 생길 수 있습니다.
• 분해 후 상호작용: RainDancer는 각 모달리티 안에서 먼저 비 성분과 배경 성분을 분리합니다. RGB 분기에서는 프레임 특징을 점진적으로 비 관련 표현과 배경 표현으로 나눕니다.
• 비 지향 스파이킹 동역학: 이벤트 분기에는 rain-oriented spiking neural network 모듈이 사용됩니다. 이는 비 움직임과 관련된 희소하고 버스트성 있는 이벤트 패턴을 포착하기 위한 설계입니다.
• 성분 단위 융합: 모든 특징을 한꺼번에 섞는 대신, 의미적으로 정렬된 비/배경 성분끼리 상호작용합니다. 이를 통해 빗줄기를 줄이면서 장면 구조를 보존하는 것을 목표로 합니다.
• 이벤트 도메인 감독: 희소 이벤트 재구성, 구조 일관성, 그래디언트 방향에 대한 감독을 추가해 이벤트 표현 학습을 정규화합니다.

의미와 영향

RainDancer의 흥미로운 점은 이벤트 카메라를 단순한 보조 채널로 보지 않는다는 데 있습니다. 이벤트 신호는 빠른 비의 움직임을 알려줄 수 있지만, 동시에 노이즈와 배경 반응도 포함합니다. 따라서 먼저 의미 있는 성분으로 나누고, 그다음 맞는 성분끼리 융합하는 접근은 RGB-Event 복원 문제에 적합한 방향으로 보입니다.

논문에 따르면 RainDancer는 합성 및 실제 RGB-Event 비디오 디레이닝 데이터셋에서 더 나은 정량 성능, 시각적 품질, 다운스트림 인식 강건성을 보였습니다. 이는 비디오 디레이닝의 목표가 깨끗한 화면에 그치지 않고, 악천후에서도 안정적으로 작동하는 인식 시스템을 만드는 데 있음을 보여줍니다.

다만 제공된 자료에는 구체적인 수치, 데이터셋 세부 사항, 계산 비용이 포함되어 있지 않습니다. 실제 적용 가능성을 판단하려면 논문 본문 확인이 필요합니다. 그럼에도 RainDancer는 멀티모달 저수준 비전에서 “의미를 분리하고 정렬한 뒤 융합한다”는 설계를 잘 보여주는 사례입니다.

출처: arXiv