Foundation4D, 자율주행 인지와 4D 장면 재구성을 하나로 통합

들어가며

자율주행 시스템은 보통 깊이 추정, 3D 객체 탐지, 점유 예측, 장면 재구성을 서로 다른 모듈로 나눠 처리한다. 각 작업을 따로 최적화하기에는 편리하지만, 작업 간에 유용한 정보가 오가지 못한다는 한계가 있다. 기하 구조는 객체의 위치와 크기를 추정하는 데 도움을 주고, 객체 정보는 다시 공간 이해를 보완할 수 있다. NVIDIA의 Foundation4D는 다중 카메라 주행 영상을 하나의 피드포워드 모델로 처리해 이러한 상호작용을 활용하려는 접근이다.

모델의 핵심

Foundation4D는 여러 카메라에서 얻은 연속 영상을 입력으로 받아 장면 기하, 3D 객체 탐지, 의미 점유, 가우시안 기반 장면 재구성이라는 네 가지 결과를 생성한다. 공유 백본에는 분해된 시공간 어텐션이 적용되어 서로 다른 시점과 프레임의 관측을 통합한다. 전체 시공간 어텐션보다 계산 부담을 줄이면서도 깊이, 움직임, 가림 현상을 파악하는 데 필요한 영상 문맥을 유지하는 것이 목표다.

영상 추론 파이프라인도 함께 설계됐다. 먼저 포즈 그래프 최적화를 통해 카메라 궤적을 보정하고, 연속 관측 사이의 자세 불일치를 줄인다. 이어 서로 다른 입력 윈도우에서 얻은 객체 트랙을 연결해 더 긴 추적 결과를 만든다. 따라서 이 시스템은 여러 작업을 한 네트워크에서 처리하는 데 그치지 않고, 차량이 움직이는 동안 기하적·시간적 일관성을 유지하려고 한다.

데이터와 보고된 성능

연구진은 PAI-Foundation4D라는 벤치마크를 공개했다. 이 데이터셋은 1,253개의 주행 클립으로 구성되며, 조밀한 깊이와 의미 점유 라벨을 제공한다. 논문 초록에 따르면 벤치마크별 미세 조정을 적용했을 때 Foundation4D는 Waymo와 nuScenes의 깊이 AbsRel 비교에서 낮은 오차를 기록했고, nuScenes의 탐지 mAP와 OpenOccupancy의 점유 mIoU 비교에서도 높은 성능을 보였다. 다만 이 결과는 명시된 데이터셋과 학습 설정에 기반하므로 모든 주행 조건에서의 우위를 의미하지는 않는다.

작업 조합 실험은 통합 학습의 효과를 구체적으로 보여준다. 탐지를 기하 및 점유와 함께 학습하면 탐지만 학습한 경우보다 주요 클래스 mAP가 1.2포인트 향상됐다. 반대로 기하 학습에 탐지를 추가하면 기하만 학습했을 때보다 카메라에서 차량 리그 좌표계로의 평행이동 오차가 13.4% 감소했다. 서로 다른 작업의 감독 신호가 단순히 계산을 공유하는 수준을 넘어 상호 보완적으로 작용할 수 있다는 의미다.

의미와 과제

Foundation4D는 전문화된 인지 모듈의 집합에서 통합 장면 이해 모델로 나아가는 방향을 제시한다. 예측된 기하와 궤적은 LiDAR 없는 NuRec의 사전 정보로도 사용되며, 시뮬레이션을 위한 주행 장면 재구성에 활용될 수 있다.

물론 해결해야 할 문제도 남아 있다. 제공된 자료만으로는 모델 규모, 종단 간 지연 시간, 데이터셋별 상세 점수, 악천후와 저조도 환경에서의 강건성을 확인하기 어렵다. 실제 차량에 적용하려면 연산 비용, 실패 유형, 시간적 안정성, 안전 검증을 별도로 평가해야 한다. 그럼에도 멀티태스크 학습과 영상 단위 추론, 조밀한 라벨을 갖춘 새 벤치마크를 하나의 연구 안에서 연결했다는 점은 시각 기반 자율주행 연구에서 중요한 진전으로 볼 수 있다.

출처: Hugging Face Daily Papers