BirdDreams, 시점 영상과 BEV를 함께 생성하는 주행 세계 모델
들어가며
주행 세계 모델은 단순히 도로 영상을 자연스럽게 이어 붙이는 모델이 아닙니다. 자차가 다른 행동을 했을 때 주변 차량과 장면이 어떻게 변할지를 그럴듯하게 시뮬레이션해야 합니다. 동시에 모델은 입력된 자차 궤적을 정확히 따라야 하며, 다른 교통 참여자들이 그 움직임에 반응하는 모습도 예측해야 합니다. 하지만 카메라 시점 영상만으로 차량 움직임을 학습하면 카메라 이동과 물체 이동이 뒤섞이고, 차량 간 가림 현상까지 발생합니다. BirdDreams는 시점 영상과 조감도 영상을 미래에 대해 함께 예측하는 방식으로 이 문제를 다룹니다.
핵심 아이디어
- 장면 배치를 예측 결과에 포함한다. 기존의 일부 제어 가능한 주행 영상 모델은 주변 차량의 미래 궤적이나 레이아웃을 조건으로 입력받습니다. 이 방식은 차량 움직임을 지정하기 쉽지만, 미래 궤적을 외부에서 미리 준비해야 합니다. BirdDreams는 시점 영상과 함께 BEV를 생성해 도로와 차량의 배치를 모델 내부의 미래 예측으로 만듭니다.
- BEV로 가림 문제를 완화한다. 학습용 BEV는 장면 주석에서 렌더링하며, 고정된 미터 단위의 척도에서 도로와 차량을 단순한 도형으로 나타냅니다. 위에서 내려다보는 표현은 차량의 위치와 움직임을 파악하기 쉽고 차량 간 가림도 줄입니다. 반대로 시점 영상은 신호등, 물체 외관, 도로의 시각적 세부 정보를 보존합니다.
- 두 생성 스트림이 서로 정보를 전달한다. BirdDreams는 두 표현에 각각 비디오 확산 Transformer를 사용하고 공동 어텐션으로 정보를 교환합니다. BEV는 시점 영상에 기하학적 구조를 제공하며, 시점 영상은 BEV에 없는 외관과 시각적 맥락을 보완합니다.
- 자차 제어를 기하학적 변환으로 처리한다. 추론 시 모델은 가장 최근에 생성한 BEV 프레임을 입력된 자차 궤적에 맞춰 평행 이동하고 회전시킵니다. 변환된 프레임은 소프트 조건으로 사용되며, 자차만 움직일 경우 장면이 어떻게 보일지를 모델에 전달합니다. 이후 모델은 해당 자차 움직임을 따르면서 주변 교통이 반응하는 미래를 생성합니다.
의미와 남은 과제
BirdDreams의 핵심 의미는 자차 제어와 주변 교통의 반응 예측을 하나의 생성 구조 안에서 다루려는 데 있습니다. BEV는 단순한 시각화 결과가 아니라 장면 기하, 행동 조건, 교통 움직임을 연결하는 중간 표현입니다. 미래 차량 궤적을 외부 입력으로 요구하는 대신 배치를 직접 예측함으로써, 보다 자립적인 세계 모델을 지향합니다. 또한 두 표현을 함께 생성하면 차량이 있어야 할 위치와 실제 카메라 영상에 나타나는 모습 사이의 불일치를 줄이는 데 도움이 될 가능성이 있습니다.
다만 제공된 자료에는 데이터셋, 평가 지표, 제어 오차, 다른 방법과의 정량 비교가 포함되어 있지 않습니다. 따라서 성능 향상의 규모를 단정할 수는 없습니다. 장시간 생성에서 BEV와 시점 영상이 계속 일치하는지, 학습 과정의 장면 주석에 얼마나 의존하는지, 복잡한 교통과 심한 가림 상황에서 안정적으로 작동하는지도 추가 검증이 필요합니다. 그럼에도 BirdDreams는 시각적 사실성과 명시적인 기하 구조를 결합하고, 후자를 제어 가능한 미래 생성의 연결 고리로 활용하는 방향을 보여줍니다.
댓글
로그인 상태 확인 중…
댓글 불러오는 중…