아티클 목록으로
월드 모델

BirdDreams, 시점 영상과 BEV를 함께 생성하는 주행 세계 모델

약 3분 소요

들어가며

주행 세계 모델은 단순히 도로 영상을 자연스럽게 이어 붙이는 모델이 아닙니다. 자차가 다른 행동을 했을 때 주변 차량과 장면이 어떻게 변할지를 그럴듯하게 시뮬레이션해야 합니다. 동시에 모델은 입력된 자차 궤적을 정확히 따라야 하며, 다른 교통 참여자들이 그 움직임에 반응하는 모습도 예측해야 합니다. 하지만 카메라 시점 영상만으로 차량 움직임을 학습하면 카메라 이동과 물체 이동이 뒤섞이고, 차량 간 가림 현상까지 발생합니다. BirdDreams는 시점 영상과 조감도 영상을 미래에 대해 함께 예측하는 방식으로 이 문제를 다룹니다.

핵심 아이디어

  • 장면 배치를 예측 결과에 포함한다. 기존의 일부 제어 가능한 주행 영상 모델은 주변 차량의 미래 궤적이나 레이아웃을 조건으로 입력받습니다. 이 방식은 차량 움직임을 지정하기 쉽지만, 미래 궤적을 외부에서 미리 준비해야 합니다. BirdDreams는 시점 영상과 함께 BEV를 생성해 도로와 차량의 배치를 모델 내부의 미래 예측으로 만듭니다.
  • BEV로 가림 문제를 완화한다. 학습용 BEV는 장면 주석에서 렌더링하며, 고정된 미터 단위의 척도에서 도로와 차량을 단순한 도형으로 나타냅니다. 위에서 내려다보는 표현은 차량의 위치와 움직임을 파악하기 쉽고 차량 간 가림도 줄입니다. 반대로 시점 영상은 신호등, 물체 외관, 도로의 시각적 세부 정보를 보존합니다.
  • 두 생성 스트림이 서로 정보를 전달한다. BirdDreams는 두 표현에 각각 비디오 확산 Transformer를 사용하고 공동 어텐션으로 정보를 교환합니다. BEV는 시점 영상에 기하학적 구조를 제공하며, 시점 영상은 BEV에 없는 외관과 시각적 맥락을 보완합니다.
  • 자차 제어를 기하학적 변환으로 처리한다. 추론 시 모델은 가장 최근에 생성한 BEV 프레임을 입력된 자차 궤적에 맞춰 평행 이동하고 회전시킵니다. 변환된 프레임은 소프트 조건으로 사용되며, 자차만 움직일 경우 장면이 어떻게 보일지를 모델에 전달합니다. 이후 모델은 해당 자차 움직임을 따르면서 주변 교통이 반응하는 미래를 생성합니다.

의미와 남은 과제

BirdDreams의 핵심 의미는 자차 제어와 주변 교통의 반응 예측을 하나의 생성 구조 안에서 다루려는 데 있습니다. BEV는 단순한 시각화 결과가 아니라 장면 기하, 행동 조건, 교통 움직임을 연결하는 중간 표현입니다. 미래 차량 궤적을 외부 입력으로 요구하는 대신 배치를 직접 예측함으로써, 보다 자립적인 세계 모델을 지향합니다. 또한 두 표현을 함께 생성하면 차량이 있어야 할 위치와 실제 카메라 영상에 나타나는 모습 사이의 불일치를 줄이는 데 도움이 될 가능성이 있습니다.

다만 제공된 자료에는 데이터셋, 평가 지표, 제어 오차, 다른 방법과의 정량 비교가 포함되어 있지 않습니다. 따라서 성능 향상의 규모를 단정할 수는 없습니다. 장시간 생성에서 BEV와 시점 영상이 계속 일치하는지, 학습 과정의 장면 주석에 얼마나 의존하는지, 복잡한 교통과 심한 가림 상황에서 안정적으로 작동하는지도 추가 검증이 필요합니다. 그럼에도 BirdDreams는 시각적 사실성과 명시적인 기하 구조를 결합하고, 후자를 제어 가능한 미래 생성의 연결 고리로 활용하는 방향을 보여줍니다.

출처: Hugging Face Daily Papers

댓글

로그인 상태 확인 중…

댓글 불러오는 중…

관련 게시물

CCTest · Blog
코드가 세계를 만든다면, 비디오 모델은 렌더링만 할 수 있을까
월드 모델
cctest.ai
월드 모델

코드가 세계를 만든다면, 비디오 모델은 렌더링만 할 수 있을까

WorldDraft는 프로그램으로 정의된 4D 세계의 움직임과 카메라 경로를 유지하면서 비디오 모델이 텍스트로 지정된 외관을 구현할 수 있는지 평가한다. 결과는 세계 보존과 외관 충실도의 균형이 여전히 어렵다는 점을 보여준다.

더 보기
CCTest · Blog
Duo v1, 의도와 행동을 통합하는 상호적 세계 모델 제안
월드 모델
cctest.ai
월드 모델

Duo v1, 의도와 행동을 통합하는 상호적 세계 모델 제안

Duo v1은 에이전트의 의도 추론과 음성·영상 행동 생성을 하나의 실시간 프레임워크로 결합하는 ‘상호적 세계 모델’을 제안한다. 지속적인 입력 처리와 자발적 참여, 끼어들기에 대응하는 전이중 상호작용을 목표로 한다.

더 보기
CCTest · Blog
ProTEUS, 단백질 돌연변이 탐색을 폐루프 월드 모델로 전환
월드 모델
cctest.ai
월드 모델

ProTEUS, 단백질 돌연변이 탐색을 폐루프 월드 모델로 전환

ProTEUS는 서열·진화·구조 정보를 하나의 표현으로 통합하고, 돌연변이의 기능적 영향을 예측한 뒤 실험 결과로 다음 설계를 갱신한다. 논문은 두 번의 폐루프 단백질 공학 캠페인에서 야생형보다 10배 넘게 높은 활성을 보인 변이체를 보고했다.

더 보기