OpenFlyV2, 드론에서 실행되는 비전·언어·행동 모델 제시

들어가며

드론이 “지정한 물체를 찾아 이동하라”는 식의 지시를 수행하려면 단순한 객체 인식만으로는 부족하다. 언어가 가리키는 대상을 영상에서 찾고, 대상과 주변 환경의 공간 관계를 판단한 뒤, 그 결과를 실행 가능한 비행 명령으로 계속 변환해야 한다. OpenFlyV2는 이 과정을 하나의 온보드 비전-언어-행동 모델로 처리하려는 연구다.

핵심 내용

• 지각과 제어의 통합. 하나의 공유 비전-언어 표현을 사용해 장면의 의미를 이해하고, 언어로 지정된 대상을 인식하며, 공간 관계를 추론한다. 이후 경량 행동 전문가가 멀티모달 문맥을 단기 비행 웨이포인트로 변환한다.
• 폐루프 비행. 한 번의 계획을 출력하는 데 그치지 않고 새로운 관측에 따라 행동을 갱신한다. 하나의 행동 청크는 12개 웨이포인트로 구성되며, NVIDIA Jetson Orin NX에서 10Hz로 전 과정을 온보드 실행한다.
• 시간 정보의 효율적 활용. 움직임을 고려한 시간 메모리와 행동 사전정보를 사용해 과거 상태와 기존 행동 정보를 재활용하고, 반복적인 폐루프 계산 비용을 줄인다.
• 두 가지 능력을 포함한 시뮬레이션 데이터. 연구진은 약 7만 개의 내비게이션 궤적과 6만 개의 비전-언어 지시·응답 쌍으로 구성된 데이터셋을 만들었다.
• 시뮬레이션에서 실제 기체로 이전. 실제 항공 로봇 데이터로 추가 학습하지 않은 상태에서 물리 쿼드로터에 적용했으며, 네 개의 실제 환경에서 48%의 내비게이션 성공률을 보고했다.

의미와 과제

OpenFlyV2의 핵심은 시각 인식, 언어 이해, 경로 계획, 제어를 서로 분리된 모듈의 연결로만 보지 않고 하나의 연속적인 루프로 설계했다는 점이다. 공유 표현은 모듈 사이의 인터페이스를 단순화하고, 외부 서버나 오프보드 컴퓨팅에 대한 의존을 줄일 가능성이 있다. 통신 지연이나 네트워크 연결이 불확실한 비행 환경에서는 온보드 처리가 특히 중요하다.

다만 48%의 성공률은 가능성을 보여주는 결과이지, 안정적인 현장 운용을 입증하는 수치는 아니다. 제공된 자료만으로는 작업별·환경별 세부 결과, 비교 기준, 실패 유형, 비행 안전 계층을 확인하기 어렵다. 앞으로는 움직이는 장애물, 장시간 임무, 잘못된 대상 해석 이후의 복구, 다른 기체로의 일반화 능력을 검증해야 한다. 그럼에도 OpenFlyV2는 공중 로봇이 장면과 언어를 이해하는 데서 더 나아가, 제한된 연산 자원 안에서 그 이해를 즉각적인 비행 행동으로 연결해야 한다는 방향을 분명히 보여준다.

출처: Hugging Face Daily Papers