고덕, 12프레임으로 만 프레임급 3D 재구성하는 ABot-Recon 공개

개요

고덕이 이동 중인 카메라 영상에서 3D 장면을 실시간으로 복원하는 스트리밍 3D 재구성 모델 ABot-Recon을 공개했다. 긴 영상 시퀀스를 처리하는 기존 방식은 과거 정보를 메모리 앵커로 저장한 뒤 현재 추정과 정렬하는 경우가 많다. 하지만 시퀀스가 길어질수록 과거 정보의 검색과 융합 비용이 커져 속도, 정확도, 메모리 사용량이 악화될 수 있다.

ABot-Recon은 최근 연속 12프레임만을 국소 컨텍스트로 사용한다. 전체 영상에 대한 장기 기억을 유지하는 대신, 현재 카메라 좌표계의 국소 포인트 클라우드와 인접한 두 프레임 사이의 상대 포즈를 예측한다. 이후 각 국소 결과를 온라인으로 조합해 전체 궤적과 3D 장면을 단계적으로 만들어 간다.

핵심 포인트

• 확장되는 장기 메모리를 사용하지 않는다. 시퀀스 길이에 따라 커지는 전역 메모리 앵커 대신 고정 길이의 국소 윈도우로 추론한다.
• 촬영과 동시에 장면을 구성한다. 국소 예측을 연속적으로 연결해 글로벌 카메라 궤적과 3D 장면을 온라인으로 갱신한다.
• 오차 누적을 보정한다. 프로젝트 설명에 따르면 학습 과정의 오차 제약과 추론 단계의 보정 메커니즘을 적용해 국소 포즈 오차가 누적되는 문제를 완화한다.
• 센서 요구 조건이 낮다. 추가 깊이 센서나 사전에 알려진 카메라 파라미터 없이 단안 RGB 영상만 입력으로 사용할 수 있다. 고덕은 피크 메모리 사용량이 약 6.71GB이며 소비자용 GTX 1080Ti에서도 실행할 수 있다고 밝혔다.

공개된 성능 수치

고덕의 발표에 따르면 Oxford Spires 장거리 시퀀스 벤치마크에서 ABot-Recon의 평균 궤적 오차는 LingBot-Map보다 40.6% 낮았고, 상대 회전 오차 RPE-R은 0.12도였다. KITTI-02 테스트에서는 24.45 FPS의 추론 속도를 기록해 비교 대상보다 약 1.24배 빠른 것으로 보고됐다. 피크 메모리 사용량은 유사 모델의 약 3분의 1 수준으로 제시됐다. 다만 이 수치들은 프로젝트 측이 공개한 결과이며, 실제 성능은 하드웨어, 입력 영상, 평가 설정에 따라 달라질 수 있다.

의미와 한계

스트리밍 3D 재구성의 핵심 문제는 전체 정합성을 유지하기 위해 과거 정보를 활용해야 하지만, 정보가 많아질수록 계산과 메모리 부담도 커진다는 점이다. ABot-Recon은 더 많은 정보를 기억하는 대신 각 단계의 예측 범위를 국소화하고, 온라인 조합과 보정을 통해 장거리 궤적을 유지하려는 접근을 취한다. 이 방식이 다양한 환경에서 일반화된다면 긴 영상 재구성을 대규모 메모리에 덜 의존하도록 만들 가능성이 있다.

활용 분야로는 창고, 캠퍼스, 쇼핑몰 같은 사적 공간의 지도 갱신, 위치 신호가 약한 환경에서의 장면 인식, 체화형 AI, 자율주행, 3D 콘텐츠 제작 등이 거론된다. 그러나 가림 현상, 빠른 카메라 움직임, 텍스처가 부족한 표면, 장기 루프 정합성은 여전히 검증이 필요한 과제다. 공개 벤치마크 결과만으로 모든 실제 환경에서 동일한 성능을 보장한다고 보기는 어렵다.

ABot-Recon은 GitHub에서 추론·평가 코드와 가중치를 공개했으며, 모델스코프에서는 체험 공간을 제공한다. 개발자는 다양한 GPU와 영상 길이, 장면 조건에서 보고된 결과를 재현하고 실사용 가능성을 확인할 수 있다.

출처: 量子位