ACT3D, 비전언어 모델에 3D 공간 능동 탐색을 가르치다

들어가며

비전언어 모델은 한 장의 이미지에 보이는 물체를 인식하는 데 강하지만, 가려진 대상이나 다른 방향에서 봐야 알 수 있는 상대적 위치를 판단하는 데는 한계가 있다. ACT3D는 이 문제를 정적인 이미지 이해가 아니라, 필요한 증거를 직접 찾아가는 과정으로 바꿔 접근한다.

이 연구의 핵심은 모델에 여러 시점의 이미지, 동영상, 완전한 3D 표현을 한꺼번에 입력하지 않는 것이다. 모델은 기존 VLM과 같은 단일 이미지 인터페이스를 유지한다. 3D 표현은 외부 환경으로 남고, 모델은 왼쪽으로 이동하는 등의 행동을 선택한다. 그러면 환경이 바뀐 시점에서 렌더링한 새 이미지를 제공한다.

핵심 방식

• 질문에 맞춘 탐색: 각 에피소드는 초기 1인칭 시점과 시각 질문으로 시작한다. 모델은 현재 화면만으로 답할 수 있는지, 추가 관찰이 필요한지 판단해야 한다.
• 추론과 행동의 반복: 모델은 생각하고 이동한 뒤 새 화면을 관찰한다. 필요하면 방향을 다시 조정하고, 충분한 증거가 모였을 때 최종 답을 낸다.
• 결과 중심 강화학습: 먼저 궤적에 대한 지도 미세조정을 진행하고, 이후 최종 답변이 맞았는지를 주요 보상으로 사용한다. 어떤 시점을 방문해야 하는지, 각 단계에서 어떤 행동을 해야 하는지는 직접 알려주지 않는다.
• 효율적인 정보 수집: 답변이 좋아졌는지를 신호로 삼아 가려진 목표를 찾고, 공간 비교에 필요한 보완적 시점을 얻으며, 불필요한 이동을 줄이는 전략을 학습한다.

실험 결과

6개 3D 벤치마크에서 ACT3D는 평균 53.2%의 정확도를 기록했다. 이는 기본 Qwen 모델보다 22.0% 높은 수치이며, 비교 대상으로 제시된 독점형 Gemini 3.6 Flash도 앞섰다. 기존 오픈소스 3D 방법보다 입력 프레임을 50~70% 적게 사용하면서도 더 나은 결과를 냈다는 점도 눈에 띈다. 단순히 더 긴 시각 입력을 제공하는 것보다, 필요한 시점을 선택하는 능력이 중요할 수 있음을 보여준다.

성능 향상은 탐색 난이도에 따라 달랐다. 초기 화면만으로 답할 수 있는 질문에서는 기본 모델 대비 개선폭이 0.6%에 그쳤지만, 광범위한 탐색이 필요한 질문에서는 16.3%까지 커졌다. 이는 모델이 무조건 많이 이동하는 것이 아니라, 질문과 현재 확보한 증거에 따라 탐색 여부를 조절한다는 의미다. 학습 중 보지 못한 영역에서도 지도 초기화 모델보다 평균 5.9% 개선됐다.

의미와 남은 과제

ACT3D는 3D 이해를 모든 시점을 미리 제공받는 문제에서, 행동을 통해 필요한 정보를 수집하는 문제로 재정의한다. 이러한 관점은 내비게이션 에이전트와 로봇처럼 지각과 행동이 연결된 시스템에 특히 중요하다. 모델은 보이는 것을 해석하는 데서 그치지 않고, 다음에 무엇을 봐야 할지도 결정한다.

다만 최종 정답을 중심으로 한 보상은 긴 탐색 과정에서 희소한 학습 신호가 될 수 있다. 연속 제어, 실제 환경의 센서 잡음, 개방형 과제에서도 같은 전략이 안정적으로 작동하는지는 아직 확인이 필요하다. 그럼에도 이 연구는 강화학습이 VLM에 시각 증거의 해석뿐 아니라, 추가 증거를 언제 어떻게 확보할지까지 학습시킬 수 있음을 보여준다.

출처: Hugging Face Daily Papers