RoTA-Bench, 비전언어 모델의 3D 추론과 정밀 제어 한계 공개

들어가며

이미지를 인식하는 능력과 이미지를 바탕으로 정확한 행동을 선택하는 능력은 다르다. RoTA-Bench는 이 차이를 측정한다. 모델이 2D 관찰에서 충분한 3D 이해를 만들고, 회전이 화면에 미칠 영향을 예측하며, 새로운 시각 피드백을 이용해 행동을 수정할 수 있는지가 핵심이다.

과제 구성

각 과제에서 모델은 목표 실루엣과 회전된 상태의 3D 물체를 본다. 제한된 행동 횟수 안에서 여러 번 회전을 선택해 물체의 2D 투영을 목표에 맞춰야 한다. 행동이 끝날 때마다 새로운 관찰이 주어지므로, 단순한 이미지 비교만으로는 충분하지 않다. 상태 추적, 행동 계획, 오차 수정까지 함께 요구된다.

연구진은 2D 아이콘에서 실루엣을 보존하는 3D 물체를 자동으로 만들었다. 또한 되돌릴 수 있는 초기화를 사용해 생성된 과제가 원칙적으로 해결 가능하도록 했다. 전체 벤치마크는 674개 과제로 구성되며, 형태와 난이도의 편향을 줄이기 위해 층화 추출한 100개 테스트 세트도 제공한다.

주요 결과

• 인간과 모델의 격차가 뚜렷하다. GPT-5.6-Sol은 과제의 17%만 성공했다. 반면 20명의 학부생은 테스트 세트를 네 차례 공동 수행해 100% 성공률을 보였다.
• 화면상의 유사도가 좋아져도 실제 자세가 맞는 것은 아니다. 동일한 상태를 비교했을 때, 모델이 실루엣 겹침은 개선하면서 자세 정렬은 악화한 비율이 19.4%로, 인간의 10.9%보다 높았다.
• 정밀 제어에는 상호작용 기록이 중요하다. 기록을 제거하자 모델 행동의 96.8%가 30도 단위의 거친 회전으로 쏠렸고, 과제 성공률도 크게 떨어졌다.

의미와 한계

이 결과는 현재의 비전언어 모델이 이미지를 비교하는 데는 능숙할 수 있지만, 물체의 기하 구조와 방향, 행동의 결과를 안정적으로 표현한다고 보기는 어렵다는 점을 보여준다. 목표 이미지와 더 비슷해지는 움직임이 실제 3D 자세를 정답에서 멀어지게 할 수도 있다. 따라서 정적인 이미지 유사도만으로는 공간 지능을 충분히 평가하기 어렵다.

RoTA-Bench의 중요한 점은 지각, 기억, 계획, 제어를 하나의 피드백 과정에서 평가한다는 데 있다. 로봇과 체화형 에이전트를 검증하려면 인식과 질의응답뿐 아니라 제한된 행동 예산, 중간 관찰, 정밀한 조작을 함께 고려해야 한다. 다만 이 벤치마크는 2D 아이콘에서 만든 통제된 물체를 중심으로 하므로, 복잡한 자연 장면에도 같은 결과가 나타나는지는 추가 검증이 필요하다.

출처: Hugging Face Daily Papers