SpatialBlock, 합성 블록 쌓기로 비전 언어 모델의 공간 지능을 훈련하다

들어가며

대규모 비전 언어 모델(LVLM)은 이미지에 무엇이 등장하는지 식별하고 설명하는 능력을 빠르게 발전시켰다. 그러나 장면의 내용을 말하는 것과 물체가 3차원 공간에서 어떻게 배치됐는지를 이해하는 것은 별개의 문제다. 가려진 물체의 관계, 상대적 위치, 관점의 변화, 여러 구조의 결합을 다루려면 2차원 이미지에서 보이지 않는 공간 정보를 추론해야 한다. 이것이 공간 지능의 핵심 과제다.

SpatialBlock은 이 문제를 복잡한 실제 장면에서 바로 해결하려 하지 않는다. 대신 규칙이 명확하고 조절하기 쉬운 블록 쌓기 문제를 통해 공간 추론의 기초를 먼저 학습시키는 접근을 취한다.

핵심 내용

• SpatialBlock-15k 데이터셋. 연구진은 15,000개의 합성 블록 쌓기 문제를 구축했다. 합성 환경은 문제를 체계적으로 생성하고 수정할 수 있어, 실제 이미지에 조밀한 기하 정보를 붙이는 데 드는 비용과 외부 인식 모듈에서 비롯되는 일부 잡음을 줄일 수 있다.
• 세 가지 공간 능력. 데이터셋은 3D 구조의 2D 투영, 시점 변환, 구조 결합을 다룬다. 이는 공간 배치와 이미지를 연결하고, 다른 각도에서 같은 구조를 이해하며, 여러 부분이 하나의 전체를 이루는 방식을 파악하는 능력이다.
• 색상을 공간 앵커로 활용. 통제된 색상 변화를 시각적 단서로 추가해 질문과 관련된 블록을 찾도록 유도한다. 비슷한 물체가 많은 장면에서 모델이 중요한 대상을 중심으로 추론하게 만드는 설계다.
• 두 가지 학습 방식 비교. 하나는 답을 바로 예측하고, 다른 하나는 추론 과정을 거친 뒤 답을 내놓는다. 이를 통해 과제 자체의 효과와 명시적인 추론 형식의 차이를 함께 살펴볼 수 있다.
• 실제 장면으로의 전이. 논문은 두 학습 방식 모두 실제 장면 공간 벤치마크에서 기준선보다 좋은 결과를 보였다고 보고한다. 중요한 점은 블록을 외우는 것이 아니라, 단순화된 문제에서 배운 공간 관계가 다른 시각 환경에서도 활용되는지다.

의미와 한계

공간 이해는 시각 인식과 행동을 연결하는 기반 기술이다. 로봇은 물체를 어디에 놓을 수 있는지, 어떤 대상을 집을 수 있는지 판단해야 한다. 공간을 이해하는 보조 시스템 역시 물체의 이름뿐 아니라 서로 간의 위치와 관점 변화를 파악해야 한다. SpatialBlock은 처음부터 복잡한 현실 장면을 학습시키기보다, 기본적인 공간 변환을 구조화된 과제로 분리하는 방법이 가능하다는 점을 보여준다.

이 연구는 멀티모달 학습에서 데이터의 양만큼 과제 설계도 중요하다는 점을 시사한다. 합성 데이터는 어떤 요소를 바꾸고 무엇을 정답으로 삼을지 명확하게 통제할 수 있다. 색상 단서 역시 합성 데이터의 장점이 단순히 샘플 수를 늘리는 데 있지 않고, 모델의 주의를 특정 대상에 유도할 수 있다는 사실을 보여준다.

다만 블록 쌓기 환경은 실제 세계보다 훨씬 단순하다. 현실의 이미지는 복잡한 질감과 조명, 부분적인 가림, 크기 변화, 불규칙한 형태를 포함한다. 합성 문제에서 학습한 규칙이 이런 조건에서도 견고하게 작동한다고 단정할 수는 없다. 이번 결과는 유망한 훈련 방향을 제시하지만, 공간 지능이 해결됐다는 의미는 아니다. 앞으로는 구조의 복잡도를 높이고 색상 단서 의존성을 줄이며, 다양한 실제 장면과 과제에서 전이 성능을 더 면밀히 검증해야 한다.

출처: Hugging Face Daily Papers