BlenderWorld, 시각 에이전트의 실제 3D 제작 능력을 평가하다

들어가며

그럴듯한 이미지를 만드는 것과 실제로 사용할 수 있는 3D 프로젝트를 납품하는 것은 전혀 다른 문제입니다. 3D 제작 에이전트는 참고 자료에서 형태, 재질, 크기, 조명, 공간적 관계를 추론하고 Blender를 조작한 뒤, 결과를 확인하며 수정해야 합니다. BlenderWorld는 한 장의 보기 좋은 렌더링보다 이러한 전체 작업 과정을 평가하기 위해 만들어졌습니다.

완성된 Blender 프로젝트를 평가

BlenderWorld는 9개 분야와 22개 하위 범주에 걸친 223개 작업을 포함합니다. 대상은 건축, 제품 디자인, 자연환경, 캐릭터 애니메이션, 과학 시각화 등입니다. 입력도 텍스트에 한정되지 않고 이미지, 동영상, 구조화된 사양 파일까지 포함합니다. 실제 제작 과정에서 여러 종류의 참고 자료를 함께 사용하는 상황을 반영한 구성입니다.

제출물은 단순한 이미지가 아니라 완전하고 편집 가능한 Blender 프로젝트여야 합니다. 연구팀은 기하학, 공간 배치, 재질, 기능성 등 13개 측면에 대해 2,651개의 작업별 이진 기준을 마련했습니다. 프로젝트는 자동으로 선택된 8개 핵심 시점에서 렌더링되며, 시각언어모델이 결과 이미지를 평가합니다. 동시에 별도의 에이전트 평가기가 프로젝트 내부 구조를 확인합니다. 사실성, 물리적 타당성 등을 포함한 8개 항목에서는 전체적인 시각 품질도 평가됩니다.

이 방식은 이미지 중심 평가의 약점을 보완합니다. 한 시점에서는 자연스럽게 보여도 다른 각도에서는 표면 누락, 잘못된 비율, 객체 간 교차, 편집하기 어려운 구조가 드러날 수 있습니다. 여러 시점의 렌더링은 이런 불일치를 확인하게 하고, 실제 프로젝트 파일을 검사하면 우연히 비슷하게 보이는 결과와 제대로 구축된 장면을 구분할 수 있습니다.

큰 틀의 이해와 세부 실행 사이의 간극

13개 최신 모델을 비교한 결과, GPT-6-Astra가 79.9점으로 가장 높은 융합 점수를 기록했고 Opus-5가 73.0점, GPT-5.6-Sol이 67.7점으로 뒤를 이었습니다. 그러나 더 중요한 결과는 최고 성능 모델조차 모든 세부 기준을 충족한 작업이 42.2%에 불과했다는 점입니다.

모델은 주제와 대략적인 구성을 파악할 수 있지만, 정확한 위치, 비율, 연결 관계, 기능적 관계를 지속적으로 유지하는 데 어려움을 겪습니다. 이미지나 동영상을 참고할 때도 표면적 외관은 따라 하면서 보이지 않는 구조나 사용 목적은 제대로 복원하지 못할 수 있습니다. 초기 모델링에서 생긴 작은 오류가 후속 편집 과정에서 커지는 문제도 발생할 수 있습니다.

연구와 제작에 미치는 의미

BlenderWorld의 가치는 단순한 순위표에 있지 않습니다. 세부 기준을 통해 실패가 형태, 재질, 배치, 기능성 중 어디에서 비롯됐는지 분석할 수 있습니다. 다중 시점과 프로젝트 구조 검사를 함께 사용함으로써 전문적인 제작 업무에 더 가까운 평가도 가능해집니다.

앞으로는 시각 인식 능력만 높이는 것보다 안정적인 도구 사용, 장면 상태 기억, 기하학적 제약 추론, 렌더링 결과에 기반한 반복 수정이 중요해질 것입니다. 현재의 모델은 초기 블록아웃, 장면의 초안 구성, 일부 수정에는 유용하지만, 크기와 구조, 편집 가능성에 대해서는 여전히 사람의 검수가 필요합니다. 공개된 코드와 데이터, 브라우저에서 결과를 비교할 수 있는 3D 갤러리는 후속 연구와 모델 간 비교를 위한 기반도 제공합니다.

Hugging Face Daily Papers