3DCodeVerse: 코드로 편집 가능하고 검증 가능한 3D 세계 만들기

들어가며

생성형 AI의 적용 범위가 이미지와 영상에서 3D 객체와 장면으로 넓어지고 있습니다. 그러나 3D 콘텐츠는 최종 렌더링만 보고 품질을 판단하기 어렵습니다. 형상과 크기, 객체 사이의 위치 관계, 필요한 에셋, 실행 환경까지 모두 맞아야 실제로 활용할 수 있습니다. 3DCodeVerse는 이 문제를 코딩 에이전트가 실행 가능한 3D 프로그램을 작성하도록 하고, 생성된 프로그램을 자동으로 점검하고 수정하는 방식으로 다룹니다.

생태계의 구성

3DCodeVerse는 크게 세 요소로 구성됩니다.

• 3DCodeVerse-2M: 독립적으로 실행할 수 있는 3D 프로그램을 모은 대규모 큐레이션 데이터셋입니다. 오픈소스 자료, 전문적인 3D 표현을 변환한 결과, 코딩 에이전트가 새로 생성한 프로그램을 활용해 구축했습니다. 각 샘플에는 선언된 환경에서 실행하는 데 필요한 소스 파일과 에셋이 묶이며, 가능한 경우 설명과 검증 기록도 포함됩니다.
• 3DCodeVerse Harness: 3D 콘텐츠를 생성하고 개선하는 다중 에이전트 방향성 비순환 그래프 프레임워크입니다. 생성 과정마다 사람이 직접 확인하지 않아도 실행 검사, 공간 측정, 시각 피드백을 이용해 결과를 평가하고 다음 수정 단계를 결정합니다.
• 실증 연구와 가이드: 오픈 모델을 데이터셋으로 파인튜닝하고 Harness의 구성 요소별 효과를 분석해 3D 코딩에 적용할 수 있는 실용적인 지침을 제시합니다.

코드 기반 접근의 의미

기존 3D 생성 시스템은 완성된 모델이나 이미지의 외관에 초점을 맞추는 경우가 많습니다. 코드 중심 방식은 객체를 어떻게 구성하고 배치했는지를 프로그램으로 명시합니다. 따라서 정적 객체뿐 아니라 관절 구조를 가진 객체, 장면, 전체 공간, 애니메이션과 시간에 따른 움직임도 편집하고 재사용하고 디버깅할 수 있는 대상으로 바뀝니다.

하지만 코드 출력이 곧 정확성을 보장하는 것은 아닙니다. 언어 모델은 문법적으로 그럴듯한 코드를 만들면서도 좌표를 잘못 지정하거나, 크기 조건을 위반하거나, 필요한 에셋을 빠뜨리거나, 실행할 수 없는 환경을 가정할 수 있습니다. 단순한 텍스트 자기 검토만으로는 이런 오류를 안정적으로 잡기 어렵습니다. Harness는 이를 보완하기 위해 여러 피드백 경로를 사용합니다. 먼저 실행 검사를 통해 프로그램이 작동하는지 확인하고, 공간 측정으로 수치화 가능한 조건을 검증합니다. 이후 시각 피드백을 통해 규칙만으로 포착하기 어려운 외관상의 문제를 찾아 추가 수정으로 연결합니다.

결과와 영향

제공된 논문 요약에 따르면, 해당 데이터셋으로 파인튜닝한 결과 오픈소스 모델의 3D 코딩 능력이 크게 향상되었습니다. 또한 Claude Opus 5.5를 사용한 비교 조건에서 3DCodeVerse Harness가 Claude Design의 3D Object 구성과 인간 쌍대 평가를 진행해 90%의 승률을 기록했다고 보고합니다. 다만 이 수치는 논문에 제시된 특정 평가 조건의 결과이며, 모든 3D 작업에서 일반적으로 우월하다는 의미로 확대해석해서는 안 됩니다.

이 연구의 더 큰 의미는 데이터셋, 실행 환경, 자동 검증, 에이전트 협업을 하나의 파이프라인으로 연결했다는 데 있습니다. 이를 통해 실패 원인을 더 세밀하게 분석하고, 모델이나 평가 모듈의 개선 효과를 비교할 수 있습니다. 3D 생성은 단순히 결과물을 출력하는 작업에서, 실행하고 테스트하며 반복적으로 개선하는 소프트웨어 개발 과정에 가까워집니다.

향후에는 더 다양한 3D 도구와 실행 환경을 지원하고, 신뢰도 높은 공간 평가 기준을 마련하며, 에셋 의존성과 실행 비용을 줄이는 일이 중요합니다. 이러한 조건이 충족된다면 코드 생성은 3D 창작을 위한 범용 인터페이스로 발전할 가능성이 있습니다.

출처: Hugging Face Daily Papers