SplatLab: 3DGS 연구를 자동화하는 AI 과학자

들어가며

기존 AI 연구 시스템은 논문을 읽고 가설을 제시하거나 코드 초안을 만드는 데 주로 집중했습니다. 하지만 실제 연구에서 시간이 많이 드는 단계는 그 이후입니다. 발표된 방법을 정확히 재현하고, 실험을 계속 실행하며, 실패한 아이디어를 기록하고, 논문 속 수치를 원래의 실험으로 되돌려 확인할 수 있어야 합니다. SplatLab은 빠르게 발전하는 3D Gaussian Splatting(3DGS) 분야에서 이 과정을 하나의 자율 파이프라인으로 묶으려는 시도입니다.

핵심 작동 방식

• 검증된 기준선에서 출발한다. 연구 프롬프트, 대상 논문 URL 또는 입력 없이 시작할 수 있습니다. 먼저 발표된 결과와 맞도록 기준선 재현용 백본을 만들고, 후보 방법은 완전히 새로운 코드를 생성하는 대신 이 백본의 플러그인을 변형합니다.
• 측정값으로 후보를 경쟁시킨다. 후보는 8개 아일랜드에 배치되고, 캐스케이드 가중 Elo 토너먼트에서 평가됩니다. 핵심 점수는 GPU에서 측정한 PSNR이며, 문자 형태의 그래디언트 피드백도 다음 탐색을 이끄는 데 사용됩니다.
• 실패를 평가에 반영한다. 상시 실행되는 반증기가 스트레스 테스트 실패 시 후보의 Elo를 차감합니다. 단 한 번 높은 점수를 얻은 방법보다 여러 테스트를 견딘 방법이 선택되도록 하려는 설계입니다.
• 주장과 실험을 연결한다. 생성된 원고의 모든 수치는 기록된 학습 실행과 연결되어야 합니다. 근거가 없는 주장이 남아 있으면 실행이 종료되지 않도록 해 자동 생성 연구의 추적성 문제를 다룹니다.
• 학습부터 작성까지 수행한다. Mip-NeRF 360과 LLFF에서 학습 및 절제 실험을 수행하고 원고도 생성합니다. 프로젝트 소개에 따르면 사람의 코드 수정 없이 16편의 원고를 엔드투엔드로 만들었으며, 한 번의 자율 실행에는 약 24~48시간이 걸립니다.

결과와 검토할 지점

PSNR을 목표로 한 실험에서 생성된 원고는 재현한 대상 방법보다 0.18~3.78 dB 높은 성능을 기록했다고 합니다. 가장 큰 3.78 dB 향상은 천체 사진의 성운 렌더링 실험에서 보고되었습니다. 다만 요약 정보만으로는 다른 데이터셋, 지표, 작업에 대한 일반화 여부를 판단할 수 없습니다. 공개 코드와 학습 로그, 기준선 구현의 충실도, 난수 통제, 전체 절제 결과를 함께 확인해야 합니다.

의미와 한계

SplatLab의 의미는 아이디어를 많이 생성하는 데만 있지 않습니다. 검증된 코드에서 후보를 만들고, 실제 측정값으로 경쟁시키며, 실패를 선택 과정에 반영하고, 논문 수치에 실험 근거를 요구함으로써 연구 과정을 감사 가능한 흐름으로 만들려는 데 있습니다. 이런 방식이 다른 컴퓨터비전 저장소로 확장된다면 연구 에이전트는 글쓰기 보조 도구를 넘어 실험 과정의 운영자로 발전할 수 있습니다.

그러나 자동 탐색이 곧 과학 법칙의 자동 발견을 뜻하지는 않습니다. 결과는 목표 지표, 탐색 가능한 플러그인 공간, 컴퓨팅 예산, 평가 설계에 의해 제한됩니다. PSNR 향상만으로 지각 품질, 효율성, 과학적 설명력의 개선까지 입증되는 것도 아닙니다. 현재 SplatLab은 연구자를 대체하는 블랙박스라기보다 재현성과 추적성을 강조하는 자동 연구 인프라로 이해하는 편이 적절합니다.

출처: Hugging Face Daily Papers