2인 연구팀, 약 2만1000달러로 20억 파라미터 이미지 생성 모델 훈련

들어가며

텍스트-이미지 생성 모델을 훈련하려면 대규모 데이터와 고가의 가속기, 그리고 상당한 규모의 엔지니어링 조직이 필요하다는 인식이 일반적이다. 생성형 비디오 모델을 연구하는 2인 연구소 Linum은 이에 다른 접근을 보여주는 실험을 공개했다. Pyramid-JiT(P-JiT) 아키텍처를 기반으로 약 20억 파라미터의 텍스트-이미지 모델을 훈련했으며, 계산 비용은 약 2만1000달러라고 밝혔다. 가중치는 Apache 2.0으로 공개됐지만, 완성된 상용 제품보다는 차기 비디오 모델을 위한 검증 모델에 가깝다.

핵심 내용

• VAE를 제거한 픽셀 공간 확산: 일반적인 잠재 확산 모델은 VAE로 이미지를 먼저 압축한 뒤 잠재 공간에서 확산을 수행한다. P-JiT는 별도의 VAE를 사용하지 않고, 압축과 생성에 모두 적합한 표현을 확산 모델이 직접 학습하도록 설계했다.
• 더 강한 토큰 축소: 32×32 픽셀 패치를 사용해 512² 이미지를 기존 256² 설정과 비슷한 토큰 규모로 표현한다. Linum은 이를 통해 어텐션의 컨텍스트 윈도우를 약 4분의 1로 줄일 수 있다고 설명한다.
• 중간 계층의 보조 학습: 네트워크 중간 계층에서 저해상도 정답 이미지를 예측하고, PixelREPA를 통해 은닉 표현과 DINOv3-L 특징을 정렬한다. 초기 DiT 블록의 그래디언트 신호를 강화하려는 구성이다.
• 단계적 노이즈·해상도 학습: 초반에는 높은 노이즈에 집중해 전체 구조를 익힌 뒤 노이즈 분포를 넓혀 세부 묘사를 학습한다. 해상도 역시 512²에서 시작해 1024²로 전환한다.
• 비용 내역 공개: 발표 자료에는 H100 8139시간을 시간당 2.50달러로 계산한 내역이 담겼다. 512² 단계에서 약 6억1000만 샘플, 1024² 단계에서 약 5000만 샘플을 처리했으며, 사전 학습 비용은 약 2만348달러, 전체 비용은 약 2만1000달러다.

의미와 한계

이 발표의 핵심은 작은 연구소가 낮은 예산만으로 모든 최신 모델을 뛰어넘었다는 주장이 아니다. 압축과 생성을 반드시 별도의 모델로 나눠야 하는가라는 설계 문제를 다시 제기했다는 점에 있다. 재구성에 최적화된 VAE의 압축 성능에는 한계가 있을 수 있으며, 재구성 품질이 좋아진다고 해서 확산 생성 품질도 자동으로 개선되는 것은 아니다. P-JiT는 최종 생성 목표에 맞춰 표현을 학습하는 방향을 실험한다.

이 접근은 비디오 생성에서 더 큰 의미를 가질 수 있다. 프레임이 늘어나면 어텐션 컨텍스트와 메모리 부담도 함께 커진다. 더 적은 토큰으로 품질을 유지하고 적은 샘플로 수렴할 수 있다면, 반복적인 창작 작업을 위한 생성 도구의 비용과 응답 시간을 낮출 여지가 있다.

다만 이번 공개는 실험적인 이미지 모델이다. 훈련 비용과 샘플 갤러리만으로 상용 모델 수준의 품질, 프롬프트 이해, 편집 제어, 비디오 성능을 결론 내릴 수는 없다. Apache 2.0 가중치와 아키텍처 설명은 오픈소스 연구자들이 재현과 비교 실험을 시작할 수 있는 기반을 제공한다는 데 의미가 있다.

출처: Hacker News