네이티브 멀티모달 사전학습에도 스케일링 법칙이 보인다

도입

멀티모달 대형 모델을 만드는 방식은 크게 두 가지로 볼 수 있다. 하나는 텍스트 기반 LLM에 시각 인코더나 연결 모듈을 나중에 붙이는 방식이고, 다른 하나는 사전학습 단계부터 텍스트와 이미지 입력을 함께 학습하는 방식이다. 이 논문이 다루는 것은 후자, 즉 네이티브 멀티모달 사전학습이다. 연구의 질문은 명확하다. 연산 예산이 고정되어 있을 때, 비전-언어 Transformer의 모델 크기, 학습 token 수, 데이터 혼합 비율을 어떻게 정해야 가장 효율적인가?

핵심 내용

• 네이티브 멀티모달 학습의 필요성: 논문은 텍스트만으로 사전학습한 LLM이 물리 세계와 시각 정보를 인식하는 데 한계를 가진다고 본다. 처음부터 여러 모달리티를 함께 학습하면 더 깊은 교차 모달 통합이 가능하고, 후반 결합 구조에서 나타날 수 있는 최적화 불균형도 줄일 수 있다.

• 예측 가능한 compute law: 연구진은 최소 목적 손실이 예측 가능한 compute law를 따른다고 보고한다. 또한 연산 효율 측면에서 최적인 모델 크기와 token 수가 거듭제곱 법칙으로 스케일링된다는 점을 보인다. 이는 네이티브 멀티모달 학습도 단순한 시행착오가 아니라 체계적인 계획의 대상이 될 수 있음을 의미한다.

• 언어 목표와 멀티모달 목표의 차이: 중요한 발견은 언어 학습의 자원 배분 법칙이 데이터 구성에 비교적 둔감하다는 점이다. 멀티모달 데이터 비율이 바뀌어도 언어 목표의 스케일링 행동은 상당히 안정적이다. 반면 멀티모달 목표는 데이터 혼합 비율에 크게 영향을 받는다.

• 텍스트 중심 데이터는 더 큰 모델을 요구: 논문에 따르면 텍스트 비중이 높은 데이터 혼합은 더 큰 모델 규모에서야 연산 효율적이 된다. 이 경우 최적 자원 배분은 더 큰 모델 용량 쪽으로 이동한다. 따라서 데이터 비율은 독립적으로 정할 문제가 아니라 모델 규모와 함께 설계해야 한다.

• 효율 프런티어 제시: 연구진은 데이터 구성이 compute law와 배분 지수에 미치는 영향을 모델링해, 모델 크기, token 수, 데이터 혼합의 적절한 조합을 설명하는 효율 프런티어를 도출한다.

의미와 영향

이 연구의 의미는 특정 모델 하나를 발표하는 데 있지 않다. 더 중요한 점은 네이티브 멀티모달 모델의 확장을 예측 가능한 문제로 바꾸려 한다는 것이다. 대형 모델 개발에서 연산 자원은 항상 제한적이며, 모델 크기나 데이터 구성을 잘못 선택하면 큰 비용을 낭비할 수 있다. 이번 결과는 멀티모달 스케일링을 순수 언어 모델의 경험만으로 설명하기 어렵다는 점을 보여준다.

또한 하위 평가에서는 네이티브 멀티모달 사전학습이 긍정적인 교차 모달 전이를 유도할 수 있다고 보고한다. 예를 들어 순수 텍스트 공간 추론을 강화하고, 멀티모달 in-context learning의 견고성을 높이는 방향이다. 제공된 자료에는 구체적인 수치가 포함되어 있지 않지만, 앞으로의 멀티모달 기반 모델 훈련에서는 연산량, 데이터 구성, 모델 용량의 관계를 정교하게 설계하는 일이 더욱 중요해질 것이다.

출처: Hugging Face Daily Papers