Llama-Mobile, 2.7비트 양자화로 모바일 VLM 배포에 도전

들어가며

비전-언어 모델은 이미지와 텍스트를 함께 처리할 수 있지만, 모델 파라미터뿐 아니라 이미지 인코딩, 언어 생성, 활성값 저장에도 상당한 자원이 필요합니다. 메모리와 연산 능력이 제한된 스마트폰이나 태블릿에서 모델을 실행하려면 파일 크기만 줄이는 것이 아니라 목표 하드웨어에서 효율적으로 처리되는 표현을 마련해야 합니다. Llama-Mobile은 이 모바일 추론 문제를 겨냥한 프레임워크입니다.

핵심 내용

• 모델 자체로 양자화 데이터 생성: 양자화 과정에서 압축 대상 모델이 필요한 데이터를 직접 생성합니다. 원래의 학습 데이터, 코드, 전체 학습 설정에 접근할 필요가 없다는 점이 특징입니다. 따라서 이미 공개된 모델을 배포 단계에서 압축하는 상황과 잘 맞습니다.
• 2.7비트 파라미터 형식: 파라미터당 평균 약 2.7비트를 사용하는 새로운 표현 방식을 제시합니다. 단순히 압축률을 높이는 데 그치지 않고 Arm CPU에서 효율적으로 실행되는 것을 함께 고려했습니다.
• 대규모 VLM으로 검증: Llama 3.2 11B Vision Instruct에 방법을 적용했습니다. 8비트 활성값을 사용하는 조건에서 모델 용량은 3.7GB로 줄었고, 여러 표준 시각 질의응답 과제에서 강한 성능을 유지했다고 보고했습니다.
• 학습 정보 의존성 완화: 일부 양자화 방법은 원래 학습 과정이나 별도의 보정 데이터에 의존합니다. Llama-Mobile은 모델만 활용할 수 있는 현실적인 배포 환경을 염두에 둔 접근입니다.

의미와 한계

이 연구의 핵심은 저비트 양자화와 모바일 하드웨어 실행을 하나의 목표로 묶었다는 데 있습니다. 작은 모델 파일을 만드는 것과 실제 기기에서 빠르고 효율적으로 실행하는 것은 별개의 문제입니다. Arm CPU를 고려한 형식 설계는 저장 공간 감소뿐 아니라 압축 이후의 실행 경로까지 중요하게 본다는 점을 보여줍니다.

이 방식이 다른 비전-언어 모델과 모바일 칩에서도 재현된다면, 오프라인 이미지 질의응답, 온디바이스 비서, 개인정보 보호가 중요한 멀티모달 애플리케이션의 가능성이 커질 수 있습니다. 다만 현재 제공된 자료만으로는 대표 모델의 압축 크기와 표준 시각 질의응답 결과만 확인할 수 있습니다. 기기별 지연 시간, 전력 소비, 호환성, 다른 양자화 방식과의 종합 비교는 전체 논문과 실제 하드웨어 평가를 통해 추가로 검증해야 합니다.

출처: Hugging Face Daily Papers