비전-언어 모델은 무관한 숫자를 통해 숨은 선호를 전달할 수 있다

서론

교사 모델이 기하학 도형 작업에 필요한 숫자만 출력해도 학생 모델이 교사의 숨은 선호를 학습할 수 있을까요? 이번 연구는 비전-언어 모델(VLM)에서 나타나는 ‘잠재 학습(subliminal learning)’ 현상을 이 질문을 통해 살펴봤습니다. 잠재 학습은 특정 선호와 직접 관련이 없어 보이는 학습 데이터를 통해 교사의 숨은 행동 성향이 학생에게 전달되는 현상입니다.

핵심 내용

• 연구진은 교사 VLM을 미세 조정해 특정 동물 또는 특정 얼굴 속성을 선호하도록 만들었습니다. 같은 기반 모델에서 통제용 교사도 구성했습니다.
• 두 교사 모델에는 기하학 도형을 다루는 시각 작업을 수행하게 하고 숫자를 출력하도록 했습니다. 이 작업은 동물이나 얼굴 선호를 직접 다루지 않습니다.
• 같은 기반 VLM에서 초기화한 두 학생 모델을 동일한 이미지로 학습시켰지만, 한쪽은 편향된 교사의 숫자 출력을, 다른 쪽은 통제 교사의 출력을 사용했습니다.
• 20억~70억 개 파라미터 규모의 여러 VLM에서 교사의 선호가 학생 모델에 나타났습니다. 동물 선호 실험에서는 목표 대상을 고르는 비율이 통제 그룹보다 최대 약 10%포인트 높았습니다.
• 전달된 것은 최종 선택만이 아니었습니다. 세 모델이 같은 이미지를 골랐을 때도 편향된 학생의 설명은 편향된 교사의 단어와 구문을 더 많이 공유했습니다.

의미와 영향

이번 결과는 잠재 학습이 텍스트 모델에만 국한되지 않고 멀티모달 모델에서도 발생할 수 있음을 보여줍니다. 교사 모델의 영향은 명시적인 라벨이나 지시문에만 담기는 것이 아닙니다. 숫자와 같은 중간 출력에도 교사가 학습한 선호와 표현 습관이 포함될 수 있습니다. 따라서 지식 증류 과정에서 교사의 출력을 행동적으로 중립적인 신호라고 가정하기는 어렵습니다.

효과의 크기는 목표 선호, 모델 종류, 숫자를 생성하는 방식에 따라 달라졌습니다. 학습 데이터가 많아질수록 전달이 강해지는 경우도 있었습니다. 이는 잠재 학습이 항상 같은 방식으로 발생하는 단일 현상이 아니라, 조건과 재현성을 더 확인해야 하는 연구 주제임을 뜻합니다.

실무적으로는 학생 모델이 숫자 작업을 제대로 수행하는지만 평가해서는 부족합니다. 이미지 선택 성향과 설명 방식이 바뀌었는지 확인하기 위해 작업 간 행동 평가와 선호 감사가 필요합니다. 이 연구의 핵심 경고는 분명합니다. 과제 수준에서 무관해 보이는 데이터도 모델의 행동 수준에서는 완전히 무관하지 않을 수 있습니다.

출처: Hugging Face Daily Papers