학습 말뭉치에서 특정 내용을 제거하면 모델이 그와 관련된 능력을 배우지 못하게 할 수 있을까? 이 연구는 단정적인 답보다 신중한 해석을 제시한다. 특정 기술의 학습 신호를 제외하면 능력 형성을 늦출 수 있지만, 다른 데이터에서 모델이 발전하면서 빠진 부분을 어느 정도 보완할 가능성이 있다. 즉, 해당 데이터를 학습하지 않았다는 사실이 나중에도 그 능력을 배우지 못한다는 뜻은 아니다.
주요 발견
연구진은 체스, 오셀로, 분자 문자열, 괄호 언어, 웹 텍스트 등 다양한 과제에서 개별 기술의 학습 신호를 제외했다. 큰 모델에서 관찰된 기술 습득 지연은 작은 모델의 결과를 바탕으로 예측할 수 있었다고 보고했다. 이는 모델 규모를 키우면 지연이 반드시 사라지거나 반드시 유지된다는 의미는 아니다. 다만 모델의 전반적인 진전과 제외된 기술의 습득 시점 사이에 예측 가능한 관계가 있을 수 있음을 보여준다.
일부 모델은 직접적인 학습 목표가 없었는데도 관련 기술에 가까운 행동을 보였다. 예를 들어 체크에 대응하도록 명시적으로 학습되지 않은 체스 모델이 합법적인 대응 수를 순위화하는 능력에서 해당 기술을 학습한 모델과 거의 비슷했다. 이 결과만으로 모델이 그 기술을 완전히 습득했다고 볼 수는 없다. 하지만 다른 학습 과정이 직접 가르치지 않은 행동의 기반을 제공할 수 있음을 시사한다.
이후 제외했던 데이터를 제공하자 모델은 처음부터 학습하는 경우보다 훨씬 적은 데이터로 해당 기술을 익혔다. 나머지 데이터에서 모델이 더 발전해 있을수록 기술을 다시 습득하는 데 필요한 데이터의 비율도 낮아졌다. 비교를 위해 기존 지식과 무관하면서 난이도는 비슷한 규칙을 제시했을 때는 모델이 이를 훨씬 느리게 배웠다. 연구진은 더 큰 규모에서도 비슷한 양상을 보고했다. 학습 텍스트에서 특정 프로그래밍 언어를 제외했던 70억 매개변수 모델이 나중에 관련 데이터를 접한 뒤 그 능력을 회복했다는 것이다.
AI 안전에 주는 의미
이 결과는 능력 습득이 지연될 수 있다는 증거이지, 제외된 모든 기술이 결국 저절로 나타난다는 증명은 아니다. 제공된 자료에는 실험 방법과 세부 결과가 모두 담겨 있지 않으므로, 모든 모델과 과제에 적용되는 법칙이라기보다 데이터 필터링의 한계를 보여주는 경고로 읽어야 한다.
개발자에게 데이터 제외가 쓸모없다는 뜻은 아니다. 특정 능력의 형성을 늦추거나 관련 사례에 직접 노출되는 일을 줄일 수 있다. 그러나 악용 방지가 목표라면 필터링만으로 확실한 경계를 세웠다고 보기 어려울 수 있다. 모델 규모와 학습 단계별로 관련 능력을 계속 평가하고, 다른 곳에서 배운 지식을 전이하거나 조합해 기술을 얻을 가능성도 살펴야 한다. 이 연구의 핵심 시사점은 데이터 선택이 능력 발달의 경로에는 영향을 주지만, 모델이 궁극적으로 배울 수 있는 범위를 혼자서 결정하지는 못할 수 있다는 것이다.
댓글
로그인 상태 확인 중…
댓글 불러오는 중…