해석 가능성은 성능의 비용일까? Steerling-8B가 제안하는 투명한 언어모델

도입

대형 언어모델의 해석 가능성은 대개 사후 작업으로 취급돼 왔다. 먼저 강력하지만 불투명한 모델을 학습시키고, 이후에 귀속 분석이나 프로빙 같은 방법으로 왜 그런 답을 냈는지 설명하려 한다. 기술 보고서 “Scaling Inherently Interpretable Language Models”는 이 순서를 바꾸자고 제안한다.

핵심 질문은 간단하다. 해석 가능성을 모델 학습 이후의 보조 도구가 아니라, 학습 목표와 함께 최적화되는 조건으로 넣으면 어떻게 될까? 저자들은 해석 가능성이 반드시 성능의 세금일 필요는 없으며, 처음부터 설계에 포함될 수 있다고 본다.

핵심 내용

• 사후 설명이 아닌 내재적 해석 가능성: 제안된 접근은 완성된 블랙박스를 역공학하는 대신, 학습 파이프라인 안에 해석 가능성 제약을 포함한다. 목표는 인간이 이해할 수 있는 개념과 더 잘 연결되는 내부 표현을 만드는 것이다.
• 스케일이 투명성을 해치지 않을 수 있음: 보고서는 세 자릿수 범위의 계산 규모에 걸쳐, 자기회귀 언어모델과 확산 언어모델 모두에서 해석 가능성이 능력과 함께 스케일된다고 설명한다.
• 더 분리된 표현: 저자들은 모델 규모가 커질수록 표현이 더 disentangled 되고, 인간이 이해 가능한 개념과 더 잘 정렬된다고 주장한다.
• Steerling-8B 사례: 이 학습 레시피의 구현으로 Steerling-8B가 소개된다. 이는 causal attention mask를 사용하는 확산 언어모델이며, 생성된 토큰 묶음에 대해 관련 입력 토큰, 개념, 학습 데이터로의 귀속을 제공한다.
• 폐쇄 루프 개입: 문제가 있는 출력이 나오면 개념 또는 특징 귀속으로 원인을 진단하고, 유사한 학습 데이터를 검색한 뒤, 재학습 없이 개념 steering으로 행동을 수정하는 흐름을 제시한다.

의미와 영향

이 연구의 의미는 단순히 8B 규모 모델 하나를 소개하는 데 그치지 않는다. 더 중요한 점은 해석 가능성을 성능과 맞바꾸는 비용이 아니라, 함께 확장할 수 있는 설계 축으로 본다는 것이다.

보고서에 따르면 Steerling-8B는 약 2~16배 더 많은 계산량으로 학습된 공개 동급 모델들과 비교해도 경쟁력을 유지한다. 이 주장이 검증된다면, 투명성을 강화하는 설계가 곧바로 큰 성능 손실로 이어진다는 인식은 재검토될 수 있다.

물론 초록 수준의 정보만으로는 귀속 방법의 신뢰성, 개념 steering의 한계, 더 큰 모델과 다양한 실제 작업으로의 확장성을 판단하기 어렵다. 그럼에도 이 방향은 중요하다. 더 안전하고 제어 가능한 AI를 만들기 위해서는 외부 평가 도구뿐 아니라, 학습 단계에서부터 관찰과 개입이 가능한 내부 구조를 설계하는 접근이 필요할 수 있다.

출처: Hugging Face Daily Papers