아티클 목록으로

언어 모델의 탐침과 조향은 왜 서로 다른 방향을 선호할까

약 3분 소요

언어 모델의 은닉 상태에서 특정 방향을 찾으면 개념이 표현돼 있는지 탐지할 수도 있고, 그 방향을 상태에 더해 모델의 행동을 유도할 수도 있다. 비슷한 벡터가 두 작업에 모두 쓰이기 때문에, 개념을 잘 읽어내는 방향이라면 원하는 행동도 잘 이끌 것이라고 생각하기 쉽다. 하지만 이 연구는 탐침과 조향이 서로 다른 최적 방향을 가질 수 있음을 보여준다.

연구진은 서로 다른 계열의 지시 튜닝 모델 세 개에서 진실성과 감성 개념을 살폈다. 공분산을 보정한 판별 방향부터 두 클래스의 평균 차이 방향까지 이어지는 방향군을 구성한 뒤, 개념 탐지 성능과 은닉 상태에 방향을 더하는 방식의 조향 효과를 비교했다. 조향 평가는 부작용 수준을 고정한 조건에서 이뤄졌다.

주요 결과는 세 가지다.

  • 모든 모델에서 탐침에 가장 적합한 방향은 조향에 가장 적합한 방향과 달랐다. 조향은 일관되게 평균 차이 방향에 더 가까운 방향을 선호했다. 개념을 잘 구별하는 것과 개입으로 상태를 바꾸는 것은 같은 최적화 목표가 아니라는 뜻이다.
  • 층별 분석에서 ‘층·모델·개념’ 조합 60개 중 59개에서 두 방향의 차이가 나타났다. 탐침과 조향에 동일한 텍스트를 사용한 여섯 개 모델·개념 조합에서도 차이는 유지됐고, 회전 기반 조향 연산자를 사용해도 결과는 같았다.
  • 조향의 정확한 최적점은 덜 안정적이었다. 감성 과제에서는 중간 지점의 방향이 평균 차이 방향보다 27~56% 더 강한 조향 효과를 낸 경우가 있었다. 그러나 텍스트를 맞추면 이 이점은 줄거나 사라졌고, 층과 연산자에 따라서도 달라졌다.

모델 간 전이에서도 비대칭성이 관찰됐다. 중립 텍스트로 학습한 선형 사상을 통해 탐침 방향을 옮겼을 때, 대상 모델에서 우연 수준을 넘는 탐침 성능의 81~91%가 유지됐다. 반면 평균 차이 방향을 전이한 경우에는 조향 효과가 그보다 적게 보존됐다. 제공된 자료의 해당 부분은 문장이 잘려 있어, 조향 효과가 얼마나 감소했는지는 구체적으로 단정할 수 없다.

실무적으로 중요한 점은 읽기 쉬운 특징이 곧바로 좋은 제어 수단이 되는 것은 아니라는 사실이다. 탐침은 정보를 추출할 수 있는지 묻지만, 조향은 부작용을 감수하면서 목표 행동을 실제로 유도할 수 있는지 묻는다. 층, 텍스트 선택, 조향 연산자에 따라 결과도 달라질 수 있다. 따라서 활성 벡터를 모델 편집이나 행동 분석에 활용할 때는 각 용도에 맞춰 성능을 따로 검증해야 한다.

Hugging Face Daily Papers

댓글

로그인 상태 확인 중…

댓글 불러오는 중…

관련 게시물