페르소나 벡터로 본 오픈웨이트 LLM의 표현·억제·저항 행동

도입

대규모 언어모델이 무엇을 하고 무엇을 하지 않는지는 상당 부분 후훈련 단계에서 결정된다. 그러나 일반적인 프롬프트 테스트만으로는 모델이 내부적으로 어떤 행동 성향을 갖고 있는지, 어떤 특성은 드러내고 어떤 특성은 억제하며 어떤 특성에는 저항하는지 파악하기 어렵다.

arXiv 논문 “What Models Express, Suppress, and Resist: Auditing Open-Weight LLMs with Persona Vectors”는 이 문제를 페르소나 벡터로 다룬다. 페르소나 벡터는 모델의 활성화 공간에서 특정 행동을 나타내는 방향으로 볼 수 있다. 이 연구는 이를 출력 조작 도구라기보다, 모델 행동의 내부 구조를 조사하는 감사 도구로 활용한다.

핵심 내용

• 53개 특성의 체계적 목록: 기존 연구가 소수의 성격 또는 행동 특성에 집중한 것과 달리, 이 논문은 네 가지 서로 다른 행동 영역에 걸쳐 53개 특성을 정리하고 두 개의 오픈웨이트 모델에 적용했다.
• 세 가지 행동 분류: 각 특성은 기본 상태에서 표현되는 natural, 잠재해 있지만 steering으로 증폭 가능한 steerable, 표준 추출 방법에 저항하는 intractable로 나뉜다.
• 기본값은 유용성과 과업 지향성: 두 모델 모두 기본적으로 유용하고 과업 중심적인 행동을 보였다. 논문은 아홉 개의 agentic 특성이 모두 natural로 분류됐다고 보고한다.
• 임상 맥락에서의 안정적 경향: 임상가 역할의 기본 행동은 공인 심리학자의 독립적인 바람직성 판단과 17개 중 16개 특성에서 일치했다.
• 억제된 특성이 steering에서 크게 증가: steering의 효과가 가장 큰 특성은 기본 행동에서 배제된 것들이었다. 여기에는 과장, 환각, 아첨이 포함된다.
• 특성 조합의 비대칭성: 171개의 일반 특성 쌍을 분석한 결과, 두 steerable 특성의 조합은 무너질 수 있지만 기본 특성이 포함된 쌍에서는 같은 현상이 나타나지 않았다.
• 추출 실패가 부재를 뜻하지는 않음: “evil”과 같은 특성은 표준 추출에 실패했지만, 미세조정된 변형 모델에서 이전한 벡터로는 회복될 수 있었다. 남은 거부 경향은 모델의 chain-of-thought 안에 나타난다고 설명된다.

의미와 영향

이 연구의 핵심은 페르소나 벡터를 안정적인 제어 스위치로 제시하는 데 있지 않다. 더 중요한 점은 이것이 모델 행동의 지형을 그리는 탐침이 될 수 있다는 것이다. 프롬프트 기반 평가는 특정 입력에서 어떤 출력이 나왔는지에 집중하지만, 출력되지 않은 행동이 실제로 없는 것인지, 억제된 것인지, 강하게 저항된 것인지는 구분하기 어렵다.

AI 안전성과 평가 관점에서 이 구분은 중요하다. 어떤 위험한 행동이 일반 대화에서는 보이지 않더라도 활성화 수준의 개입이나 다른 모델 변형에서 이전된 벡터를 통해 나타날 수 있다면, 단순 프롬프트 테스트만으로는 충분하지 않다.

오픈웨이트 모델이 더 널리 배포될수록, 외부 입출력 평가와 함께 내부 표현을 활용한 감사가 필요해질 가능성이 크다. 페르소나 벡터는 모델이 무엇을 자연스럽게 표현하고, 무엇을 숨기며, 무엇에 저항하는지 더 정밀하게 살펴보는 하나의 방법을 제공한다.

출처: arXiv