모델의 사고 연쇄 제어를 좌우하는 첫 몇 개의 토큰

들어가며

사고 연쇄(CoT) 모니터링은 점점 강력해지는 AI 에이전트를 감독하는 방법으로 주목받고 있다. 모델이 어떤 추론 과정을 말로 표현했는지 확인하면 목표를 따르는지, 바람직하지 않은 전략을 택했는지 점검할 수 있기 때문이다. 그러나 이 접근법에는 모델이 지시에 따라 자신의 추론 흔적을 조절할 수 있다는 전제가 필요하다. Hugh Van Deventer, Dmitrii Troitskii, Laura Ruis의 연구는 이러한 제어 가능성이 추론 시작 단계부터 제한될 수 있다고 설명한다.

핵심 내용

논문은 사고 태그 뒤에 생성되는 처음 몇 개의 토큰에서 나타나는 ‘엔트로피 붕괴’를 낮은 CoT 제어 가능성과 연결한다. 모델은 추론을 시작할 때 소수의 익숙한 표현을 강하게 선호한다. 이렇게 시작점이 고정되면 이후 지시에 맞춰 추론의 내용이나 형식을 바꾸기가 어려워질 수 있다.

연구진은 모델을 다시 학습하지 않고, 추론 과정에서 두 가지 개입을 적용했다.

• 프리필링: 생성이 시작되기 전에 첫 토큰을 미리 제공한다. 토큰 하나만으로도 제어 가능성이 크게 높아지는 경우가 관찰됐다.
• 빈번한 시작 토큰 제한: 자주 사용되는 도입 토큰을 금지하고 문맥 내 예시를 함께 제시한다. 평가한 모델들에서 평균 지시 이행률이 34~41%포인트 향상됐다.

다만 모든 제어 과제가 동일하게 개선된 것은 아니다. 정보를 추가하거나 변환하는 과제, 특정 스타일로 작성하는 과제는 비교적 일관된 개선을 보였다. 반면 특정 정보를 언급하지 않거나 제거해야 하는 ‘억제 제어’는 모델별 반응이 더 다양했다. 연구진은 이를 바탕으로 추가·스타일 제어와 억제 제어가 서로 다른 능력일 수 있다고 본다. 실제로 각 그룹 내부에서는 성능이 대체로 양의 상관을 보였지만, 두 그룹 사이의 상관은 대부분 음의 방향이었다.

의미와 한계

이번 결과는 CoT 평가에서 ‘지정된 방식으로 시작하지 못하는 문제’와 ‘이미 생성한 추론 내용을 바꾸지 못하는 문제’를 구분해야 한다는 점을 보여준다. 두 문제를 하나로 측정하면 모델의 일반적인 제어 능력을 잘못 판단할 수 있다.

제어 가능성과 모니터링 가능성의 관계도 평가 방식에 따라 달라졌다. 정보 추가와 스타일 제어는 모니터링 가능성과 양의 관계를 보이는 경우가 더 많았지만, 억제 제어에서는 음의 연관성이 나타나기도 했다. AI 안전 연구에서 첫 토큰은 단순한 형식 요소가 아니라 감독 실험에 활용할 수 있는 조정 지점이 될 수 있다. 다만 이번 연구는 특정 과제에서의 개선을 보여줄 뿐, 모든 사고 연쇄를 안정적으로 통제할 수 있음을 입증한 것은 아니다. 앞으로는 추가, 스타일, 억제 과제를 분리해 보고하는 평가가 필요하다.

출처: arXiv