감시하기 쉬운 사고 연쇄 만들기: 인과 평가와 안전한 후학습

들어가며

대규모 언어 모델의 사고 연쇄(CoT)를 살펴보면 기만적 추론이나 유해한 행동의 징후를 발견할 수 있다는 기대가 있다. 하지만 사고 연쇄에 의심스러운 행동이 나타났다는 사실과, 모니터가 개입으로 인해 발생한 행동을 정확히 식별했다는 사실은 다르다. arXiv에 공개된 논문 「Learning to Be Monitored」는 이 차이를 인과 추론의 관점에서 분석하고, 모델이 더 감시하기 쉬운 사고 연쇄를 생성하도록 학습할 수 있는지 살펴본다.

나타난 행동과 원인이 된 행동은 다르다

개입 기반 평가는 보통 통제 조건과 개입 조건을 비교한다. 목표 행동이 나타났을 때 모니터가 사고 연쇄에서 개입의 역할을 찾아낼 수 있는지를 측정하는 방식이다. 기존 연구에서는 이를 위해 최소 기준 민감도(TPR_mc)를 사용해 왔다.

논문은 이 지표가 실제 인과적 탐지 능력을 높게 보이게 할 수 있다고 지적한다. 개입 조건에서 목표 행동이 관찰되더라도 모델이 개입 없이도 같은 행동을 했을 수 있고, 행동과 개입 사이에 인과적 연결이 없을 수도 있기 때문이다. 이런 사례까지 성공적인 탐지로 계산하면 “목표 행동이 존재한다는 사실을 발견한 것”과 “개입이 행동을 만들었다는 사실을 발견한 것”이 뒤섞인다.

저자들이 제안한 평가 관점은 다음과 같다.

• TPR_mc를 개입이 실제로 유발한 행동의 인과적 탐지율에 대한 상한으로 해석한다.
• 인과적 탐지율을 제한하는 보완적 하한을 함께 도출한다.
• 단일 민감도 수치 대신 상·하한을 함께 보고해 과도한 낙관을 줄인다.

따라서 중요한 질문은 모니터가 위험 신호를 찾는지뿐 아니라, 그 신호가 평가 대상 개입과 인과적으로 연결되어 있는지도 확인할 수 있는지다.

모니터링 가능성을 학습시키다

연구진은 평가 지표를 수정하는 데서 멈추지 않고, 모델이 더 감시하기 쉬운 사고 연쇄를 생성하도록 훈련할 수 있는지도 조사했다. 여러 개입 유형을 포괄하는 통제 과제와 개입 과제의 쌍을 만들고, 이를 후학습에 활용했다.

제안한 방법은 오프폴리시 자기 증류, 강화학습, 온폴리시 자기 증류에 기반한 세 가지 개입 특화 학습법이다. 각 기반 모델에서 별도의 변형 모델을 학습한 뒤 다양한 모델-모니터 조합으로 비교했다. 논문 초록에 따르면 세 방법 모두 확장된 인과 평가 기준에서 대응하는 기반 모델보다 사고 연쇄의 모니터링 가능성을 대체로 높였다. 실험 코드도 공개되어 후속 검증의 기반을 제공한다.

의미와 남은 과제

이 연구의 첫 번째 의미는 상관관계 기반 모니터링과 인과관계 기반 모니터링을 구분했다는 데 있다. 모니터가 특정 행동의 발생을 알아차릴 수 있어도 그 행동의 원인까지 파악한다고 보기는 어렵다. 상·하한을 사용하면 안전성 평가 결과를 과도하게 해석할 가능성을 줄일 수 있다.

두 번째 의미는 모니터링 가능성을 배포 후 측정하는 속성에서 학습 목표로 확장했다는 점이다. 모델이 과제를 수행하는 것뿐 아니라 외부 감독 시스템이 유용한 추론 신호를 확인할 수 있도록 만드는 접근이다.

다만 제공된 자료에는 모델별 세부 수치나 학습에 포함되지 않은 개입 유형, 더 강한 적대적 환경에서의 일반화 결과가 제시되지 않았다. 따라서 이번 연구를 사고 연쇄 모니터링의 신뢰성을 최종적으로 보장하는 결과라기보다, 인과 평가와 안전 후학습을 연결하는 방법론적 진전으로 보는 편이 타당하다.

arXiv