SAEScientist-Bench, AI 에이전트의 자율적 해석 연구 능력 검증

서론

모델 학습 파이프라인을 자동화하는 것만으로는 신뢰할 수 있는 자율 AI 연구를 만들기 어렵다. 에이전트가 모델을 개선하려면 모델이 무엇을 학습했는지, 어떤 내부 특징이 목표 행동과 연결되는지, 개입이 실제로 의도한 결과를 냈는지를 확인해야 한다. SAEScientist-Bench는 이처럼 상대적으로 덜 측정돼 온 실험적 모델 이해 능력을 평가한다.

특징 탐색을 과학적 과제로 전환

희소 오토인코더(SAE)는 모델의 활성화를 다수의 비교적 희소한 특징으로 분해한다. 이를 활용하면 모델 내부 개념을 관찰하고 특정 특징을 조작해 행동 변화를 시험할 수 있다. 이 벤치마크에서 에이전트는 주어진 목표 개념에 맞는 대조 프로브를 설계하고, 13만 개가 넘는 Gemma Scope 특징 사전에서 적절한 후보를 찾아야 한다.

실험은 Gemma-2-9B-IT에서 진행됐으며, 결과는 Neuronpedia를 기반으로 정리된 전문가 참조 특징과 비교됐다. 평가 영역은 세 가지다.

• 특징 발견: 목표 개념과 관련된 특징을 찾는가
• 개념 선택성: 표면적 상관이 아니라 목표 텍스트와 대조 텍스트를 구분하는가
• 인과적 스티어링: 특징을 조작했을 때 생성 결과가 예상한 방향으로 바뀌는가

10개 에이전트 구성과 20개 과제의 결과는 능력이 고르게 발전하지 않았음을 보여준다. 최첨단 에이전트는 유망한 후보를 찾았고, 목표 개념과 대조 개념을 분리하는 능력에서는 전문가 수준에 가까워졌다. 그러나 생성 결과를 인과적으로 유도하는 과제에서는 격차가 컸다. 다시 말해 에이전트는 “어떤 특징이 관련 있어 보이는가”에는 비교적 잘 답하지만, “그 특징을 바꾸면 모델 행동도 안정적으로 바뀌는가”를 검증하는 데는 취약하다.

검색보다 어려운 것은 결과 해석

추가 분석은 에이전트가 실험을 전혀 수행하지 못하는 것은 아니라는 점도 보여준다. 대조 데이터를 설계해 피상적인 후보를 걸러낼 수 있기 때문이다. 하지만 활성화 순위, 선택성 측정값, 개입 이후의 생성 변화 등을 자주 잘못 해석했다. 문제는 단순히 특징 공간이 크다는 데 있지 않다. 실험 설계와 지표 해석, 인과 추론을 하나의 일관된 결론으로 연결하는 능력에도 있다.

의미와 영향

SAEScientist-Bench의 중요한 기여는 “AI가 모델 내부 메커니즘을 이해할 수 있는가”라는 넓은 질문을 반복 가능한 평가 과제로 구체화한 데 있다. 학습 자동화가 모델을 어떻게 바꿀지를 다룬다면, 기계적 해석은 무엇이 바뀌었고 왜 바뀌었는지를 확인한다. 이는 모델 모니터링과 안전성 감사에서 중요한 차이다.

동시에 이번 결과는 관련 특징을 찾는 것만으로 설명이 끝나지 않는다는 점을 보여준다. 향후 시스템은 상관관계와 인과관계를 더 엄격히 구분하고, 개입 결과를 자동으로 검증하며, 에이전트의 실험 결론을 재검토하는 절차를 갖춰야 한다.

출처: Hugging Face Daily Papers