AI가 AI 심사자를 학습시키면 과학적 판단은 어떻게 무너지는가

들어가며

대규모 언어 모델은 과학 평가 과정에 빠르게 참여하고 있다. 모델이 논문 리뷰를 직접 작성할 수도 있고, 인간 심사자에게 논문 요약과 약점 분석, 점수 제안 등을 제공할 수도 있다. 그러나 모델이 만든 리뷰가 공개 데이터나 미래의 학습 코퍼스에 포함되면, 후속 모델은 논문과 인간의 판단뿐 아니라 이전 모델이 남긴 판단까지 학습하게 된다.

이런 순환이 반복되면 단순한 오류 전파를 넘어, 과학적 평가의 관점 자체가 좁아질 수 있다. Hugging Face Daily Papers에 소개된 연구는 이러한 피드백 고리의 한 단계를 통제된 환경에서 분석했다. 연구진은 그 결과를 ‘과학적 판단 붕괴’라는 현상으로 설명한다.

연구 방법

연구는 Llama 3.1 8B에서 출발했다. 먼저 2018~2023년 ICLR 공식 리뷰를 사용해 리뷰어 모델을 파인튜닝했다. 이후 ICLR 2024 데이터를 이용해 네 개의 후속 모델을 훈련하면서, 공식 리뷰와 모델 생성 리뷰가 학습 데이터에서 차지하는 비율을 체계적으로 바꿨다.

이 설계는 합성 감독 신호가 다음 세대 심사자의 행동에 미치는 영향을 분리해 살펴보기 위한 것이다. 연구진은 두 가지 특성을 중심으로 결과를 비교했다. 하나는 점수 분포가 특정 범위로 몰리는지 여부이고, 다른 하나는 의미적 다양성이다. 의미적 다양성은 한 논문에 대한 여러 리뷰 사이에서, 그리고 전체 리뷰 코퍼스 수준에서 각각 측정됐다.

핵심 결과

• 모델 생성 리뷰를 추가하면 점수 분포가 압축되어 판단이 서로 비슷한 범위에 모이는 경향이 나타났다.
• 동일한 논문에 대한 리뷰의 의미적 다양성이 낮아져, 서로 다른 리뷰가 비슷한 관점을 보일 가능성이 커졌다.
• 전체 코퍼스 차원에서도 의미적 다양성이 감소해 평가 패턴이 단조로워질 수 있음을 보였다.
• 문제는 문장 표현의 반복에만 있지 않다. 논문의 약점을 발견하고 해석하는 관점의 폭이 줄어들 수 있다는 점이 핵심이다.

연구진은 이러한 패턴을 ‘과학적 판단 붕괴’라고 명명했다. 다만 이는 통제된 실험에서 확인된 구체적 위험을 가리키는 개념이다. 모든 AI 생성 리뷰가 반드시 같은 결과를 낳는다는 뜻도 아니며, 자동 심사가 인간 동료평가를 대체할 수 있다는 결론도 아니다.

TrustReviewer의 대응 방식

연구진은 이 문제를 완화하기 위해 오픈소스 LLM 기반 시스템인 TrustReviewer를 제안했다. 개입 지점은 학습 단계와 테스트 단계로 나뉜다.

학습 단계에서는 저품질 리뷰와 의미적으로 퇴화한 감독 신호가 모델에 들어가는 것을 줄이기 위해 선별된 코퍼스로 핵심 리뷰어를 단일 단계 학습한다. 단순히 리뷰 데이터를 늘리는 대신, 모델이 어떤 종류의 판단을 학습하는지 관리하려는 접근이다.

테스트 단계에서는 쌍별 활성화 조향을 사용해 붕괴된 판단으로 향하는 잔여 경향을 줄인다. 이 방법은 추가 학습이나 새로운 전문가 주석을 요구하지 않는다. 즉, 데이터의 품질을 관리하는 사전 예방과 모델 사용 시점의 보정을 결합해 문제에 대응한다.

의미와 영향

이 연구는 AI 과학 평가의 품질을 기준 점수와의 일치도만으로 판단해서는 안 된다는 점을 보여준다. 좋은 심사자는 다양한 약점을 찾아내고, 여러 해석을 제시하며, 증거가 부족할 때 불확실성을 드러낼 수 있어야 한다.

모델이 이전 모델의 판단을 계속 학습하면 평가가 더 안정적으로 보일 수 있지만, 동시에 이견과 독립적 문제 제기를 잃을 수 있다. 따라서 향후 AI 보조 심사 시스템은 학습 데이터의 출처를 추적하고, 인간 리뷰와 모델 생성 리뷰를 구분해야 한다. 점수 분포와 함께 의미적 다양성도 지속적으로 점검할 필요가 있다.

TrustReviewer가 모든 재귀 학습 문제를 해결하는 것은 아니지만, 이번 연구는 막연했던 우려를 측정 가능한 현상으로 바꾸고 구체적인 개입 방향을 제시했다. 기계가 과학을 평가하고, 다시 그 평가를 기계가 학습하는 시대에는 판단의 다양성을 어떻게 보존할지가 중요한 설계 과제가 된다.

출처: Hugging Face Daily Papers