환각을 연속 구간으로 탐지하는 시계열 다중 신호 융합

들어가며

대규모 언어 모델의 환각은 항상 하나의 뚜렷하게 이상한 토큰으로 나타나지 않는다. 잘못된 주장이 여러 토큰에 걸쳐 이어질 수 있고, 생성 결과의 주변 문맥과 외부 근거를 함께 살펴야 문제를 확인할 수 있다. 이번 연구는 토큰을 서로 독립적으로 평가하고 단일 신호에 의존하는 기존 환각 탐지 방식의 한계를 겨냥한다.

독립 토큰에서 시퀀스 라벨링으로

연구진은 환각 탐지를 시퀀스 라벨링 문제로 재구성했다. 생성 텍스트의 각 토큰에 대해 33차원 특징 벡터를 만들고, 이를 크게 세 종류의 신호로 구성한다.

• 텍스트 통계: 생성된 문장에서 직접 관찰할 수 있는 언어적 패턴
• 자연어 추론（NLI）: 외부 근거가 생성 내용과 얼마나 함의 관계를 이루는지 나타내는 신호
• 언어 모델 서프라이절: 특정 토큰이나 짧은 구간이 얼마나 예측하기 어려운지를 나타내는 값

이 특징의 흐름을 양방향 게이트 순환 유닛（BiGRU）이 처리한다. 독립 로지스틱 회귀와 달리 BiGRU는 앞뒤 토큰의 정보를 함께 사용한다. 따라서 확신도가 높은 위치에서 얻은 단서가 주변의 애매한 위치로 전달될 수 있으며, 토큰을 하나씩 판정하는 대신 환각이 이어지는 구간을 더 일관되게 찾을 수 있다.

이 방식은 생성 모델의 은닉 상태나 로짓 등 내부 정보에 접근하지 않는다. 생성 텍스트와 외부 신호만 사용하므로 폐쇄형 모델을 대상으로도 적용할 여지가 있다.

실험이 보여준 것

RAGTruth에서 BiGRU는 10개 시드 기준 AUC 0.840을 기록했다. 독립 로지스틱 회귀 기준선보다 약 11포인트 향상됐으며, 논문은 Wilcoxon 부호순위 검정의 p값으로 0.002를 제시한다. 통제된 분해 실험에서는 성능 향상의 상당 부분이 단순한 모델 용량 증가가 아니라 토큰 순서와 시간적 관계를 활용한 데서 나온 것으로 분석됐다.

순환 모델, 상태공간 모델인 Mamba, 어텐션 기반 구조도 비교했지만 결과는 약 0.845 부근의 비슷한 상한에 접근했다. 이는 현재 설정에서 시퀀스 모델의 종류를 바꾸는 것보다 입력 특징의 품질을 개선하는 편이 더 중요할 수 있음을 의미한다.

의미와 주의점

이 연구의 핵심 관점은 환각을 서로 무관한 잘못된 토큰들의 집합이 아니라, 문맥 속에서 시간적으로 이어지는 사건으로 본다는 점이다. RAG 시스템의 답변 감사, 자동 품질 관리, 사람 검토를 위한 오류 구간 표시 등에 활용할 수 있는 방향이다.

또한 학습에서 보지 못한 언어 모델이 생성한 텍스트에서도 AUC 손실이 4% 미만이었다고 요약돼 있다. 다만 제공된 자료에는 상세한 데이터 분할, 전체 소거 실험, 다양한 분야에서의 검증 정보가 없다. 따라서 이 결과를 보편적인 탐지 성능으로 확대 해석해서는 안 된다. 실제 환경에서는 외부 근거의 품질과 NLI 모델의 편향도 함께 점검해야 한다.

출처: Hugging Face Daily Papers