환각은 단순한 망각이 아니다: 압축이 사실 기억을 왜곡한다

들어가며

언어 모델이 사실 질문에 오답을 내놓으면 흔히 해당 정보를 학습하지 못했다고 해석합니다. 그러나 새로운 arXiv 논문은 이 설명만으로는 부족하다고 지적합니다. 모델이 사실을 접한 적이 있더라도 내부 메모리의 용량이 제한되어 있으면 정보를 근사적으로만 저장할 수 있습니다. 즉, 문제는 지식의 부재뿐 아니라 저장 과정에서 발생하는 손실에도 있습니다.

핵심 내용

• 오류를 두 가지로 분리: 논문은 N개의 질문과 K개의 답이 존재하는 비구조적 질의응답 과제를 다룹니다. 학습자는 M개의 사실을 관측한 뒤 이를 최대 B비트로 압축하고, 검색 없이 테스트 질문에 답합니다.
• 보지 못한 사실에는 추측의 한계가 존재: 테스트 질문이 관측된 사실에 포함되지 않으면 해당 답을 직접 알려주는 정보가 없습니다. 균등한 조건에서는 K개의 답 중 하나를 추측하는 데 따른 오류가 남습니다.
• 본 사실도 왜곡될 수 있음: 저장 공간이 한정되면 각 사실에 배정할 수 있는 정보량이 줄어듭니다. 그 결과 모델은 본 적 있는 사실도 정확한 답으로 보존하지 못할 수 있습니다. 논문은 균등 K진 정보원과 0-1 손실을 전제로 한 역률-왜곡 함수를 사용해 이 효과를 표현합니다.
• 하나의 하한으로 통합: 제안된 오류 하한은 관측된 사실의 압축 왜곡과 관측되지 않은 사실에 대한 무작위 추측 오류를 더한 형태입니다. 환각이라는 하나의 표현 아래 섞여 있던 서로 다른 실패 원인을 구분할 수 있습니다.
• 이론 기반 검증: 저자들은 이론에서 도출한 시뮬레이션과 현대 언어 모델을 대상으로 한 통제된 사실 주입 프로브를 제시합니다. 사실 부하와 유효 학습 메모리를 바꾸어 예측된 패턴을 살폈지만, 제공된 초록에는 모델별 상세 수치가 포함되어 있지 않습니다.

의미와 영향

커버리지와 압축을 구분하면 사실성 개선 방법도 다르게 보입니다. 사실이 저장되지 않았다면 학습 데이터 확대나 검색이 도움이 될 수 있습니다. 반대로 사실이 저장되어도 부정확하다면 단순히 지식을 더 넣는 것만으로는 충분하지 않습니다. 메모리 예산이 고정된 상황에서는 사실의 수가 늘어날수록 항목별 할당 정보량이 줄어들어, 이미 알고 있던 내용의 왜곡이 커질 가능성도 있습니다.

이 관점은 시스템 설계에 중요한 질문을 던집니다. 모델은 모든 사실을 똑같이 저장하기보다 중요도에 따라 선택적으로 기억해야 할까요? 긴 컨텍스트는 실제 사용 가능한 기억을 늘리는 것일까요, 아니면 압축 부담을 추론 단계로 미루는 것일까요? 검색은 내부 메모리의 한계를 외부 접근 문제로 바꿀 수 있을까요? 불확실한 상황에서는 그럴듯하지만 왜곡된 답을 내놓기보다 답변을 거부하는 편이 더 안전할까요?

다만 이 연구의 과제는 의도적으로 단순화되어 있습니다. 실제 언어 모델은 의미 구조, 파라미터 공유, 컨텍스트, 외부 도구를 활용합니다. 따라서 제시된 하한을 현실의 모든 모델에 그대로 적용할 수는 없습니다. 이 논문의 핵심 기여는 환각 전체를 설명하는 데 있지 않습니다. 모델이 사실을 전혀 저장하지 못해서가 아니라, 제한된 메모리 때문에 본 사실을 정확히 재현하지 못해서도 환각이 발생할 수 있다는 분석 축을 제시했다는 데 있습니다.

출처: arXiv