개인화 LLM은 사용자 프로필을 지어내는가

지속적 메모리를 갖춘 개인화 LLM이 빠르게 확산되고 있지만, 이 모델들이 사용자에 대해 말하는 내용이 얼마나 사실에 충실한지는 충분히 검증되지 않았다. 이 논문은 모델이 제한된 단서만 보고 사용자의 취향, 배경, 성향을 추론할 때, 어디까지가 합리적 추정이고 어디서부터가 근거 없는 지어내기인지 묻는다.

저자들은 이를 over-inference(OI, 과도한 추론)라고 정의하고, 이를 측정하기 위한 MirageBench를 만들었다. 벤치마크는 150개 페르소나로 구성되며, 고정관념적·반고정관념적·중립적 프로필을 균형 있게 포함한다. 여기에 상상력의 정도가 다른 6개 개인화 과제를 더했고, 독립 판정기를 이용해 143,616개의 주장에 대해 평가했다. 이 판정 체계는 블라인드 인간 주석과의 일치도 검증도 거쳤다.

핵심 결과

• 과도한 추론은 흔하다. 평가한 12개 모델 모두 OI를 보였고, 비율은 35%~49% 수준이었다.
• 과제에 따라 편차가 크다. OI는 과제별로 27%~59%까지 달라졌다.
• 대화가 길어질수록 누적된다. 멀티턴 파일럿에서는 추론된 속성이 거의 선형적으로 쌓였고, 이전 판단을 잘 수정하지 않았다.
• 자기 모니터링은 모델 비교에서 뒤집힌다. 모델이 스스로 보고한 OI와 외부 판정 OI 사이에는 음의 순위 상관이 나타났다. 즉, 가장 신중하다고 말한 모델이 오히려 더 많이 지어낸 것으로 판정될 수 있다.
• 하지만 완전히 무의미한 것은 아니다. 단일 모델 내부에서는 자신의 응답을 어느 정도 구분해내지만, 그 신호를 서로 다른 모델 비교에 쓰기는 어렵다.

왜 중요한가

이 결과는 개인화 AI에서 “모델이 스스로 조심한다고 말하는 것”이 신뢰의 근거가 될 수 없음을 보여준다. 사용자 메모리와 프로필 추론이 실제 제품에 들어가면, 잘못된 속성 추정은 추천, 응답 스타일, 장기 기억 전체에 영향을 줄 수 있다. 따라서 개인화 시스템은 모델 자체의 자기보고가 아니라, 외부에서 검증 가능한 절차를 갖춰야 한다.

요약하면, 개인화의 핵심은 더 많은 추측이 아니라 더 나은 검증이다.

Source: Hugging Face Daily Papers