LLM 설문 응답은 그럴듯해도 심리측정학적으로 타당하지 않을 수 있다

들어가며

대규모 언어 모델을 설문조사의 ‘합성 응답자’로 활용하려는 시도가 늘고 있다. 시장조사와 제품 연구, 사회과학 실험에서는 실제 표본을 보완하거나 초기 가설을 검토하는 수단으로 LLM을 고려한다. 하지만 기존 평가는 주로 한 가지에 집중했다. 모델의 답변이 사람처럼 들리는가라는 질문이다. 《Plausible but Not Valid: A Psychometric Audit of LLMs as Synthetic Survey Respondents》는 이 기준만으로는 부족하다고 지적한다. 핵심은 답변이 실제 인간 집단의 통계적·심리측정학적 구조를 보존하는지 여부다.

평가 방법

연구진은 리투아니아 조직심리학 데이터를 사용했다. 데이터에는 직원 263명이 포함됐으며, 조직 변화에 대한 태도, 업무 몰입, 개인 업무수행 등을 다루는 68개 문항과 12개 하위척도가 있었다. 평가 대상은 OpenAI, Anthropic, Google의 모델과 12개 오픈웨이트 계열을 포함한 총 37개 모델이다.

실험은 단일 프롬프트에 의존하지 않았다. 응답자 페르소나 정보를 다섯 단계로 다르게 공개했고, 문항 제시 방식과 추론 노력의 차이도 비교했다. 성별, 직무, 학력 같은 인구통계 속성을 반사실적으로 바꾸는 실험, 교차언어 점검, 축어적 기억 회수 프로브도 포함했다. 이를 통해 모델의 반응이 실제 심리적 구조를 반영하는지, 또는 정보 제시와 기억에 의존하는지 살폈다.

핵심 지표는 Psychometric Similarity Score, 즉 PSS다. 이 지표는 개별 답변이 자연스러운지를 보는 대신 응답의 결합분포, 잠재구조, 신뢰도, 매개 경로, 인구통계학적 효과를 평가한다. 연구진은 다섯 가지 비LLM 통계 기준선과 보류된 인간 대 인간 비교의 상한을 함께 사용했다. 응답자 부트스트랩 신뢰구간과 Tucker의 phi에 대한 문항 순열 귀무분포도 적용해 비교의 불확실성을 점검했다.

핵심 결과

• LLM은 인간 심리측정 관계가 보이는 전반적인 방향을 재현했다. 그러나 방향성이 맞는다는 사실만으로 전체 구조의 타당성이 확보되지는 않았다.
• 표본 기반 PSS 구성요소에서는 가우시안 코퓰라 기준선이 모든 LLM을 앞섰다. 복잡한 인물 역할극보다 단순한 통계 모델이 집단 분포를 더 잘 보존할 수 있다는 의미다.
• LLM 간 평균 상호 PSS는 0.73으로, 모델들은 인간보다 서로 더 유사했다. 여러 모델이 같은 답을 낸다고 해서 그 답이 현실의 인간 집단을 더 잘 반영한다고 볼 수 없다.
• 반사실적 인구통계 교체에서는 학력과 관련된 효과가 두드러졌고, 평균 절대 효과크기는 0.56이었다. 모델이 특정 속성에 체계적으로 반응한다는 점은 보여주지만, 현실의 사회적 원인을 재현했다는 뜻은 아니다.
• 축어적 기억 회수와 PSS 순위의 상관은 0.00이었다. 기억 재생이 모델 순위를 좌우했다는 근거는 확인되지 않았다.

의미와 영향

이번 연구의 가장 큰 기여는 합성 응답자 평가의 기준을 표면적 개연성에서 집단 수준의 타당성으로 옮긴 데 있다. 답변이 유창하고 개인 프로필로서 설득력 있어도, 척도의 신뢰도나 변수 간 상관, 잠재요인 구조가 실제 데이터와 다르면 연구용 표본으로 사용하기 어렵다. 평균이나 몇 개의 대표 답변이 비슷하다는 사실도 충분한 검증이 아니다.

이 연구가 LLM을 설문 연구에 전혀 사용할 수 없다고 결론내린 것은 아니다. 다만 통계 기준선, 인간 데이터의 상한, 반사실적 테스트를 함께 사용하고 어떤 심리측정 특성이 보존됐는지 분리해 보고해야 한다는 점을 보여준다. 모델 간 일치도 역시 신뢰성의 대리 지표로 바로 사용할 수 없다.

실무적으로는 연구 질문이 구성개념 간 관계, 하위집단 차이, 매개효과를 포함할 때 특히 엄격한 검증이 필요하다. ‘사람처럼 들리는 답변’과 ‘사람의 측정 결과처럼 작동하는 답변’은 서로 다른 주장이다.

출처: Hugging Face Daily Papers