LLMの調査回答は人間らしくても心理測定学的に妥当とは限らない

導入

大規模言語モデルをアンケートの「合成回答者」として使う発想は、市場調査や製品調査、社会科学の実験で注目されている。しかし、これまでの評価は「その回答が人間らしく見えるか」に偏りがちだった。論文『Plausible but Not Valid: A Psychometric Audit of LLMs as Synthetic Survey Respondents』は、評価すべき問いは別にあると指摘する。重要なのは、生成回答が実在する人々の統計的・心理測定学的な構造を保てるかどうかだ。

研究の設計

研究では、リトアニアの組織心理学データを利用した。対象は263人の従業員で、68項目、12の下位尺度からなる質問票を用いている。内容は、組織変革への態度、ワーク・エンゲージメント、個人の職務パフォーマンスなどを含む。評価対象はOpenAI、Anthropic、Googleのモデルに加え、12のオープンウェイト系統を含む37モデルだった。

実験では、回答者のペルソナ情報をどの程度提示するかを5段階で変えた。さらに、質問の提示方法や推論への投入量も比較した。性別、職務、学歴といった属性を反実仮想的に入れ替えるテスト、言語を変えた確認、そして逐語的な記憶想起プローブも実施し、結果が単なる記憶再生で説明できるかを調べた。

中心となる指標はPsychometric Similarity Score（PSS）である。個別回答の自然さではなく、回答の同時分布、潜在構造、信頼性、媒介経路、人口統計効果などを評価する。5種類の非LLM統計ベースラインと、人間データ同士の比較による上限も基準にした。回答者ブートストラップによる信頼区間や、Tuckerのphiに対する項目置換の帰無分布も利用している。

主な結果

• LLMは、人間の心理測定上の関係が示す大まかな方向を再現した。ただし、方向が一致しても、データ全体の構造が妥当だとは限らない。
• サンプル依存のPSS構成要素では、ガウス・コピュラのベースラインが全LLMを上回った。複雑なペルソナ生成より、単純な統計モデルの方が集団構造を捉えられる場合がある。
• LLM間の平均相互PSSは0.73で、LLMは人間よりも互いに似ていた。モデル同士の一致を、そのまま現実性の証拠とみなすことはできない。
• 反実仮想的な属性交換では、学歴に関連する効果が目立ち、平均絶対効果量は0.56だった。これは属性が出力を体系的に変えることを示すが、現実の社会的メカニズムを再現したことまでは意味しない。
• 逐語的な記憶想起とPSS順位の相関は0.00で、記憶がランキングを左右した証拠は得られなかった。

意義

この研究は、合成回答者の評価を「もっともらしさ」から「集団データとしての妥当性」へ移す。文章が自然で、個人像として説得力があっても、尺度の信頼性や変数間の相関、潜在因子の構造が崩れていれば、研究データとしては危うい。

LLMを調査に使えないと一律に結論づけたわけではない。むしろ、統計ベースライン、人間データの上限、反実仮想テストを併用し、どの心理測定特性が保持されたかを個別に検証すべきだと示している。人間らしく「聞こえる」回答と、人間と同じように「測定できる」回答は別物である。

出典：Hugging Face Daily Papers