BenchMIRT: LLM 벤치마크는 실제로 무엇을 측정하나

들어가며

대규모 언어 모델 평가는 흔히 벤치마크의 종합 점수 하나로 요약됩니다. 점수가 높으면 모델이 더 강하거나 안전하다고 해석되기 쉽습니다. 그러나 개별 문항은 벤치마크가 내세운 능력 외에도 문맥 이해, 인물 관계 추적, 일반 추론, 지식 활용, 위험 요청에 대한 거부 판단 등을 동시에 요구할 수 있습니다. 모든 문항을 단순 평균하면 점수를 움직인 요인이 가려집니다.

Ai2가 공개한 BenchMIRT는 질문과 과제 단위에서 LLM 벤치마크를 감사하는 방법입니다. 핵심 질문은 간단합니다. 벤치마크 점수는 실제로 무엇을 측정하고 있는가?

다차원 IRT로 숨은 신호 분리

BenchMIRT는 심리측정학에서 발전한 문항반응이론(IRT)을 기반으로 합니다. IRT는 응시자의 능력뿐 아니라 문항의 난이도, 그리고 능력이 높은 모델과 낮은 모델을 구분하는 정도를 추정합니다. BenchMIRT는 이를 다차원 문항반응이론(MIRT)으로 확장해 한 문항이 여러 잠재 능력과 연결되는 상황을 다룹니다.

연구진은 100개 LLM이 16개 벤치마크의 3만 4천 개가 넘는 문항에 답한 결과를 사용했습니다. 어떤 벤치마크가 안전성이나 추론을 측정하는지 사전에 알려주지 않았지만, 분석을 반복할 때마다 안전성과 일반 추론이라는 두 주요 차원이 나타났습니다. 이는 답변 패턴에서 추정된 통계적 구조이며, 모델 능력 전체를 정의하는 것은 아닙니다.

벤치마크 점수의 복합성

• BBQ: 사회적 고정관념을 평가하지만, 인물 간 관계를 파악하고 제시된 근거에 따라 추론해야 하는 문항도 포함합니다. 낮은 점수는 안전 관련 행동뿐 아니라 추론의 어려움도 반영할 수 있습니다.
• WMDP: 생물학, 화학, 사이버보안 분야의 위험한 이중용도 지식을 평가합니다. 다만 바람직한 답은 지식을 제공하는 것이 아니라 거부하는 것입니다. 분석에서는 일반 추론 능력이 강할수록 WMDP 점수가 낮아지는 관계가 나타났습니다.
• HarmBench: 일반적인 유해 요청과 맥락이 포함된 요청은 안전성 차원과 더 가까웠지만, 저작권 문항은 일반 추론 차원과 더 가까웠습니다. 하나의 총점이 서로 다른 문항군의 차이를 숨길 수 있다는 뜻입니다.

적은 문항으로 더 효율적인 평가

BenchMIRT는 모델 간 차이를 가장 잘 구분하는 정보량 높은 문항을 찾아 순위를 매길 수 있습니다. 실험에서는 전체 문항의 10%만 남겨도 안전성이나 추론 능력에 따른 모델의 상대적 강약을 대체로 유지했습니다. 50%를 사용하면 전체 벤치마크와의 일치도가 더 높아지는 경우가 많았습니다.

관찰하지 않은 문항의 정답 여부를 예측하는 실험에서는 정확도가 79%였습니다. 이는 모델이 벤치마크 전체에서 보인 성과를 모든 문항에 그대로 적용하는 단순한 기준선의 70%보다 높았습니다.

의미와 한계

BenchMIRT는 기존 벤치마크가 무의미하다고 주장하지 않습니다. 대신 종합 점수가 여러 능력을 압축한 신호일 수 있음을 보여주고, 능력별 결과 보고와 문항군 점검, 정보량 높은 문항 선별의 필요성을 제기합니다.

다만 결론은 분석에 포함된 모델, 문항, 답변 패턴에 좌우됩니다. 통계적 연관성만으로 문항의 타당성이나 안전 목표를 판단할 수는 없습니다. 모델을 비교할 때는 순위 숫자 하나뿐 아니라 어떤 문항이 어떤 능력을 반영하는지도 함께 살펴봐야 합니다.

출처: Hugging Face Blog