임상의 실제 LLM 사용과 평가 벤치마크가 엇갈린다

들어가며

의료 분야의 대규모 언어 모델은 시험 문제, 선별된 증례, 전문 질의응답 데이터셋으로 평가되는 경우가 많다. 이런 테스트는 특정 지식과 추론 능력을 확인하는 데 유용하지만, 임상의가 실제로 AI 보조 시스템에 맡기는 업무를 그대로 보여주지는 않을 수 있다. Hugging Face Daily Papers에 소개된 이번 연구는 실제 임상 사용과 공개 벤치마크를 직접 비교해 그 차이를 분석했다.

실제 사용의 중심은 진단이 아니다

연구진은 한 의료기관에서 8개월간 도입된 기관용 보조 시스템에 접수된 127,833건의 질의를 분석했다. 사용자는 의사, 고급 실무 제공자, 간호사 등 6,342명이었으며 35개 전문 분야를 포함했다. 각 질의는 임상의가 검증한 RCQ-Map을 통해 과업, 의도, 답변 가능성, 누락 정보, 잠재적 위해의 관점에서 분류됐다.

가장 큰 비중을 차지한 것은 문서 작성과 행정 업무로 36.2%였다. 지식 검색은 28.9%였고, 두 범주를 합치면 전체 사용의 거의 3분의 2에 해당한다. 반면 진단 관련 질의는 3.7%에 불과했다.

이는 임상 AI의 활용을 진단 중심으로 바라보는 관점을 다시 생각하게 한다. 실제 현장에서 보조 시스템은 진단 결론을 내리는 일보다 기록 정리, 정형화된 행정 절차, 정보 검색, 일상 업무 지원에 더 자주 사용된다. 따라서 진단 증례에서 높은 점수를 받은 모델이라도 문서 처리와 검색 등 실제 사용량이 많은 업무에 대해서는 충분한 검증을 받지 않았을 수 있다.

또한 3분의 1이 넘는 질의는 제시된 방식만으로는 제대로 답하기 어려웠다. 이는 모델의 의학 지식이 항상 부족했다는 뜻은 아니다. 요청에 필요한 배경 정보가 없거나, 목표가 모호하거나, 기관 내부 기록처럼 외부 정보가 필요했을 가능성도 있다. 의료 AI 평가에서는 최종 답변의 정확성뿐 아니라 정보 부족을 감지하고 추가 질문을 할 수 있는지, 위험한 상황에서 과도하게 단정하지 않는지도 확인해야 한다.

공개 벤치마크와 현실의 간극

연구진은 RCQ-Map을 58개 공개 벤치마크에도 적용해 Clinical AI Benchmark Atlas를 구성했다. 중앙값에 해당하는 벤치마크에는 문서 작성 요청이 전혀 포함되지 않았으며, 실제 임상 사용의 과업 구성과 겹치는 비율은 31%에 그쳤다.

임상 실무와 유사하게 설계된 평가 세트라고 해서 현실의 사용과 항상 더 가까운 것도 아니었다. 이는 시험 문제나 증례 기반 평가가 쓸모없다는 의미는 아니다. 이런 평가들은 특정 지식과 임상 추론을 측정할 수 있다. 다만 이를 배포 이후의 전체 성능을 나타내는 단일 대리 지표로 해석하는 데는 한계가 있다.

워크플로 중심 평가가 필요한 이유

이번 연구의 핵심 메시지는 평가의 출발점을 모델이 아니라 업무 흐름에 두어야 한다는 것이다. 병원과 개발자는 어떤 직군이 어떤 작업에 시스템을 사용하는지, 필요한 정보가 실제로 제공되는지, 오류가 어떤 피해로 이어질 수 있는지를 먼저 파악해야 한다.

표준화된 벤치마크는 계속 필요하지만, 단일 종합 점수를 임상 준비도의 전부로 간주해서는 안 된다. 의학 지식, 증례 추론, 문서 작성, 검색, 추가 확인, 추적 가능성, 안전성 등을 서로 나누어 평가하고 실제 질의 분포도 반영해야 한다. 평가가 현장의 업무와 가까워질수록 모델 비교와 의료기관의 도입 결정도 더 현실적인 근거를 갖게 될 것이다.

출처: Hugging Face Daily Papers