LLM은 AI 과학자가 될 준비가 됐나? SDABench의 능력별 평가

들어가며

대규모 언어 모델은 이제 분석 코드를 작성하고, 데이터를 요약하며, 연구 워크플로의 일부를 자동화할 수 있다. 하지만 과학적 발견에 기여한다는 것은 단순히 코드를 실행하거나 보고서를 완성하는 것과 다르다. 과학 분석은 가설 탐색, 통계적 추론, 예측, 인과 판단, 메커니즘 설명처럼 서로 다른 종류의 과학적 주장을 뒷받침해야 한다.

논문 “Are LLMs Ready for Scientific Discovery?”는 이러한 문제의식에서 SDABench를 제안한다. 이 벤치마크는 LLM이 분석 절차를 끝냈는지만 보는 대신, 과학적으로 타당한 판단을 내릴 수 있는 능력을 갖췄는지 평가한다.

핵심 내용

• 능력 중심 평가: SDABench는 과학 데이터 분석을 기술, 탐색, 추론, 예측, 인과, 메커니즘의 여섯 능력으로 재구성한다. 이는 과학적 결론이 만들어지는 방식에 더 가까운 평가 방식이다.
• 다섯 과학 영역 포함: 생물, 화학, 환경, 지리, 물리 영역을 다뤄 특정 분야에 치우친 평가를 피하려 한다.
• 실제 데이터와 합성 데이터 병행: SDA-Real에는 527개의 실제 데이터 인스턴스가, SDA-Synth에는 6000개의 합성 인스턴스가 포함된다. 각 인스턴스는 객관식과 개방형 답변 형식으로 제공된다.
• 15개 대표 LLM 평가: 연구는 여러 대표 모델을 대상으로 현재 LLM들이 과학 분석에서 보이는 공통적 한계를 살핀다.
• 오류 위치 분석: SDABench는 관련 범위와 변수 파악, 분석 절차 선택, 변수 관계 모델링, 결론 도출 등 어느 단계에서 실패하는지 나누어 분석하는 다섯 단계 프레임워크를 제공한다.

무엇을 보여주나

평가 결과, LLM은 기술적 분석에서는 비교적 안정적인 모습을 보인다. 데이터의 기본 구조를 설명하거나 표면적 패턴을 정리하는 작업은 잘 수행할 수 있다. 그러나 적절한 가정을 선택하거나, 잠재 과정을 모델링하거나, 변수 관계를 구성하고, 메커니즘적 설명을 요구하는 과제에서는 성능이 크게 떨어진다.

더 발전된 모델은 문제의 범위와 중요한 변수를 식별하는 데 더 나은 모습을 보인다. 그럼에도 어떤 분석 절차를 선택해야 하는지, 변수 간 관계를 어떻게 모델링해야 하는지, 결론이 타당한지 판단하는 단계에서는 여전히 어려움을 겪는다.

의미와 영향

SDABench의 의미는 “AI 과학자” 평가의 기준을 바꾼 데 있다. 핵심은 LLM이 연구 절차를 자동화할 수 있느냐가 아니라, 서로 다른 과학적 주장에 필요한 가정과 타당성 기준을 이해하고 적용할 수 있느냐다.

개발자에게 이 결과는 도구 사용 능력만 강화해서는 충분하지 않다는 점을 시사한다. 통계적 추론, 인과 구조 이해, 메커니즘 설명 능력이 함께 발전해야 한다. 연구자에게는 LLM을 데이터 탐색과 요약 보조 도구로 활용할 수는 있지만, 추론·인과·메커니즘 관련 판단은 반드시 엄밀하게 검토해야 한다는 현실적인 메시지를 준다.

출처: Hugging Face Daily Papers