OpenAI가 공개한 MedChemBench는 AI 모델이 의약화학 연구에 필요한 추론을 얼마나 수행하는지 살펴보는 벤치마크다. 분자 구조와 실험 근거를 연결해 화합물의 결과를 설명하고, 다음에 무엇을 시험할지 판단할 수 있는지를 묻는다. 문제는 논문과 특허에서 가져온 99개이며, 117건의 자료와 761개 분자 구조를 포함한다. 이는 이미 발표된 연구를 해석하는 능력을 평가하는 것으로, AI가 새로운 약을 독자적으로 발견할 수 있는지 직접 입증하는 시험은 아니다.
평가 항목은 네 가지
- 분자 구조 재구성: 화학 구조 그림에서 원자 연결과 입체화학을 정확히 표현하는가.
- 과학적 추론: 제시된 근거를 바탕으로 실험 결과나 선택 이유를 설명하는가.
- 순위와 선택: 연구 목표에 맞춰 후보 화합물을 고르고 순위를 매기는가.
- 물성 예측: 원자료에 보고된 수치나 범주와 예측이 얼마나 일치하는가.
의약화학의 핵심 난제는 한 특성을 개선해도 다른 특성이 나빠질 수 있다는 점이다. 표적에 대한 활성이 높다고 해서 흡수나 세포 투과성, 대사 안정성까지 좋아지는 것은 아니다. 한 문제는 PRMT5 억제제를 대상으로 세포 내 활성, 세포 장벽 투과성, 간 효소에 의한 분해를 함께 예측하도록 한다. 이후 실험에서는 화합물마다 강점을 보이는 지표가 달랐다. 따라서 모델은 단일 수치를 맞히는 데 그치지 않고, 여러 특성 사이의 상충 관계를 해석해야 한다.
구조 이해는 강점, 선택과 예측은 과제
OpenAI에 따르면 GPT-6 Astra는 구조 재구성 항목에서 배점의 95.4%를 얻었다. 18개 원자로 이루어진 고리를 보존해야 하는 예시에서는 열 번의 응답 모두 구조를 정확히 재구성했다고 한다. 반면 화합물 선택과 수치 물성 예측은 어려웠으며, 두 항목의 점수는 대략 절반 수준이었다. GPT-5.6 Sol의 전체 점수는 58.2%로 제시됐다.
다만 Astra의 총점은 페이지 안에서 일관되지 않는다. 도입부는 GPT-6.2 Astra의 점수를 84.5%로 소개하지만, 본문은 공통 xhigh 설정에서 GPT-6 Astra가 83.3%를 기록했다고 적었다. 모델 버전이나 측정 조건 차이인지 명확히 설명되지 않으므로, 두 점수를 같은 조건의 결과처럼 단순 비교해서는 안 된다.
의미와 한계
MedChemBench의 의미는 ‘AI가 의약화학을 이해하는가’라는 큰 질문을 검증 가능한 과제로 나눴다는 데 있다. 분자를 정확히 읽어내는 능력과 다음 실험 후보를 고르는 능력 사이의 격차도 드러낸다. 그러나 평가 자료는 공개된 과거 연구를 바탕으로 하므로 모델이 원문을 학습했을 가능성을 배제할 수 없다. 각 문제는 도구나 피드백, 새 실험 없이 한 번만 답했다. 따라서 높은 점수만으로 실험실의 의사결정에 신뢰할 수 있다거나 신약 개발을 앞당긴다고 결론 내릴 수는 없다. 현재로서는 정해진 추론 과제에서 모델의 진전을 비교하는 지표로 보는 것이 적절하다.
댓글
로그인 상태 확인 중…
댓글 불러오는 중…