아티클 목록으로

OpenAI MedChemBench, AI의 의약화학 추론 능력 평가

약 3분 소요

OpenAI가 공개한 MedChemBench는 AI 모델이 의약화학 연구에 필요한 추론을 얼마나 수행하는지 살펴보는 벤치마크다. 분자 구조와 실험 근거를 연결해 화합물의 결과를 설명하고, 다음에 무엇을 시험할지 판단할 수 있는지를 묻는다. 문제는 논문과 특허에서 가져온 99개이며, 117건의 자료와 761개 분자 구조를 포함한다. 이는 이미 발표된 연구를 해석하는 능력을 평가하는 것으로, AI가 새로운 약을 독자적으로 발견할 수 있는지 직접 입증하는 시험은 아니다.

평가 항목은 네 가지

  • 분자 구조 재구성: 화학 구조 그림에서 원자 연결과 입체화학을 정확히 표현하는가.
  • 과학적 추론: 제시된 근거를 바탕으로 실험 결과나 선택 이유를 설명하는가.
  • 순위와 선택: 연구 목표에 맞춰 후보 화합물을 고르고 순위를 매기는가.
  • 물성 예측: 원자료에 보고된 수치나 범주와 예측이 얼마나 일치하는가.

의약화학의 핵심 난제는 한 특성을 개선해도 다른 특성이 나빠질 수 있다는 점이다. 표적에 대한 활성이 높다고 해서 흡수나 세포 투과성, 대사 안정성까지 좋아지는 것은 아니다. 한 문제는 PRMT5 억제제를 대상으로 세포 내 활성, 세포 장벽 투과성, 간 효소에 의한 분해를 함께 예측하도록 한다. 이후 실험에서는 화합물마다 강점을 보이는 지표가 달랐다. 따라서 모델은 단일 수치를 맞히는 데 그치지 않고, 여러 특성 사이의 상충 관계를 해석해야 한다.

구조 이해는 강점, 선택과 예측은 과제

OpenAI에 따르면 GPT-6 Astra는 구조 재구성 항목에서 배점의 95.4%를 얻었다. 18개 원자로 이루어진 고리를 보존해야 하는 예시에서는 열 번의 응답 모두 구조를 정확히 재구성했다고 한다. 반면 화합물 선택과 수치 물성 예측은 어려웠으며, 두 항목의 점수는 대략 절반 수준이었다. GPT-5.6 Sol의 전체 점수는 58.2%로 제시됐다.

다만 Astra의 총점은 페이지 안에서 일관되지 않는다. 도입부는 GPT-6.2 Astra의 점수를 84.5%로 소개하지만, 본문은 공통 xhigh 설정에서 GPT-6 Astra가 83.3%를 기록했다고 적었다. 모델 버전이나 측정 조건 차이인지 명확히 설명되지 않으므로, 두 점수를 같은 조건의 결과처럼 단순 비교해서는 안 된다.

의미와 한계

MedChemBench의 의미는 ‘AI가 의약화학을 이해하는가’라는 큰 질문을 검증 가능한 과제로 나눴다는 데 있다. 분자를 정확히 읽어내는 능력과 다음 실험 후보를 고르는 능력 사이의 격차도 드러낸다. 그러나 평가 자료는 공개된 과거 연구를 바탕으로 하므로 모델이 원문을 학습했을 가능성을 배제할 수 없다. 각 문제는 도구나 피드백, 새 실험 없이 한 번만 답했다. 따라서 높은 점수만으로 실험실의 의사결정에 신뢰할 수 있다거나 신약 개발을 앞당긴다고 결론 내릴 수는 없다. 현재로서는 정해진 추론 과제에서 모델의 진전을 비교하는 지표로 보는 것이 적절하다.

Web Search

댓글

로그인 상태 확인 중…

댓글 불러오는 중…

관련 게시물

CCTest · Blog
더 깊이 생각해도 구매 선택은 나아지지 않았다… 자신감만 커진 쇼핑 AI
모델 평가
cctest.ai
모델 평가

더 깊이 생각해도 구매 선택은 나아지지 않았다… 자신감만 커진 쇼핑 AI

최첨단 모델 10종을 세 가지 상품 선택 벤치마크에서 평가한 연구에 따르면, 추론 노력을 늘려도 판단 품질은 통계적으로 유의미하게 개선되지 않았지만 모델이 밝힌 자신감은 높아졌습니다. 여러 모델이 같은 과제에서 같은 상품을 잘못 고르는 경향도 나타났습니다.

더 보기