아티클 목록으로
AI 과학 연구

AI의 과학적 판단력을 시험하다: 실제 습식 실험 예측 벤치마크

약 3분 소요

AI for Science의 관심은 모델이 논문을 읽고 코드를 실행할 수 있는지에서, 실험 전에 어떤 조건이 유망한지 판단할 수 있는지로 옮겨가고 있다. UniPat AI가 공개한 Science Prediction Universe, 즉 SPU는 실제 습식 실험의 결과를 모델에게 공개하지 않고, 여러 후보 조건의 결과 순위를 먼저 예측하게 한 뒤 실제 측정값과 비교한다.

SPU는 무엇을 평가하나

SPU는 총 116개 과제로 구성된다. 이 가운데 100개는 85편의 공개 논문에서 추출했고, 16개는 아직 발표되지 않은 공동 실험에서 가져왔다. 화학, 재료과학, 생물학, 의학을 아우르며 모두 4207건의 실험을 포함한다.

모델은 단순한 지식 질문에 답하지 않는다. 연구 목적을 해석하고, 문헌을 검색하고, 계산 방법을 선택하고, 과학 소프트웨어를 설치한 뒤 8시간 안에 예측을 제출해야 한다. 실행 환경은 8코어 CPU, 16 GiB 메모리, H20 GPU 한 장으로 제한된다. 원 논문의 실험 결과를 직접 검색하지 못하도록 독립 환경에서 평가하는 것도 특징이다.

점수는 모델이 제출한 순위와 실제 실험 순위의 Spearman 상관계수로 계산한다. 또한 무작위 순위를 대량으로 생성해 모델의 결과가 단순한 우연을 넘어섰는지도 확인한다.

최신 모델도 일관된 예측에는 실패

첫 평가에는 12개 모델과 13개 구성이 참여했다. 평균 점수가 가장 높았던 모델은 Claude Opus 5.5로 0.486을 기록했다. 그러나 구성별로 무작위 기준을 넘은 과제의 비율은 약 34~52%에 머물렀다. 빠르게 검색하고 복잡한 계산을 수행할 수 있다는 사실이 올바른 판단 기준을 고르는 능력으로 이어지지는 않은 셈이다.

측정 대상에 따른 편차도 컸다. 같은 전해질을 다룬 과제에서도 이온전도도 예측은 높은 상관을 보였지만, 전기화학적 창을 예측할 때는 무작위 수준 아래로 떨어지는 경우가 있었다. 따라서 특정 모델이 “화학에 강하다”고 말하는 것만으로는 실제 연구에 투입할 수 있는 범위를 설명하기 어렵다.

더 많은 추론과 계산이 해답은 아니다

SPU의 중요한 결과는 추론 강도를 높여도 성능이 자동으로 오르지 않았다는 점이다. GPT-6 Astra의 경우 최고 추론 설정에서 중간 설정 대비 실행 시간 중앙값이 약 4.8배, API 비용 중앙값이 약 5.3배 늘었지만 예측 점수는 거의 변하지 않았다. 실행 기록을 보면 모델은 비교적 이른 시점에 답을 정하고, 이후에는 작은 수정만 반복하는 경향을 보였다.

도구를 많이 사용하거나 몬테카를로 샘플링, GPU 계산을 시도하는 것도 마찬가지다. 중요한 것은 계산 횟수가 아니라 실험 결과의 순위를 좌우하는 물리량을 계산했는지, 그리고 새 증거를 바탕으로 잘못된 가정을 수정했는지다.

과학 AI 평가의 다음 단계

SPU는 모델의 최종 점수뿐 아니라 판단 과정도 분석하게 한다. 모델이 어떤 요인을 선택했는지, 충돌하는 증거를 언제 발견했는지, 순위를 수정했는지, 추가 계산이 실제로 도움이 됐는지를 확인할 수 있다.

연구팀은 특정 실험에 모델을 도입하기 전에 적합성을 점검할 수 있고, 개발자는 모델이 복잡한 과정을 수행하는 데 그치지 않고 “내가 계산하는 양이 실험이 실제로 측정하는 양인가”를 되묻게 만들어야 한다는 과제를 얻는다. 공개 과제와 비공개 실험을 함께 축적한다면, 과학 에이전트의 발전을 재현 가능한 예측 결과로 추적할 수 있을 것이다.

출처: 量子位

댓글

로그인 상태 확인 중…

댓글 불러오는 중…

관련 게시물

CCTest · Blog
과학 에이전트는 최종 답만으로 감사할 수 없다: 증거와 실행 상태 추적
AI 과학 연구
cctest.ai
AI 과학 연구

과학 에이전트는 최종 답만으로 감사할 수 없다: 증거와 실행 상태 추적

BioAgent-DF 연구는 과학 에이전트가 같은 결론을 내리면서도 서로 다른 증거를 읽고 인용할 수 있음을 보여준다. 또한 조용한 GPU 수치 오류가 충돌이나 NaN 없이 의약품 스크리닝 결정을 바꿀 수 있음을 확인했다.

더 보기