AI 과학자에게 필요한 능력은 정해진 절차를 정확히 따르는 데 그치지 않는다. 무엇을 측정할지 고르고, 다음 실험의 방향을 정하며, 나아가 실험 자체를 설계할 수 있어야 한다. TwinLab-Bench는 이 가운데 가장 개방적인 능력인 ‘스스로 실험을 설계하는 역량’에 초점을 맞춘다. AI가 만든 실험안을 환경이 실행하고, 실험실 기록에 근거한 결과를 제공할 수 있는지를 평가한다.
이 벤치마크는 물리과학, 생명과학, 공학 분야의 52개 과제를 포함하며, 100가지가 넘는 실험 작업 유형을 지원한다. 각 과제에는 전용 TwinLab 에이전트가 배정돼 평가 대상 AI가 설계한 실험을 실행한다. 에이전트는 실험실의 원자료와 문서를 읽고, 기록을 바탕으로 구축된 계산 도구를 호출한다. 이후 AI가 작성한 보고서를 실제 실험 기록에서 가져온 비공개 정답과 비교한다.
평가하는 과학적 역량의 세 단계
- 주어진 계산 또는 실험 절차를 정확히 수행한다.
- 미리 정해진 설계 공간에서 다음 측정을 선택한다.
- 고정된 후보에 의존하지 않고 실험을 직접 설계한다.
논문은 기존 벤치마크가 주로 절차 수행이나 사전 정의된 후보 중 선택하는 능력을 다뤄왔다고 설명한다. TwinLab-Bench는 여기에 AI가 실험 계획을 스스로 세우는 능력을 추가하려 한다. 계획을 글로 제안하는 데서 끝나는 것이 아니라, 환경이 계획에 맞춰 실행하고 보고서까지 검증할 수 있다는 점이 핵심이다.
연구진은 TwinLab 에이전트와 과제 설명만 입력으로 받는 언어 모델도 비교했다. 요약에 따르면 TwinLab 에이전트를 활용했을 때 실제 기록과 어긋나는 측정값과 같은 요청에 대한 답변 불일치가 거의 사라졌다. 모델이 기억에 의존해 답을 맞힐 가능성을 통제하기 위해 폐쇄형 프로브도 포함했다. 이는 평가 결과를 자유로운 텍스트 생성에만 맡기지 않고 실험 자료와 기록에 연결하려는 설계다.
결과는 여전히 쉽지 않다. 논문에서 가장 높은 성적을 거둔 Claude Fable 5.2의 평균 점수는 45.0이었다. 제공된 요약에는 점수 척도가 명시되지 않았으므로 이를 백분율로 해석해서는 안 된다. 다만 논문은 최첨단 모델도 해당 과제에서 어려움을 겪는다고 보고한다. 실패 원인에 대한 실증 분석도 진행했지만, 현재 제공된 자료에는 구체적인 실패 유형이 나와 있지 않다.
TwinLab-Bench의 의미는 평가의 초점을 ‘지시를 따르는가’에서 ‘실험을 설계하고, 기록에 근거한 환경에서 실행하며, 결과를 검증할 수 있는가’로 넓힌 데 있다. 실험 설계뿐 아니라 결과의 신뢰성과 반복 요청에 대한 일관성도 살필 수 있다. 다만 이 환경은 실험 기록을 기반으로 한 TwinLab 에이전트가 제공하며, AI가 실제 연구실을 직접 조작하는 방식은 아니다. 실제 연구 과정에 어느 정도 적용될 수 있는지 판단하려면 과제별 세부 결과와 현실 실험에서의 검증도 필요하다.
댓글
로그인 상태 확인 중…
댓글 불러오는 중…