DiscoveryRSI, AI의 과학적 아이디어를 검증 가능한 가설로

들어가며

과학적 발견은 그럴듯하고 새로운 아이디어를 많이 만드는 일만을 뜻하지 않는다. 좋은 가설은 근거가 있어야 하고, 중요한 불확실성을 다뤄야 하며, 실제로 검증할 방법을 제시해야 한다. 또한 어떤 결과가 가설을 지지하거나 반박하는지, 어떤 대안 설명이 남아 있는지도 밝혀야 한다. DiscoveryRSI는 아이디어 생성에서 실행 가능한 연구로 이어지는 전체 흐름을 학습 가능한 과정으로 만들려 한다.

논문은 가치 있고 검증 가능한 연구 가설을 중요한 불확실성에 대한 근거 기반 주장으로 정의한다. 이 주장은 실행 가능한 조사, 명확한 의사결정 기준, 대안 설명과 함께 제시되어야 한다. 따라서 과학적 추론은 단순한 텍스트 생성이 아니라, 행동과 평가가 반복되는 연구 과정으로 확장된다.

핵심 구성

• 가설 트리 기반 탐색. 다중 에이전트의 진화적 탐색으로 가설을 만들고, 비교하고, 수정한다. 여러 경로를 유지함으로써 시스템이 하나의 설명에 너무 빨리 고정되는 것을 줄인다.
• 조사를 실행 과제로 변환. 선택된 연구 계획은 Harbor 과제로 컴파일된다. 모델은 실험을 설명하는 데 그치지 않고, 정의된 환경에서 조사를 실제 작업으로 수행해야 한다.
• 세 가지 재귀적 학습. 가설 크레딧 최적화는 과학적 평가를 기록된 연구 기여에 연결한다. 하니스 리플레이는 생산적인 전략과 반복되는 실패를 찾아 연구 워크플로를 개선한다. 재발견은 승인된 개선을 새로운 조사에 적용해 다음 학습 경험을 만든다.
• 과정 중심 평가. DFM-Bench는 가설 자체뿐 아니라 수정 과정, 발전 경로, 전체 연구 실행을 평가한다. 최종 답변 하나만 채점하는 방식보다 누적 연구 진전을 폭넓게 볼 수 있다.

결과와 영향

네 개의 생명과학 분야를 대상으로 한 자동 평가에서 가설 품질 점수는 기본 모델의 4.86에서 두 차례 자기 개선 후 5.39로 높아졌다. 특히 반증 가능성과 데이터 판별 가능성에서 큰 향상이 보고됐다. 또한 DiscoveryRSI-27B를 다른 연구 에이전트와 비교하는 전문가 검토도 진행됐지만, 제공된 자료에는 세부 결과가 포함되어 있지 않다.

DiscoveryRSI의 의미는 AI가 이미 독립적으로 과학을 수행한다는 증명에 있지 않다. 가설, 조사, 판단 기준, 연구 기록을 하나의 흐름으로 연결하고, 그 연구 궤적을 활용해 다음 작업을 개선하는 구조를 제시했다는 데 있다. AI for Science에서 중요한 문제는 후보 아이디어를 늘리는 것만이 아니라, 중요하고 실행 가능하며 실제로 반증할 수 있는 주장을 고르는 일이다.

물론 한계도 있다. 자동 점수는 도메인 전문가의 판단을 완전히 대체할 수 없고, 실행 과제의 품질은 학습 결과에 영향을 준다. 개별 연구 기여에 정확히 공을 배분하는 일도 어렵다. 향후에는 투명한 증거 연결, 더 엄격한 실험 검증, 잘못된 추론과 실행 불가능한 계획에 대한 지속적인 추적이 필요하다.

출처: Hugging Face Daily Papers