SciΠvot, LLM은 과학 연구의 전환점을 판단할 수 있을까

서론

과학 연구용 AI 에이전트는 적은 인간 감독만으로 장기간 실험을 진행할 수 있는 단계에 접근하고 있습니다. 그러나 자율 연구에 필요한 능력은 실험 실행이나 도구 사용에 그치지 않습니다. 결과가 기대에 미치지 않을 때 계획을 유지할지, 조건을 바꿀지, 연구 방향을 전환할지를 결정해야 합니다. 이런 판단은 프로젝트의 맥락과 누적된 증거에 의존하기 때문에 일반적인 정답형 평가로는 측정하기 어렵습니다.

SciΠvot은 바로 이 과학적 판단을 평가하기 위해 만들어졌습니다.

평가 방식

연구팀은 6개월간 진행된 실제 연구 기록을 활용했습니다. 이 기간 선임 연구자들은 6개 과학 분야의 26개 프로젝트에서 LLM 에이전트를 운영했고, 에이전트의 연구 판단이 적절하지 않을 때 반복적으로 개입했습니다. 그 결과 248개의 사례가 benchmark에 포함됐습니다.

각 사례에서 모델은 두 계획 중 하나를 선택합니다. 하나는 에이전트가 처음 제시한 원래 계획이고, 다른 하나는 연구자가 나중에 제시한 수정안입니다. 모델이 볼 수 있는 것은 수정이 일어나기 전의 프로젝트 기록뿐이며, 연구자가 왜 계획을 바꿨는지는 제공되지 않습니다. 따라서 전문가의 답을 본 뒤 동의하는 것이 아니라, 당시 उपलब्ध한 정보만으로 더 나은 연구 방향을 찾아야 합니다.

핵심 결과

• 프로젝트 기록과 중간 수준의 추론을 함께 제공하면 모델은 인간 수정안보다 원래 LLM 계획을 체계적으로 선호했습니다.
• 평가된 최첨단 모델 5개 가운데 4개는 선정된 사례에서 무작위 선택보다 낮은 성능을 보였습니다.
• 프로젝트 조건에서 모델의 최고 정확도는 63.5%로, 신규 연구자의 73.4%보다 낮았습니다.
• 중간 수준의 추론 설정에서는 모든 모델이 프로젝트 기록을 제공받았을 때 기록이 없을 때보다 낮은 정확도를 기록했습니다.
• 다시 검토하라고 지시해도 전체 정확도가 일관되게 향상되지는 않았습니다.

맥락이 많아도 판단이 좋아지지 않는 이유

프로젝트 기록에는 중요한 단서가 있지만, 초기 가설과 이미 낡은 전제, 시행착오에서 나온 잡음도 함께 들어 있습니다. 모델은 이런 기록이 만든 기존 서사에 끌려가, 연구 방향에 문제가 생겨도 처음 계획을 계속 지지할 수 있습니다. 이는 긴 컨텍스트가 자동으로 더 나은 과학적 판단을 보장하지 않는다는 점을 보여줍니다. 핵심은 정보의 양이 아니라 어떤 정보가 결정을 바꿀 만한 증거인지 구분하는 능력입니다.

이 결과가 LLM이 과학 연구에 기여할 수 없다는 뜻은 아닙니다. 인간의 수정안이 모든 상황에서 절대적으로 옳다는 결론도 아닙니다. SciΠvot은 연구자가 실제로 개입했던 사례를 사용하므로, 경험 많은 연구자가 바꿀 필요가 있다고 본 결정을 모델이 식별할 수 있는지를 측정합니다.

의미와 영향

SciΠvot의 중요한 기여는 모호한 개념인 ‘과학적 판단’을 반복 가능한 평가 과제로 바꾼 데 있습니다. 연구 에이전트를 평가할 때는 실험 실행, 코드 작성, 결과 생성만 볼 것이 아니라 증거가 약해지거나 기존 가설이 막혔을 때 방향을 전환할 수 있는지도 확인해야 합니다.

추론 예산을 늘리거나 전체 연구 로그를 제공하는 것만으로는 신뢰성이 보장되지 않습니다. 향후 시스템은 대안 간 비교, 결정을 바꾸는 근거의 명시, 불확실성 표현을 더 잘 수행하도록 설계될 필요가 있습니다. SciΠvot은 자율 과학 연구에 관한 근본적인 질문을 던집니다. 에이전트가 연구의 흐름을 이해하는 것인지, 아니면 이미 시작한 계획을 단순히 연장하는 것인지에 대한 질문입니다.

출처: Hugging Face Daily Papers