ScienceIDE, 과학 코드를 에이전트 학습 환경으로 전환

들어가며

과학 소프트웨어는 단순한 알고리즘 구현물이 아니다. 연구용 저장소에는 모델링 가정, 분야별 작업 절차, 매개변수 사용 방식, 여러 도구를 연결하는 방법, 그리고 결과가 과학적으로 타당한지 판단하는 기준이 함께 들어 있다. 연구자는 논문과 문서, 반복적인 실험을 통해 이런 맥락을 습득할 수 있지만, AI 에이전트가 이를 배우려면 실행 가능하고 검증 가능한 경험으로 바꿔야 한다.

Hugging Face Daily Papers에 소개된 ScienceIDE는 이 문제를 ‘과학적 경험 병목’으로 정의한다. 목표는 세계 곳곳의 과학 코드 저장소를 과학 에이전트가 작업을 생성하고 도구를 사용하며 결과를 확인할 수 있는 프로그래밍 환경으로 전환하는 것이다.

핵심 내용

• 숨은 과학 지식을 학습 대상으로 만든다. 과학 코드는 여러 도구 체계에 흩어져 있고, 분야별 관행에 의존하는 경우가 많다. 프로그램이 실행된다는 사실만으로는 충분하지 않으며, 결과의 정확성도 전문적인 기준으로 판단해야 한다.
• 전문가가 정의한 사례를 활용한다. ScienceIDE는 전문가가 제시한 과학 사례와 승인 기준을 출발점으로 삼는다. 에이전트는 이를 바탕으로 저장소를 실행 가능한 환경으로 구성하고, 작업 생성·실행·과학적 검증을 연결한다.
• 학습과 평가를 하나의 환경에서 지원한다. 만들어진 환경은 지도 미세 조정, 강화학습, 모델 평가에 공통으로 사용할 수 있도록 설계됐다. 작업 설명뿐 아니라 실행 과정과 결과 검증까지 함께 다룰 수 있다는 점이 특징이다.
• PhAI-IDE 모델군을 학습했다. 연구팀은 검증된 상호작용 궤적을 이용해 PhAI-IDE-72B, PhAI-IDE-9B, PhAI-IDE-4B를 훈련했다. 초록에서는 미사용 과학 코드 수정 과제와 코드·추론·지식 영역의 일부 일반 벤치마크에서 향상이 있었다고 설명한다.

의미와 남은 과제

ScienceIDE의 핵심 가치는 과학 소프트웨어를 정적인 코드 데이터가 아니라 상호작용 가능한 지식 기반으로 본다는 데 있다. 에이전트는 목표를 해석하고, 적절한 도구와 방법을 선택하고, 코드를 실행한 뒤, 과학적 요구사항에 맞춰 결과를 점검해야 한다. 이는 정답 코드와의 일치 여부를 주로 확인하는 일반적인 코드 생성보다 실제 연구 작업에 가까운 평가 방식이다.

저장소, 실행 환경, 승인 기준을 연결하면 에이전트가 코드를 작성했는지만이 아니라 과학적 시스템을 올바르게 사용했는지도 평가할 수 있다. 이런 구조는 과학 에이전트의 학습 데이터와 평가 절차를 더 일관되게 만드는 데 도움이 될 수 있다.

다만 제공된 자료만으로는 적용된 과학 분야, 과제 수, 구체적인 벤치마크 점수, 검증 절차를 확인할 수 없다. 따라서 결과가 어느 정도로 일반화되는지 판단하려면 논문 전문과 공개 코드, 모델 평가 자료를 추가로 살펴봐야 한다. 향후 더 많은 분야와 연구 소프트웨어로 환경을 확장할 수 있는지가 실제 영향력을 결정할 중요한 요소다.

출처: Hugging Face Daily Papers