OmniScientist, 원시 멀티모달 증거로 연구하는 AI 과학자

들어가며

AI 과학자 시스템은 가설 생성, 코드 실행, 논문 초안 작성까지 점점 더 많은 연구 단계를 자동화하고 있습니다. 그러나 기존 시스템 상당수는 텍스트, 레이블, 코드 또는 미리 추출된 특징을 중심으로 추론합니다. 과학적으로 중요한 정보가 공간적 배치, 시간적 변화, 채널 간 상호작용, 실험 절차의 세부에 들어 있다면, 에이전트가 처음부터 충분한 증거를 보지 못하는 문제가 생깁니다.

OmniScientist는 이 한계를 줄이기 위해 원시 데이터를 연구 전 과정에 연결하는 접근을 제안합니다.

핵심 내용

• 다양한 원시 데이터 처리: 이미지, 신호, 오디오, 비디오, 3D 구조, 궤적, 표, 수식, 그래프 등을 대상으로 합니다. 단순히 미리 계산된 스칼라 요약만 입력받는 방식과 구별되는 지점입니다.
• 연구 흐름의 통합: 지각 계층과 함께 아이디어 발상, 실험, 논문 작성을 담당하는 3개의 자율 에이전트를 배치합니다. 데이터에서 얻은 관찰이 연구 질문, 실험 선택, 최종 주장에 영향을 줄 수 있도록 설계했습니다.
• 코드 기반 검증: 아이디어, 엄밀성, 주장에 대한 점검을 코드로 수행합니다. 신규성 검사, 통계적 타당성, 실행 출처, 수치 추적 가능성을 관리하려는 장치입니다.
• 실제 사례 평가: 5개 분야군과 4개 과학 증거군에 걸친 36개 실제 데이터 사례를 평가했습니다. 보고된 결과에 따르면 시스템은 모든 사례에서 원시 데이터부터 컴파일된 원고까지의 경로를 완료했고, 기준 추론 백본에서 평균 종합 논문 점수 6.3을 기록했습니다.

의미와 한계

OmniScientist의 핵심은 단순히 더 많은 입력 형식을 지원하는 데 있지 않습니다. 지각을 연구 시작 전의 일회성 전처리로 끝내지 않고, 관찰 결과가 가설과 실험, 최종 서술에 계속 반영되도록 한 점이 중요합니다. 시각적 패턴, 시계열 변화, 구조적 관계가 고정된 특징이 아니라 연구 판단의 근거로 작동할 가능성을 열어둔 것입니다.

실행 이력과 수치의 추적 가능성을 코드 수준에서 관리하려는 시도도 주목할 만합니다. 자동으로 생성된 결과를 사람이 다시 점검하기 쉽게 만들 수 있기 때문입니다. 다만 이러한 검사는 과학적 진실을 보장하는 장치가 아닙니다. 36개 사례 모두에서 파이프라인이 완료됐다는 결과는 제시된 평가 조건에서 시스템이 엔드투엔드로 실행됐음을 보여주지만, 생성된 가설의 신규성이나 결론의 정확성, 전문가 검토와 독립 재현까지 증명하지는 않습니다.

앞으로는 원시 데이터 지각이 분야를 넘어 안정적으로 작동하는지, 생성된 발견이 독립 실험에서 재현되는지, 자동 검사가 숨은 편향과 잘못된 실험 가정을 포착할 수 있는지가 중요합니다. OmniScientist는 AI 과학자의 경쟁 기준을 자동화한 단계 수에서 증거에 대한 접근성, 연결성, 추적성으로 확장하는 시도로 볼 수 있습니다.

출처: Hugging Face Daily Papers