JevGPT: 자율 연구 에이전트에 빠른 사고와 느린 사고를 결합하다

들어가며

자율 연구 에이전트의 과제는 관련 문서를 검색하는 데서 끝나지 않는다. 어떤 증거가 필요한지 정하고, 후보 출처를 살펴보고, 관련성을 판단한 뒤, 그 결과를 다음 연구 단계에 반영해야 한다. 하지만 시간과 컨텍스트, 도구 호출 예산이 제한된 상황에서는 검색된 자료가 검토되지 않거나, 검토되더라도 최종 추론에 제대로 활용되지 않는 일이 생긴다.

JevGPT는 검색 범위와 실제 추론에 사용되는 증거 사이의 간극을 다룬다. 논문 제목처럼 이 시스템은 인간의 ‘빠른 사고’와 ‘느린 사고’에 가까운 역할을 두 개의 시스템으로 나눠 자율 연구 과정에 결합한다.

두 시스템의 역할 분담

JevGPT의 연구 루프는 다음과 같은 방식으로 구성된다.

• System Two는 계획과 통합을 맡는다. 현재 연구 단계에서 필요한 증거의 목표를 설정하고, 지금까지의 발견을 종합하며, 다음 조사 방향을 결정한다.
• System One은 증거를 빠르게 처리한다. 근거가 될 가능성이 있는 출처를 찾고, 관련성을 평가하며, 추가 확인이 필요한 원문을 선택한다.
• 출처별 판단을 병렬로 수행한다. 서로 독립적인 문서 평가를 동시에 진행해 순차 처리에서 발생하는 지연과 비용을 줄인다.
• 원문 구절을 다음 단계로 전달한다. 선택된 원문 문단을 후속 연구에 사용해 단순한 점수나 짧은 요약만으로 판단하지 않도록 한다.

이 구조의 핵심은 검색량을 무조건 늘리는 데 있지 않다. System Two가 ‘무슨 증거가 필요한가’를 정의하면 System One이 ‘어떤 출처가 이를 뒷받침할 수 있는가’를 빠르게 탐색한다. 이후 실제로 발견된 내용을 바탕으로 연구 계획을 다시 조정하는 순환이 만들어진다.

실험 결과가 보여주는 점

논문은 고정 코퍼스 질의응답과 문서 순위화 과제에서 JevGPT를 평가했다. 공개된 요약에 따르면 JevGPT는 높은 수준의 과제 성능을 보였으며, 비슷한 효과를 내는 연구 에이전트보다 더 빠르게, 더 낮은 비용으로 작업을 완료했다. 증거 분석에서는 더 넓은 범위의 출처를 살펴보고, 답변을 뒷받침하는 문서를 연구 루프 안으로 더 많이 가져온 것으로 나타났다.

이는 에이전트의 효율성을 최종 답변 생성 시간이나 검색 질의 수만으로 측정하기 어렵다는 점을 보여준다. 여러 출처를 비교하고, 중요한 원문을 보존하며, 그 내용을 다음 판단에 활용하는 능력 역시 연구 품질의 핵심이다. 특히 여러 단계로 이어지는 질문에서는 첫 검색 결과보다, 발견한 증거를 다음 계획에 연결하는 능력이 더 중요해질 수 있다.

의미와 한계

JevGPT는 자율 연구 에이전트를 설계할 때 고수준 계획과 저수준 증거 처리를 분리하되, 피드백을 통해 연결하자는 실용적인 방향을 제시한다. 앞으로는 답변 정확도뿐 아니라 출처 점검 범위, 지원 문서 커버리지, 연구 경로, 완료 시간, 유용한 증거당 비용도 중요한 평가 기준이 될 수 있다.

다만 제공된 자료만으로는 개방형 웹 검색, 빠르게 변하는 정보, 멀티모달 자료에서의 성능까지 확인할 수 없다. 그럼에도 JevGPT의 핵심 시사점은 분명하다. 효율적인 증거 처리는 단순한 검색 보조 기능이 아니라 자율 연구 역량의 중심 요소라는 것이다.

출처: Hugging Face Daily Papers