DS-Lighting, 데이터 과학 에이전트의 실행 하니스를 명시화하다

들어가며

대규모 언어 모델은 코드 작성, 도구 호출, 데이터 분석의 반복 작업을 수행할 수 있습니다. 그러나 데이터 과학 워크플로를 처음부터 끝까지 자동화하는 시스템의 성능은 모델만으로 결정되지 않습니다. 작업을 어떤 형식으로 전달하는지, 중간 상태를 어떻게 보존하는지, 어떤 파일과 결과물을 허용하는지, 성공 여부를 어떤 지표로 판단하는지가 모두 결과에 영향을 줍니다.

이런 요소가 구현 내부에 숨겨져 있으면 서로 다른 에이전트를 공정하게 비교하기 어렵습니다. 실행이 실패했을 때도 원인이 모델의 능력인지, 에이전트 전략인지, 실행 환경이나 평가 규칙인지 구분하기 쉽지 않습니다. arXiv에 공개된 DS-Lighting은 이 문제를 에이전트 하니스 자체를 명시적인 연구 대상으로 다루는 방식으로 풀고자 합니다.

핵심 내용

• 네 개의 재사용 계층. 하니스를 데이터, 워크플로, 실행, 평가로 분해합니다. 데이터와 작업 인터페이스, 처리 단계의 구조, 실행 상태와 샌드박스 환경, 요구되는 산출물과 측정 지표를 각 계층에서 정의합니다.
• 실행 가능한 연산자 프로그램. 다양한 에이전트를 실행 가능한 연산자 프로그램으로 표현합니다. 미리 정해진 파이프라인을 나타낼 수 있을 뿐 아니라, 실행 중간 결과에 따라 다음 행동을 바꾸는 적응형 탐색도 지원합니다.
• 공통 벤치마크 형식. 여러 오픈소스 데이터 과학 벤치마크를 MLE-Bench와 유사한 작업 형식으로 통합합니다. 공통 작업 인터페이스, 격리된 실행 환경, 지표 프로토콜을 사용해 통제된 비교를 가능하게 합니다.
• 시스템 수준의 실패 분석. 에이전트, 하니스, 모델, 소거 실험을 대상으로 비교를 진행합니다. 논문 초록은 하니스 설계를 명시하면 재현성·비교 가능성·신뢰성이 개선되고, 시스템 구성에서 비롯되는 불필요한 실패를 줄일 수 있다고 설명합니다.

의미와 영향

DS-Lighting의 핵심 의미는 데이터 과학 에이전트의 성능 비교 대상을 모델 바깥으로 확장했다는 데 있습니다. 같은 모델을 사용하더라도 작업 입력 방식, 실행 제약, 파일 처리 방법, 평가 절차가 다르면 결과가 달라질 수 있습니다. 이러한 조건을 구성 요소로 분리하면 성능 차이가 모델에서 비롯됐는지, 에이전트 정책에서 비롯됐는지, 아니면 하니스 설계에서 비롯됐는지 더 구체적으로 살펴볼 수 있습니다.

개발 과정에서도 계층화는 유용합니다. 작업이 실패했을 때 데이터 연결, 워크플로 제어, 실행 상태, 평가 계약을 각각 점검할 수 있기 때문입니다. 모든 문제를 단순히 “모델이 부족해서”라고 해석하지 않고 시스템의 어느 지점에서 문제가 발생했는지 확인할 수 있습니다. 벤치마크 제작자에게는 공통 형식이 서로 다른 과제의 실험 조건을 정리하는 기반이 됩니다.

물론 표준화가 데이터 과학 작업의 차이를 없애는 것은 아닙니다. 과제별로 필요한 도구, 탐색 공간, 평가 방법이 다르므로 유연성과 통제 가능성 사이의 균형이 여전히 필요합니다. DS-Lighting은 더 강한 모델을 찾기 전에 에이전트가 어떤 실행 조건과 평가 규칙 아래 작동했는지 드러내는 인프라에 가깝습니다. 프로젝트 코드는 공개되어 재현과 확장의 출발점을 제공합니다.

arXiv