DataFlow-Harness: 코드 에이전트를 편집 가능한 데이터 파이프라인 빌더로

도입

LLM 기반 코드 에이전트는 데이터 정제, 변환, 전처리 스크립트를 빠르게 만들어낼 수 있다. 하지만 실제 데이터 플랫폼에서 필요한 결과물은 단순한 스크립트가 아닌 경우가 많다. 팀이 원하는 것은 저장되고, 검토되고, 시각적으로 수정되며, 반복 실행할 수 있는 파이프라인 자산이다.

DataFlow-Harness 논문은 이 문제를 NL2Pipeline gap이라고 부른다. 자연어 지시를 코드로 바꾸는 능력과, 그 결과를 곧바로 플랫폼에서 편집 가능한 데이터 파이프라인으로 만드는 능력 사이에는 차이가 있다는 뜻이다.

핵심 아이디어

• 스크립트 생성에서 파이프라인 생성으로: DataFlow-Harness는 LLM 에이전트가 자유 형식 코드를 출력하게 하지 않고, 플랫폼 네이티브 DAG를 직접 구성하도록 한다.
• 타입이 있는 점진적 변경: 에이전트는 제한된 변이 연산을 통해 파이프라인을 조금씩 수정한다. 이 방식은 결과물을 더 구조화하고, 플랫폼이 이해할 수 있는 형태로 만든다.
• DataFlow-Skills의 절차적 안내: Skills는 파이프라인을 만드는 과정에서 필요한 암묵적 절차 지식을 제공한다. 논문은 특히 이런 지식이 중요한 작업에서 Skills가 유용하다고 분석한다.
• MCP를 통한 실시간 문맥 제공: Model Context Protocol 계층은 현재 사용 가능한 오퍼레이터 목록과 파이프라인 상태를 에이전트에 노출한다. 에이전트는 플랫폼의 실제 능력을 바탕으로 행동할 수 있다.
• 대화와 시각적 편집의 동기화: DataFlow-WebUI는 채팅 기반 작성과 DAG 편집기를 연결해 사람이 결과를 확인하고 고치기 쉽게 만든다.

실험 결과

12개 데이터 엔지니어링 과제로 구성된 벤치마크에서 DataFlow-Harness는 93.3%의 관측 엔드투엔드 통과율을 달성했다. Vanilla Claude Code와 비교하면 측정된 금전 비용은 72.5%, 생성 지연은 49.9% 줄었다. Context-Aware Claude Code 기준선과 비교해도 통과율 차이는 0.9%포인트 이내였고, 비용은 42.8% 낮았다.

이 결과는 플랫폼에 기반한 제약이 반드시 성능 저하로 이어지지는 않는다는 점을 보여준다. 오히려 실제 플랫폼 상태와 연동된 구조화된 생성 방식이 비용과 속도 면에서 이점을 줄 수 있음을 시사한다.

의미와 영향

DataFlow-Harness의 핵심 가치는 코드 에이전트의 산출물을 바꾸는 데 있다. 지금까지 많은 에이전트는 실행 가능한 코드 텍스트를 만드는 데 초점을 맞췄다. 그러나 데이터 엔지니어링 현장에서는 유지보수 가능한 워크플로가 더 중요한 산출물일 수 있다.

이 접근은 에이전트를 실제 플랫폼 상태, 오퍼레이터 레지스트리, 시각적 편집 환경과 연결하는 방향을 제시한다. 데이터 팀에는 자연어 요구사항을 운영 가능한 파이프라인으로 옮기는 수작업을 줄일 가능성이 있고, 플랫폼 개발자에게는 에이전트용 문맥 제공과 안전한 변경 API의 중요성을 보여준다. 다만 평가가 12개 작업에 한정되어 있어 권한, 장애 처리, 장기 유지보수, 복잡한 운영 환경에 대한 검증은 더 필요하다.

출처: Hugging Face Daily Papers