Data World, 데이터 세계를 먼저 만들어 분석 에이전트를 훈련하다

들어가며

데이터 분석 에이전트는 코드를 작성하고, 서로 다른 형식의 파일을 읽으며, 업무 질문에 대한 분석 결과를 만들 수 있다. 하지만 “배달 매출이 왜 감소했는가”와 같은 질문은 여러 설명이 동시에 가능하기 때문에 정답을 하나로 검증하기 어렵다. 인간 전문가도 가장 결정적인 원인에 대해 의견이 갈릴 수 있다.

이 문제는 에이전트 훈련을 어렵게 만든다. 실제 데이터를 수집하고 환경을 구축하는 데는 많은 비용이 들며, 기업 데이터는 개인정보와 지식재산권의 제약을 받는다. 또한 개방형 분석 결과에는 사전에 정해진 생성 진실이 없는 경우가 많아, 모델의 답을 객관적으로 채점하기도 어렵다.

Data World는 이 순서를 뒤집는다. 먼저 파일 뒤에 존재하는 ‘세계’와 데이터 생성 메커니즘을 정의한 뒤, 그 메커니즘에서 관측 가능한 데이터와 분석 과제, 평가 기준을 생성한다. 파일을 먼저 모은 다음 답을 추정하는 대신, 목표 결론을 생성 과정에서 정하고 에이전트가 볼 수 있는 자료를 그에 맞춰 만든다는 발상이다.

핵심 구조

• 메커니즘 우선 생성: 개체, 변수, 관계를 먼저 기술하고 그 결과로 데이터 파일을 만든다.
• 환경과 과제의 통합 설계: 데이터, 질문, 평가 루브릭을 같은 과정에서 생성해 서로 어긋나는 문제를 줄인다.
• 복원 가능성 감사: 에이전트가 관찰할 수 있는 파일만으로 목표 결론을 실제로 도출할 수 있는지 독립적으로 점검한다.
• 훈련과 평가의 연결: 루브릭을 일반 평가뿐 아니라 강화학습 보상으로도 사용할 수 있다.

연구진은 사람의 선호를 바탕으로 질문이 현실적인지 선별했다. 그 결과 50개의 홀드아웃 세계와 16개 분야에서 100개 과제를 골라 DataWorld-Bench를 구성했다. 훈련용으로는 서로 겹치지 않는 1,037개 세계에서 2,135개 과제를 생성해 훈련과 평가 사이의 메커니즘 중복을 줄였다.

실험에서 확인된 점

10개 프런티어 모델을 평가한 결과, 벤치마크는 여전히 어려웠으며 특히 단순 계산이 아니라 ‘통찰 발견’을 요구하는 과제에서 난도가 높았다. 모델은 집계, 통계 계산, 코드 실행을 수행하면서도 그 결과가 무엇을 의미하는지, 어떤 패턴이 중요한지를 설명하지 못할 수 있다. 연구진은 이를 계산 능력과 통찰 능력 사이의 지속적인 격차로 설명한다.

연구진은 해답 궤적을 증류하지 않고 합성 과제를 이용해 RL-zero 훈련을 진행했다. Qwen3.6-35B-A3B에서 출발한 DataWorld-35B-A3B는 동일 조건 평가에서 DataWorld-Bench, DAComp, DABstep-Hard, JobBench 점수를 각각 7.06, 14.28, 20.90, 12.13점 높였다.

의미와 한계

Data World의 핵심 가치는 합성 데이터의 양을 늘리는 데만 있지 않다. 연구자는 생성 메커니즘을 정의하고, 관측 데이터를 만들며, 목표 결론이 실제로 복원 가능한지 감사한 뒤, 같은 구조를 훈련과 평가에 재사용할 수 있다. 파일을 처리하고 코드를 실행하며 최종적으로 업무 판단을 내려야 하는 에이전트에는 이런 통제 가능한 환경 설계가 중요한 기반이 될 수 있다.

다만 결과의 품질은 생성 메커니즘과 질문이 현실을 얼마나 잘 반영하는지에 달려 있다. 실제 데이터에는 결측치, 측정 오류, 교란 요인, 여러 원인이 함께 존재한다. 따라서 통제된 합성 세계에서 복원 가능한 결론이 현실의 복잡한 환경에서도 같은 방식으로 드러난다고 보기는 어렵다. Data World는 실제 업무 환경을 완전히 대체하기보다는, 검증 가능한 훈련과 현실 데이터 분석을 연결하는 기반으로 이해하는 편이 적절하다.

출처: Hugging Face Daily Papers