데이터베이스 스키마 없이 기업 데이터를 생성하는 STS

배경

기업용 AI 에이전트를 학습하고 평가하려면 단순한 질의응답 예시를 넘어 실제 업무에 가까운 데이터와 도구 호출, 권한, 상태 전환, 다단계 워크플로가 필요합니다. 하지만 기업 시스템과 업무 기록은 개인정보 보호, 법적 규제, 영업상 이유로 외부 연구에 제공하기 어렵습니다. 데이터베이스 스키마조차 공개되지 않는 경우가 많습니다.

합성 데이터는 자연스러운 대안이지만, 기존 방식은 두 가지 요구를 동시에 만족시키기 어렵습니다. 테이블 기반 합성기는 통계적 패턴을 따라갈 수 있지만 관계나 업무 규칙을 위반하는 레코드를 만들 수 있습니다. 반대로 절차 기반 생성기는 유효한 데이터를 만들기 쉽지만, 영역별로 사람이 절차를 작성해야 하고 실제 데이터 분포를 충분히 재현하지 못할 수 있습니다.

SAP 연구진의 논문 「Synthesis Through Simulation」은 이 문제를 테이블 생성이 아니라 시스템 상호작용의 문제로 재정의합니다. LLM 에이전트가 데이터베이스를 직접 읽거나 쓰는 대신, 시뮬레이션된 기업 환경에서 API를 호출하며 데이터를 생성하는 방식입니다.

STS의 작동 방식

STS 환경은 기업 객체를 생성, 조회, 수정하는 작업을 API로 제공합니다. 각 API에는 정책과 상태에 따른 규칙이 포함되어 있습니다. 에이전트의 호출이 허용될 때만 환경의 상태가 바뀌고, 그 결과 생성된 객체가 데이터에 반영됩니다. 자유로운 텍스트나 행 단위 생성이 아니라, 시스템이 허용하는 작업을 누적해 데이터를 구성하는 셈입니다.

이 구조는 다음과 같은 역할 분리를 만듭니다.

• 환경이 유효성을 검사한다. 객체 간 관계, 권한, 상태 전환, 업무 제약을 생성 후 보정하는 대신 작업 실행 시점에 확인합니다.
• 에이전트가 분포를 구성한다. 어떤 API를 어떤 순서로 호출하고 어떻게 조합할지 결정해 다양한 객체와 업무 흐름을 만듭니다.
• 스키마 의존성을 낮춘다. STS의 Generalist Populator는 데이터베이스 구조를 직접 확인하지 않고 API의 상호작용과 피드백을 통해 가능한 작업을 파악합니다.
• 영역 확장을 단순화한다. 업무별 규칙은 각 시뮬레이션 환경에 넣고, 데이터 생성 에이전트는 여러 영역에서 공통으로 사용할 수 있도록 설계합니다.

평가 결과

연구진은 10개의 시뮬레이션 환경에서 Generalist Populator를 평가했습니다. 데이터베이스 스키마에 접근하지 않은 조건에서 평균 주변부 충실도 0.88과 모든 환경에서 100%의 제약 만족도를 보고했습니다. 주변부 충실도는 개별 속성의 분포가 목표 분포에 얼마나 가까운지를 나타내고, 제약 만족도는 생성 결과가 환경의 유효성 규칙을 지키는지를 보여줍니다.

비교 실험은 단순한 표 구조만으로는 충분하지 않다는 점을 보여줍니다. 통계적 합성기는 필요한 초기 데이터가 없다는 이유로 10개 환경 중 7개에 적용할 수 없었습니다. 또 데이터베이스 스키마 정보를 제공받은 에이전트도 항공 환경에서는 궤적의 82%에 실패했습니다. 작업 간 결합도가 높은 워크플로에서는 필드와 테이블을 아는 것보다 작업 순서와 상태 의존 규칙을 이해하는 것이 더 중요할 수 있습니다.

의미와 한계

STS는 기업 데이터 합성을 정적인 표 생성에서 시스템 시뮬레이션으로 전환합니다. 결과물은 레코드뿐 아니라 도구 호출에 가까운 상호작용 궤적이 될 수 있어, 기업 에이전트의 학습과 평가를 위한 통제된 환경을 제공할 가능성이 있습니다. 실제 데이터를 직접 노출하지 않고도 업무형 행동을 연구할 수 있다는 점이 핵심입니다.

다만 STS의 보장은 시뮬레이션 환경 내부에 한정됩니다. 환경이 중요한 업무 규칙을 빠뜨리거나 실제 기업과 다른 작업 분포를 갖는다면, 생성 데이터는 내부적으로 유효해도 실제 운영을 대표하지 못할 수 있습니다. 복잡한 워크플로 탐색 비용, API 피드백 설계, 개별 속성을 넘어선 관계 분포 평가도 추가로 검토해야 합니다.

연구진은 전체 프레임워크와 10개 환경, 생성 데이터셋을 공개했습니다. STS는 기업 에이전트 연구에서 무제한적인 표 생성보다, 규칙을 갖춘 환경과의 상호작용을 어떻게 설계할 것인지가 중요하다는 방향을 제시합니다.

출처: Hugging Face Daily Papers