ACE-Data-0: 실제 가정을 체화 AI 데이터 엔진으로 바꾸다

도입

체화 AI의 어려움은 모델 구조만의 문제가 아니다. 현실 세계에서 행동하는 로봇이나 AI는 사람이 무엇을 보고, 몸을 어떻게 움직이며, 손으로 물체를 어떻게 다루고, 접촉·소리·촉각·물체 상태 변화가 시간에 따라 어떻게 이어지는지를 함께 배워야 한다. ACE-Data-0은 이러한 전체 경험을 하나의 동기화된 데이터 흐름으로 담으려는 시도다.

핵심 내용

• 인간 중심 캡처 엔진: 논문은 Ambient Capture Engine, 즉 ACE를 제안한다. 이는 실제 가정 환경을 공간적으로 보정되고 시간적으로 동기화된 기록 스튜디오처럼 바꾸는 시스템이다.
• 두 가지 공간 규모: 테이블 스케일 설정은 손과 물체 사이의 정밀 조작을 포착하고, 룸 스케일 설정은 가구가 있는 집 안에서의 전신 움직임, 이동, 장기 활동을 기록한다.
• 동기화된 멀티모달 데이터: 1인칭 영상과 다중 시점 외부 영상을 포함해 전신 동작, 관절화된 손 움직임, 물체 형상과 6-DoF 궤적, 오디오, 촉각 신호를 하나의 데이터 스트림으로 묶는다.
• 데이터 규모: ACE-Data-0은 150시간, 1,700만 비디오 프레임, 200개 작업 범주를 포함한다. 50명의 참가자가 2개 환경에서 수행한 총 7만5천 개 상호작용 에피소드로 구성된다.
• 자연스러운 행동 변이: 세부 절차를 지시하기보다 목표 수준의 지시를 제공해 참가자마다 다른 해결 방식과 행동 패턴을 보존한다.

의미와 영향

기존 체화 AI 데이터셋은 시점, 모달리티, 공간 범위가 분리된 경우가 많았다. 손 조작은 잘 보이지만 전신 맥락이 부족하거나, 외부 영상은 있지만 1인칭 시야가 없거나, 움직임은 기록되지만 접촉과 물체 상태 정보가 충분하지 않은 식이다. ACE-Data-0의 강점은 이러한 단서를 같은 시간축 위에 정렬한다는 점이다.

논문은 신호에서 장면 구성 요소, 다시 상호작용으로 이어지는 계층적 벤치마크도 제시한다. 저자들은 최신 방법들이 접촉, 가림, 자기 움직임, 긴 시간 범위의 작업에서 여전히 큰 약점을 보인다고 설명한다. 따라서 이 데이터셋은 학습용 자원일 뿐 아니라 체화 모델이 실제 물리적 상호작용을 얼마나 잘 이해하는지 평가하는 기준이 될 수 있다.

모방학습, 월드 모델, 비전-언어-행동 시스템, 가정용 로봇 관점에서 ACE-Data-0은 더 풍부한 인간 시연 데이터를 제공한다. 다만 현재 범위는 2개 환경과 50명의 참가자에 기반한 출발점이다. 앞으로 더 많은 가정, 물체, 개방형 장기 과제로 확장할 수 있는지가 핵심 과제가 될 것이다.

출처: Hugging Face Daily Papers