Embodied First Exam: 코딩 에이전트를 위한 로봇 입학시험

들어가며

로보틱스 연구에서 새로운 흐름이 나타나고 있습니다. 미리 학습된 시각-운동 정책을 실행하는 대신, 코딩 에이전트가 과제를 이해하고 프로그램을 작성하며 필요하면 제어 정책까지 학습한 뒤 로봇을 움직이게 하는 방식입니다. 하지만 기존 로봇 벤치마크는 대체로 특정 시각-운동 정책의 성능을 측정하도록 설계되어 있습니다. 에이전트가 어떤 제어 방식을 선택할지 결정하고, 환경의 피드백을 반영하며, 서로 다른 로봇을 안정적으로 다룰 수 있는지는 충분히 평가되지 않았습니다.

Embodied First Exam은 이 공백을 겨냥한 에이전트 중심 로봇 평가 프레임워크입니다. 이름처럼 코딩 에이전트가 실제 물리 세계에 진입하기 전에 치르는 첫 시험을 목표로 합니다.

핵심 내용

• 제어 방식을 미리 정하지 않는다. 에이전트는 직접 명령을 내리거나, 제어 코드를 작성하거나, 정책을 학습할 수 있습니다. 여러 방식을 조합하는 것도 가능합니다. 따라서 최종 행동뿐 아니라 ‘어떻게 제어할 것인가’에 대한 선택도 평가 대상이 됩니다.
• 과제 범위가 넓다. 총 1,156개 과제, 35개 스위트, 47대의 로봇을 포함합니다. 9개 신규 스위트는 단순한 집기와 놓기를 넘어 공간 퍼즐, 정교한 조작, 다중 로봇 상호작용, 동적 전신 제어, 시뮬레이션 간 엔지니어링을 다룹니다.
• 세 가지 평가 설정을 제공한다. 표준 설정에서는 센서 관측만 제공되고 기본적으로 환경을 리셋할 수 없습니다. 실시간 설정에서는 에이전트가 추론하는 동안에도 환경이 계속 움직입니다. 특권 설정에서는 시뮬레이터의 전체 상태와 무제한 리셋을 사용할 수 있어, 학습 목적의 근사적 상한을 제공합니다.
• 현재 성능은 아직 제한적이다. 456개 핵심 과제에서 평가된 8개 에이전트 가운데 가장 높은 성능을 보인 GPT-6 Astra in Codex도 표준 설정 성공률은 34%였습니다.
• 실패 단계까지 분석한다. 연구진은 각 시도가 어느 단계에서 실패했는지 표시하고, 에이전트·설정·단계별 실패 양상을 비교합니다. 이를 통해 인식, 계획, 코드 생성, 정책 학습, 실행 중 어느 부분이 병목인지 살펴볼 수 있습니다.

의미와 영향

이 연구의 핵심은 단순히 과제 수를 늘린 데 있지 않습니다. 평가의 단위를 하나의 제어 정책에서, 제어 전략을 선택하고 실행하는 에이전트 전체로 확장했다는 점이 중요합니다. 에이전트는 과제를 해석하고, 적절한 제어 방식을 고르고, 센서 정보를 활용해 행동을 갱신하며, 제한된 조건에서 작업을 끝내야 합니다.

표준 설정과 실시간 설정은 현실성을 높이는 장치입니다. 시뮬레이터의 전체 상태를 보고 언제든 초기화할 수 있다면 해결책을 반복 탐색하기 쉽습니다. 그러나 현실의 로봇은 관측이 제한되고, 실패했다고 해서 항상 처음부터 다시 시작할 수 있는 것도 아닙니다. 환경이 계속 움직이는 상황에서는 추론 시간 자체가 제어 실패로 이어질 수 있습니다.

표준 설정에서 34%라는 결과는 코드를 잘 작성하는 능력과 신뢰할 수 있는 물리적 제어 능력이 동일하지 않다는 점을 보여줍니다. 그렇다고 코딩 에이전트의 가능성을 부정하는 결과는 아닙니다. 오히려 어떤 능력이 부족한지 비교할 수 있는 기준선을 제공합니다. 향후 연구는 성공률뿐 아니라 제어 방식 선택, 오류 복구, 서로 다른 로봇에 대한 일반화까지 함께 살펴볼 수 있습니다.

다만 이 프레임워크는 시뮬레이션 기반의 첫 시험이며, 실제 로봇 배치를 위한 최종 안전 인증은 아닙니다. 그럼에도 물리 세계에 진입하기 전 코딩 에이전트가 감당해야 할 문제를 구체화한다는 점에서 의미가 있습니다. 에이전트가 로봇을 제어할 수 있는지뿐 아니라, 실패가 감지·계획·코드·학습·실행 중 어디에서 발생하는지까지 묻기 때문입니다.

출처: Hugging Face Daily Papers