EmbodiedLab, 실험으로 ‘알아가는’ 구현 에이전트를 평가하다

들어가며

기존의 구현 지능 벤치마크는 로봇이 물체를 집고 옮기거나, 장면을 정해진 상태로 바꾸는 과제를 주로 다뤘다. 이런 과제는 인식, 계획, 제어 능력을 평가하는 데 유용하지만 과학적 작업의 핵심적인 한 가지를 충분히 다루지는 못한다. 답을 미리 알 수 없을 때 로봇이 직접 행동하고 관찰하면서 답을 찾아낼 수 있는가라는 질문이다.

EmbodiedLab는 이 문제를 “변화시키기 위해 행동하는 것”에서 “알기 위해 행동하는 것”으로 확장한다. 에이전트는 목표와 실험 장치만 전달받고, 어떤 절차를 사용할지 스스로 결정한다. 물리 기반 시뮬레이션 실험실을 조작하고 카메라로 계기의 반응을 읽으면서, 과제가 요구하는 결과를 알아낼 때까지 탐색한다.

핵심 내용

• 미리 정해진 상태가 아니라 미지의 결과를 다룬다. 실험마다 시스템 매개변수가 다시 샘플링되므로 고정된 정답을 암기해 해결할 수 없다.
• 실험 절차를 에이전트가 설계한다. 무엇을 조작하고 측정할지, 어떤 순서로 진행할지, 언제 탐색을 끝낼지를 직접 판단해야 한다.
• 획득한 지식을 정량적으로 검증한다. 5개 과학 분야의 30개 실험과 14종 장치 플랫폼을 사용하며, 학습한 내용과 필요한 물리 상태를 모두 평가한다. 최종 결론은 에피소드에서 실제로 기록된 측정값으로 뒷받침되어야 한다.
• 관찰과 조작을 하나의 고리로 평가한다. 연구진은 개발자가 제공한 코딩 에이전트 환경에서 6개 최신 모델을 평가하고, 기본 제어와 추가 인식·동작 계획·조작 기술의 효과를 비교했다.

의미와 영향

기본 제어 조건에서 가장 강한 에이전트도 성공률이 절반에 미치지 못했다. 모든 에이전트에서 실패의 대부분은 과학적 추론 자체보다 실험 장치와 상호작용하는 과정에서 발생했다. 그럴듯한 실험 계획을 제시할 수 있어도, 실제 장치를 정확히 조작하고 계기를 읽으며 측정에 필요한 상태를 유지하는 일은 별개의 문제라는 뜻이다.

비교 결과는 기초적인 조작 능력의 중요성도 보여준다. 조작 기술을 추가했을 때 약한 에이전트의 성능 향상이 인식과 동작 계획을 추가했을 때보다 컸다. 이는 인식과 계획이 중요하지 않다는 의미가 아니다. 오히려 실험형 구현 지능의 초기 병목이 제어부를 찾고, 정확한 힘과 동작을 적용하며, 장치 상태를 유지하고, 피드백에 따라 절차를 수정하는 능력에 있을 가능성을 보여준다.

EmbodiedLab는 과학적 발견, 능동적 탐색, 로봇 조작을 하나의 평가 루프로 묶는다. 과학 질문에 답하거나 실험 절차를 설명하는지만 보는 것이 아니라, 미지의 조건에서 절차를 실행하고 증거를 수집한 뒤 관찰 기록으로 검증 가능한 결론을 내리도록 요구한다. 따라서 실험을 말로 설명하는 모델과 실제로 실험을 수행할 수 있는 시스템 사이의 차이를 측정하는 기반이 될 수 있다.

출처: Hugging Face Daily Papers