Gemini Robotics ER 2, 로봇에 영상 이해와 작업 오케스트레이션을 더하다

도입

Google DeepMind가 Gemini Robotics ER 2를 발표했다. 이 모델은 로봇을 위한 고수준 ‘체화 추론’ 모델로, 로봇의 두뇌에 가까운 역할을 목표로 한다. 관절이나 모터를 직접 제어하기보다는 사람의 지시를 이해하고, 연속 영상 피드를 관찰하며, 여러 단계의 작업을 계획한 뒤 VLA 모델, 내비게이션 API, 매니퓰레이터 제어, Google Search, 사용자 정의 함수 같은 하위 도구에 실행을 넘기는 구조다.

이번 업데이트의 핵심은 단순한 공간 인식 향상이 아니다. 로봇이 움직이는 동안에도 현재 작업이 어디까지 진행됐는지, 실패가 발생했는지, 다음 단계로 넘어갈 시점인지 판단하도록 만드는 데 있다.

핵심 포인트

• 물리 에이전트를 위한 도구 오케스트레이션: 개발자는 하위 제어 인터페이스를 도구로 선언할 수 있다. ER 2는 복잡한 작업을 단계로 나누고, 상황에 맞는 도구를 호출해 실행 흐름을 구성한다.
• 낮은 지연의 실행 루프: Gemini Live API의 양방향 스트리밍 엔드포인트와 통합되어, 로봇이 멈춰서 생각하는 듯한 단절을 줄이고 행동 중에도 추론을 이어가도록 설계됐다.
• 영상 기반 진행 상황 추적: DeepMind의 평가에서는 영상 프레임을 020%부터 80100%까지 다섯 구간으로 분류했다. ER 2는 진행률 분류 작업에서 57.4% 정확도를 기록했다.
• 중요 순간 탐지: 컵에 커피를 붓다가 멈춰야 하는 순간처럼 핵심 이벤트가 발생한 시점을 찾는 능력도 강화됐다. moment-finding 작업에서 91.3% 정확도와 0.96초 평균 절대 거리가 보고됐다.
• 다중 로봇 협업: 서로 다른 형태의 로봇이 공유된 의미 이해를 바탕으로 작업을 넘겨받을 수 있다. DeepMind는 Apptronik Apollo 2와 Franka F3 Duo의 협업 사례를 제시했다.
• 공간 추론과 안전성 개선: 성공·실패 탐지, 계기판 읽기, 공간 VQA, 안전 지시 준수, 사람 접근 인식 관련 평가에서도 개선을 강조했다.

의미와 영향

현실 세계의 로봇 작업은 단일 동작보다 단계 사이의 불확실성에서 자주 실패한다. 물체를 집었지만 떨어뜨리거나, 액체를 너무 많이 붓거나, 도구가 어긋나거나, 완료되지 않았는데 다음 단계로 넘어가는 일이 생긴다. ER 2는 영상 이해, 시간적 판단, 도구 호출을 결합해 로봇이 자기 작업을 더 잘 감독하도록 하려는 시도다.

다중 로봇 협업은 또 다른 방향성을 보여준다. 하나의 만능 로봇에 모든 역할을 맡기기보다, 바퀴형 로봇, 휴머노이드, 로봇팔이 각자의 장점을 살리고 상위 모델이 역할 분담과 인계를 조율하는 방식이다. 다만 현재 공개된 근거는 DeepMind의 자체 평가와 데모가 중심이다. 실제 현장에서의 안정성, 지연 시간, 비용, 안전 경계는 더 넓은 검증이 필요하다.

출처: Google DeepMind