Reflex, 시각으로 날아오는 상자를 받는 휴머노이드 제어

들어가며: 상자를 받는 일은 예측의 문제다

사람이 날아오는 상자를 받는 모습은 단순한 반사 행동처럼 보입니다. 하지만 실제로는 상자의 속도와 방향을 파악하고, 도착 지점을 예측하며, 균형을 유지한 채 몸을 이동하고, 적절한 순간에 두 손을 맞춰야 합니다. 휴머노이드 로봇에게 이 작업은 시각 인식, 짧은 시간 범위의 예측, 자세 안정화, 전신 협응을 약 1초 안에 결합해야 하는 복합 과제입니다.

워싱턴대학교 연구팀이 제안한 Reflex는 날아오는 상자를 받는 과제를 통해 로봇이 자신의 시점에서 환경에 반응하는 방법을 연구합니다. 이 시스템은 모션 캡처나 물체 마커, 손끝만을 제어하는 방식 대신 1인칭 RGB-D 카메라를 사용합니다. 상자가 움직이는 동안 관측에는 지연과 누락이 발생할 수 있으므로, 실제 작업 환경에서 마주칠 수 있는 조건에 더 가깝게 전신 반응을 평가합니다.

세 단계로 나눈 학습 구조

Reflex는 이미지에서 곧바로 관절 명령을 생성하는 단일 종단간 모델을 처음부터 학습하지 않습니다. 대신 문제를 세 단계로 나누고, 상자의 운동을 나타내는 компакт한 표현을 공통 연결부로 사용합니다.

• 먼저 전신으로 받는 방법을 학습한다. 첫 단계에서는 강화학습으로 상태 기반 정책을 훈련합니다. 로봇은 팔만 뻗는 것이 아니라 몸통과 다리를 함께 사용해 상자와 접촉할 위치로 이동합니다.
• 다음으로 운동 상태를 추정한다. 두 번째 단계에서는 지연되고 불완전한 관측을 바탕으로 움직이는 상자의 동역학을 추론합니다. 현재 위치뿐 아니라 상자가 어느 방향으로 이동할지를 고려하도록 만드는 과정입니다.
• 마지막으로 시각을 연결한다. 세 번째 단계에서는 1인칭 RGB-D 영상에서 앞서 정의한 운동 표현을 복원하는 인코더를 학습합니다. 이때 전신 컨트롤러는 고정되므로 시각 모델이 몸 전체의 제어를 처음부터 다시 배울 필요가 없습니다.

이런 분해는 각 능력에 더 직접적인 학습 신호를 제공합니다. 시각 인코더의 역할도 복잡한 관절 움직임을 직접 출력하는 것이 아니라, 제어에 필요한 중간 상태를 추정하는 일로 제한됩니다. 따라서 시각 입력에서 곧바로 행동을 학습하는 방식보다 확장하기 쉬운 구조를 만들 수 있습니다.

시간 정보가 핵심인 이유

움직이는 상자를 이해하려면 한 장의 이미지로는 부족합니다. 연속 프레임을 보면 상자의 현재 위치뿐 아니라 속도와 궤적에 대한 단서도 얻을 수 있습니다. 시각적 시간 이력을 제거하자 정면에서 던진 경우 성공률이 35.6%포인트, 측면으로 치우친 경우에는 39.8%포인트 하락했습니다.

시뮬레이션에서 1인칭 RGB-D 입력을 사용한 Reflex의 상자 받기 성공률은 85.7%였습니다. 상자에 대한 특권적 관측을 직접 제공했을 때의 성공률은 87.9%였습니다. 두 조건의 차이가 크지 않다는 점은 시각 인코더가 컨트롤러에 필요한 운동 정보를 상당 부분 복원할 수 있음을 보여줍니다. 동시에 시간 정보를 포함한 시각 처리가 반응형 로봇 제어에서 중요하다는 점도 확인됩니다.

Unitree G1에서의 실제 테스트

연구팀은 Reflex를 실제 Unitree G1 휴머노이드에 적용하고 사람이 던진 상자를 받는 실험을 진행했습니다. 투척자와의 거리가 2.5m일 때 성공률은 65%, 5m일 때는 40%였습니다. 같은 거리에서 인간 포수의 성공률과 비교하면 로봇은 각각 인간 성능의 76%와 59% 수준에 도달했습니다.

실제 로봇에서 동작했다는 점은 의미가 있지만, 인간과의 격차도 분명합니다. 거리가 멀어질수록 시각 지연과 궤적 불확실성이 커지고, 접촉 전에 로봇이 이동해야 할 거리도 늘어납니다. 또한 이번 평가는 상자 받기라는 특정 시나리오에 집중했습니다. 물체의 모양과 무게, 투척 방식, 가림, 조명 조건이 달라졌을 때의 성능은 추가 검증이 필요합니다.

의미와 영향

Reflex의 핵심은 로봇이 물체를 인식하는 데서 멈추지 않고, 그 물체의 움직임을 예측해 전신 행동으로 연결하도록 만드는 학습 절차입니다. 먼저 몸의 제어를 학습하고, 다음으로 대상의 동역학을 추정한 뒤, 마지막으로 시각을 중간 표현에 연결합니다. 이 방식은 이동 장애물 회피, 작업 중 물건 전달, 사람과의 동적 협업 같은 과제에도 확장될 가능성이 있습니다.

Reflex가 휴머노이드를 모든 상황에 대응하는 로봇으로 만든 것은 아닙니다. 그러나 정적인 물체 인식을 짧은 시간의 예측과 전신 반응으로 전환하는 구체적인 경로를 제시했다는 점에서, 구현 가능한 체화 지능 연구의 사례로 볼 수 있습니다.

출처: Hugging Face Daily Papers