범용 에이전트가 로봇을 직접 조종하는 Agent as Policy

들어가며

로봇이 현실 세계에서 작업하려면 물체를 인식하는 것만으로는 부족합니다. 인식 결과를 연속적인 움직임으로 바꾸고, 접촉이나 위치 오차로 인해 계획이 어긋났을 때 다음 행동을 조정해야 합니다. 기존 로봇 조작 시스템은 대체로 작업과 환경별 데이터를 수집하고 전용 정책을 학습하는 방식에 의존해 왔습니다.

Agent as Policy(AGP) 는 범용 코딩 에이전트를 물리 로봇 인터페이스에 직접 연결하는 접근법입니다. 에이전트는 카메라 등에서 얻은 시각 정보를 해석하고, 실행 가능한 프로그램을 작성하며, 로봇에 모션 명령을 보냅니다. 이후 실제 결과를 확인하고 코드나 후속 행동을 다시 수정합니다. 즉, 처음 만든 계획을 끝까지 재생하는 것이 아니라 현실의 피드백을 의사결정 과정에 포함합니다.

핵심 내용

• 계획과 실행의 통합: AGP에서 에이전트는 고수준 절차만 제안하지 않습니다. 자신의 추론을 프로그램과 로봇 명령으로 변환해야 합니다.
• 실행 시점의 폐루프: 물체의 위치, 자세, 접촉 결과가 예상과 다르면 새로운 행동을 선택하거나 기존 프로그램을 고칠 수 있습니다.
• 작업별 학습을 요구하지 않음: 연구는 모델 가중치를 고정하고, 평가 대상 작업이나 환경마다 별도의 학습을 하지 않는 구성을 강조합니다.
• 서로 다른 조작 과제: 사람의 영상을 바탕으로 한 조립, 목표 이미지에서 출발한 블록 구성, 주사위 방향 전환, 목표 지점 투척, 양팔 수건 접기가 포함됩니다. 정밀 조작, 동적 동작, 변형 물체를 모두 다룹니다.
• 절차 재사용: 저장된 프로그램과 절차를 반복 실행에 재사용하면 실행 시간이 줄어듭니다. 런타임에 생성된 해결책이 일정 부분 재활용될 수 있음을 보여주는 대목입니다.

결과와 한계

세 가지 블록 구성에서 보고된 성공률은 100%, 100%, 80%입니다. 추가 자료에 따르면 조립, 블록 구성, 주사위 방향 전환의 각 평가 설정에서도 10회 중 최소 8회의 성공을 기록했습니다. 이는 범용 에이전트가 여러 실제 로봇 작업에서 작동 가능한 행동을 만들 수 있음을 시사합니다.

다만 이 결과를 곧바로 범용 로봇 능력의 완성으로 해석해서는 안 됩니다. 제공된 자료만으로는 전체 하드웨어 구성, 작업 규모, 실패 유형, 전용 정책과의 체계적인 비교를 확인할 수 없습니다. 따라서 이번 연구는 개념의 실현 가능성을 보여주는 단계이며, 다양한 환경에서의 강건성과 일반화 범위는 추가 검증이 필요합니다.

의미와 영향

AGP는 로봇 정책을 고정된 매개변수 모델로만 보지 않고, 관찰·프로그램 생성·도구 호출·행동 수정이 반복되는 런타임 과정으로 재정의합니다. 새로운 작업마다 별도의 정책을 훈련해야 하는 부담을 줄이고, 시연 영상이나 목표 이미지, 자연어 지시를 여러 작업에서 활용할 공통 입력으로 만들 가능성이 있습니다.

반면 코드 오류, 시각적 오판, 예측하지 못한 접촉은 곧바로 물리적 위험으로 이어질 수 있습니다. 실제 가정이나 산업 환경에 적용하려면 행동 검증, 안전 제약, 장시간 운전 평가, 실패 복구 기능이 중요합니다. AGP의 핵심 기여는 범용 로봇 제어가 이미 해결됐다는 선언이 아니라, 범용 에이전트의 추론과 프로그래밍을 물리적 행동의 연속 루프에 연결하는 설계 방향을 제시했다는 데 있습니다.

출처: Hugging Face Daily Papers