로보틱스·피지컬 AI

UNITAS는 관측, 로봇과 사람의 움직임, 주변 환경의 변화를 하나의 미터 단위 3D 프레임에서 처리하는 체화 조작용 3D 네이티브 월드 액션 모델입니다.

GroundingPI는 대상의 정확한 위치 지정을 물리 지능의 핵심 지각 능력으로 설계한 40억 파라미터 모델입니다. 34개 그라운딩 벤치마크에서 평균 73.68%를 기록했고 로봇 조작과 자율주행 성능도 높였습니다.

ENCORE는 로봇 시연을 구조화된 증거 묶음으로 변환해 코딩 에이전트가 조작 정책을 작성하도록 돕습니다. LIBERO-PRO와 RoboDojo, 실제 양팔 로봇 실험에서 시연 기반 접근의 효과를 확인했습니다.

Artisan은 멀티에이전트 생성 파이프라인에 물리 시뮬레이션 피드백을 결합해 관절형 3D 에셋을 만든다. 외관 재현을 넘어 움직임, 안정성, 충돌 회피, 시뮬레이션 활용 가능성을 함께 평가한다.

EmbodiedCLBench는 체화형 시뮬레이션에서 에이전트가 기초 과제의 경험을 보지 못한 복합 과제에 재사용할 수 있는지 평가합니다. 실험에서는 경험의 효과가 확인됐지만, 샘플을 늘려도 성능이 비례해 향상되지는 않았습니다.

아마존은 창고에서 100만 대가 넘는 로봇을 운용하고 있지만, 여전히 150만 명이 넘는 인간 직원을 고용하고 있다. 다음 단계의 자동화는 인간을 완전히 없애기보다 사람과 기계의 협업 방식을 바꾸는 데 가깝다.

TouchScale은 통일된 웨어러블 장비로 수집한 약 500시간의 인간 시각·촉각 상호작용 데이터셋입니다. 동기화된 1인칭 영상과 양손 촉각 신호를 통해 센서 간 접촉 예측과 실제 로봇 조작 성능을 평가합니다.

Reflex는 1인칭 RGB-D 영상에서 날아오는 상자의 움직임을 추정하고, 팔뿐 아니라 몸통과 다리까지 협응해 상자를 받도록 하는 프레임워크입니다. 시뮬레이션에서 85.7%의 성공률을 기록했으며 실제 Unitree G1에서도 테스트됐습니다.

SuperNav는 사전 학습된 멀티모달 모델이 사용자의 요청과 주변 장면을 해석하도록 하고, 실제 이동은 전문 내비게이션 도구에 맡기는 로봇 시스템입니다. 단일 객체, 다중 객체, 수요 기반 작업과 HM3D 및 실제 사족보행 로봇에서 평가되었습니다.

SimpleICL은 로봇이 시각적 시연에서 실제로 무엇을 배워야 하는지라는 로봇 인컨텍스트 학습의 핵심 모호성을 다룬다. 경량 시각 프롬프트 인코더와 저비용 데이터 수집 절차를 통해 조작 작업을 검증했다.

UniWAM은 물리 추론, 시각적 세계 생성, 행동 예측을 하나의 학습 프레임워크로 통합한 세계-행동 모델입니다. 인간 1인칭 영상, 로봇 데이터, 시각 질의응답 데이터를 함께 활용해 로봇의 환경 이해와 행동 생성을 개선하려고 합니다.

NVIDIA 연구진이 실시간 로봇 제어에서 긴 시각 이력을 활용하는 Long-WAM을 공개했습니다. 단순히 컨텍스트를 늘리는 대신 자기회귀 영상 사전학습과 시스템 최적화를 결합한 접근입니다.

RobotWorld는 멀티모달 에이전트가 지시와 시각 정보를 실제 로봇 행동으로 전환할 수 있는지 평가하는 시뮬레이션 벤치마크입니다. 에이전트는 복잡한 인식·제어 절차를 만들 수 있지만 상태 추적, 실패 복구, 완료 판단에서는 여전히 불안정한 모습을 보입니다.

DiVeR는 샘플링된 행동 표현의 분산을 분석해 로봇 궤적에서 의사결정이 중요한 상태를 찾아낸다. 이 신호로 검증기 학습의 가중치를 조정해 단계별 라벨이나 추가 환경 상호작용 없이 VLA의 테스트 시 행동 선택을 개선한다.

마찰, 백래시, 탑재 하중 변화와 마모 때문에 로봇은 VLA가 지시한 대로 움직이지 않을 수 있다. 새로운 방법은 명령과 실제 운동의 차이를 이용해 보상이나 라벨 없이 배포 중 VLA를 적응시킨다.

EyeRobot 2.0은 두 개의 시점을 3D 응시점으로 돌리고 이미지 중심에 더 많은 시각 토큰을 배정한다. 단일 스테레오 카메라로 정밀한 양손 조작을 구현하려는 접근이다.

MotorMind는 범용 비전·언어 모델이 로봇의 관찰, 행동 선택, 실행 확인을 직접 수행할 수 있는지 검증하는 실행 프레임워크다. 중간 수준 행동 표현과 비동기 피드백을 활용해 전용 정책이나 코딩 에이전트 없이 로봇 조작을 시도한다.

Skill2Real은 작업별 정책을 다시 미세 조정하는 대신, 공통 API를 통해 실행 가능한 로봇 조작 기술을 이전하는 에이전트형 프레임워크를 제안한다. 계층적 메모리와 제안자·검증자·거버너 루프를 활용해 동결된 시뮬레이션 기술의 실제 로봇 적용 가능성을 평가했다.

PyRUA-Lean은 로봇 프리미티브를 실행 가능한 Python 셀로 조합하고, 조건 확인과 국소 재시도를 실행 환경에서 처리하는 프레임워크입니다. 700개 시뮬레이션 과제에서 같은 LLM 호출 예산으로 성공률을 63.1%에서 71.7%로 높였으며, 두 방식이 모두 해결한 과제에서는 입력 토큰을 65% 줄였습니다.

로봇이 목표물로 이동하는 동안에도 물체의 위치는 바뀔 수 있습니다. EvolvingNav는 시간 정보가 담긴 3D 기억과 확률적 신념 업데이트를 결합해 변화하는 환경에서의 지속적 탐색을 시도합니다.

로봇 인컨텍스트 학습을 네 가지 실행 인터페이스로 정리한 서베이를 소개합니다. 시연에서 얻은 요구사항을 환경과 물체가 달라져도 유지하는 방법과 평가 기준을 살펴봅니다.