로보틱스·피지컬 AI

홍콩과학기술대 연구진이 로봇 조작을 위한 행동 구동형 시각 시뮬레이터 WorldLine을 제안했다. 이 시스템은 로봇-물체 동역학 학습과 서로 다른 로봇의 제어 신호를 연결하는 과정을 분리한다.

EmbodiedMemory-Bench는 장기간 환경과 상호작용하는 구현형 에이전트의 기억 능력을 실행 가능한 과제로 평가하는 벤치마크입니다. 세밀한 시각 기억부터 과거 경험의 일반화까지 측정하고, 구조화된 외부 메모리 시스템 EMem과 EMem-8B도 제시합니다.

RoboFoundry는 컨텍스트, 메모리, 스킬, 실행 인터페이스를 하나의 ‘시스템-정책’으로 다루는 임바디드 에이전트 프레임워크를 제안한다. 여러 벤치마크에서 장기 기억과 작업 수행 능력의 개선을 보고했다.

Physical Coding은 로봇의 세계 상태와 실행 절차를 확인하고 수정할 수 있는 프로그램으로 표현하는 접근법입니다. HexaAnything는 여러 도구와 외부 피드백을 연결해 환경 변화와 실행 실패에 대응하려 합니다.

UC 버클리 연구진과 공동 연구자들은 인간의 손-물체 상호작용을 실행 가능한 로봇 시연과 시각운동 정책으로 바꾸는 3단계 프레임워크 Morphometric Imitation을 제안했다. 3종 로봇 손과 10개 상호작용 과제에서 평가했으며, 실제 환경 제로샷 실험에서 89.3%의 성공률을 기록했다.

World Action Agent는 비전-언어 모델을 상호작용형 시각 행동 워크스페이스 안에 배치해 로봇 동작을 실행 전에 미리 보고 수정하도록 한다. 관찰, 리허설, 실행, 보정의 폐쇄 루프를 통해 조작 능력과 환경 간 전이를 높이는 접근이다.

테슬라는 휴머노이드 로봇 옵티머스에 인력과 공장 자원을 투입하고 있지만, 정교한 손 조립, 센서 신뢰성, 학습 데이터, 직원 반발이 확장 속도를 늦추고 있다.

Skild AI는 과거의 자기 모델과 반복해서 대결하며 드리블, 볼 키핑, 태클, 넘어졌다 일어나기를 익힌 휴머노이드 로봇을 공개했습니다. 인간이 동작을 하나씩 가르치지 않아도 되는 로봇 학습 방식의 가능성을 보여주는 사례입니다.

화웨이의 대규모 모델과 멀티모달 연구를 이끌었던 인사들이 물리 세계를 위한 기초 모델 개발에 나섰다. 로봇도 언어 모델처럼 대규모 사전학습을 통해 기종과 작업을 넘어서는 일반 능력을 얻을 수 있는지가 핵심 쟁점이다.

Spatial-Interactor는 정적인 이미지 이해를 넘어, 행동과 물체 이동, 시점 변화로 발생하는 상태 전이를 시각언어모델이 학습하도록 설계됐다.

로봇의 높은 작업 성공률이 곧 지시를 이해했다는 뜻은 아닙니다. RoboFollow는 장면에 가능한 작업이 하나뿐이면 모델이 언어를 거의 사용하지 않고도 성공할 수 있다고 지적합니다.

총상금 1,100만 달러 규모의 XPRIZE Wildfire는 위성, 지상 센서, 소방 드론을 활용한 조기 탐지의 가능성을 보여줬다. 그러나 화재를 완전히 진압한 팀은 없었다.

HuRo는 서로 다른 인간 조작 영상을 로봇에 맞는 관측과 행동 궤적으로 변환하는 로봇화 파이프라인을 제안한다. 실험 결과, 이 데이터를 활용한 사전학습 규모를 키우면 실제 조작 성능과 분포 외 일반화가 함께 향상됐다.

ShieldVLA는 Hamilton-Jacobi 도달 가능성 분석을 VLA 안전 미세조정에 적용해, 시각 관측만으로 현재 상태에서 안전한 회복이 가능한지 추정합니다. 논문은 5개 내비게이션·조작 벤치마크에서 누적 안전 비용을 평균 57% 줄이고 SafeVLA보다 작업 성공률을 0.13 높였다고 보고합니다.

CARE는 로봇 조작 중 계획된 궤적에서 벗어났을 때 회복할 수 있도록 설계된 데이터 중심 프레임워크입니다. 실제 실패 롤아웃에서 단계별 편차를 학습하고, 국소적인 수정이나 재작업으로 작업 진행을 보존합니다.

RoboDawn은 이동, 회전, 그리퍼 조작을 간결한 이산 명령으로 구성해 에이전트형 비전언어모델이 로봇을 제어하도록 한다. 폐루프 상호작용과 소수의 시연만으로 시뮬레이션과 실제 로봇 작업에서 성능 향상을 확인했다.

Grounded Action Model(GAM)은 로봇이 조작해야 할 물체와 그 위치를 명시적으로 이해하도록 설계된 행동 모델입니다. 언어·점·박스 프롬프트를 물체 중심의 3D 표현으로 통합해 장면 변화와 목표물 이동에 대한 대응력을 높입니다.

새 연구는 미래 상태 예측을 제어 루프에 넣지 않고, 세계 모델의 내부 표현만 소형 VLA에 증류하는 방법을 제안했다. 배포 비용은 유지하면서 로봇 조작 성능을 높이는 접근이다.

짧은 관측 이력에서 상호작용의 진행 방향을 나타내는 잠재 표현을 학습해 3D 확산 정책에 예측 능력을 더하는 방법이 제안됐다. 별도의 궤적 계획기를 추가하지 않고도 DP3의 기존 구조를 유지하면서 성능 향상을 보고했다.

VABench는 물체 위치를 설명하는 능력을 넘어, 부족한 시각 정보를 스스로 확보하고 공통 공간 좌표에서 추론하며 미터 단위 행동을 실행한 뒤 피드백으로 수정할 수 있는지를 평가한다. 결과는 국소적인 공간 이해와 안정적인 로봇 작업 수행 사이에 큰 격차가 있음을 보여준다.

UP.Labs에서 이름을 바꾼 반토라가 실버스미스 캐피털 파트너스로부터 1억 달러를 유치했다. 산업 기업을 위한 피지컬 AI 스타트업을 만들고, 고객사가 이를 자체 사업에 편입할 수 있는 모델로 전환한다.