아티클 목록으로

VLA 로봇이 작업 도중 안전하게 멈추도록 가르치는 SAFI

약 2분 소요

시각-언어-행동(VLA) 모델은 로봇이 시각 정보와 언어 지시를 바탕으로 다양한 작업을 수행하게 합니다. 하지만 안전성은 작업을 시작하기 전에 거부할 수 있는지만으로 판단할 수 없습니다. 이미 동작이 진행된 뒤 해당 행동이 금지되면, 로봇은 현재 상태에 맞춰 멈추고 손에 든 물체도 적절히 다뤄야 합니다.

논문은 처음부터 작업을 억제하도록 학습된 정책도 실행 중간에 제어권을 넘겨받으면 작업을 끝낼 수 있다고 보고합니다. 작업을 완료하지 않더라도 멈추는 과정에서 잡고 있던 물체를 떨어뜨릴 수 있습니다. 따라서 작업 미완료 여부만으로는 안전성을 충분히 평가할 수 없으며, 정지할 때의 물리적 반응도 살펴봐야 합니다.

연구진은 물체를 계속 잡고 있는 것이 적절한 대안인 작업을 위해 상태 인식형 폴백 모방(State-Aware Fallback Imitation, SAFI)을 제안합니다. 방법은 두 단계로 구성됩니다.

  • 폴백 목표 구성: 금지된 작업의 시연에 팔을 정지시키는 명령과 일관된 그리퍼 목표를 지정합니다. 모델이 원래 작업을 끝내지 않는 데 그치지 않고, 중간 상태에서 취해야 할 구체적인 행동을 학습하도록 합니다.
  • 정책 공동 적응: 이 대체 목표를 계속 수행해야 하는 작업의 기존 동작과 함께 학습합니다. 새로운 정지 반응을 추가하면서도 다른 작업 능력을 유지하는 것이 목표입니다.

연구진은 OpenVLA-OFT를 사용해 LIBERO와 BadLIBERO 작업에서 금지된 작업의 완료 여부, 물리적 사고, 유지 대상 작업의 성능을 평가했습니다. 평가된 LIBERO 작업에서 제어권 인계 후 목표 작업의 종합 성공률은 1.3%로 낮아졌습니다. 물리적 사고와 동작 포화는 기록되지 않았으며, 유지 대상 작업의 성공률도 높은 수준을 보였습니다. 이는 금지된 목표를 달성했는지만 보는 대신, 개입 이후 로봇이 실제로 어떤 행동을 하는지 평가할 필요가 있음을 보여줍니다.

SAFI의 의의는 안전한 정지를 단순한 작업 억제가 아니라 학습해야 하는 구체적인 행동으로 다룬다는 점입니다. 다만 물체를 잡고 있는 것이 적절한 대안인 작업에 초점을 맞추며, 결과 역시 특정 모델과 벤치마크 작업에서 얻은 것입니다. 모든 로봇과 물체, 실제 환경에서 안전성이 보장된다는 뜻은 아닙니다. 다양한 대체 행동과 제어권 인계 시점을 대상으로 추가 검증이 필요합니다.

Hugging Face Daily Papers

댓글

로그인 상태 확인 중…

댓글 불러오는 중…

관련 게시물

CCTest · Blog
HINT-WAM, 미래 시연 영상으로 로봇 행동 모델을 훈련하다
로보틱스·피지컬 AI
cctest.ai
로보틱스·피지컬 AI

HINT-WAM, 미래 시연 영상으로 로봇 행동 모델을 훈련하다

HINT-WAM은 시연 영상의 미래 정보를 훈련 중에만 활용해, 모델이 자체 생성한 샘플링 궤적에서 행동을 지도하는 방법을 제안합니다. 다만 제공된 자료에는 전체 실험 결과가 포함되어 있지 않습니다.

더 보기
CCTest · Blog
로봇 에이전트는 과제를 배우는가, 검증기를 배우는가
로보틱스·피지컬 AI
cctest.ai
로보틱스·피지컬 AI

로봇 에이전트는 과제를 배우는가, 검증기를 배우는가

구현형 에이전트 연구에 따르면 벤치마크 성공 기준을 공개하면 원래 검증기에서 점수는 빠르게 오르지만, 특정 검증 로직에 과적합할 수 있다. 자연어 지시를 충실히 반영하는 평가 기준이 실제 과제 수행 능력을 더 잘 측정한다.

더 보기
CCTest · Blog
EgoX: 서로 다른 몸을 가진 로봇이 조작 경험을 공유하는 방법
로보틱스·피지컬 AI
cctest.ai
로보틱스·피지컬 AI

EgoX: 서로 다른 몸을 가진 로봇이 조작 경험을 공유하는 방법

EgoX는 인간, 실제 로봇, 시뮬레이션 에이전트의 시연 데이터를 모듈형 관측·행동 인터페이스로 통합하는 교차 임바디먼트 학습 프레임워크입니다. 임바디먼트 드리밍 목표를 추가해 특히 분포 밖 조건에서 대상 로봇의 전이 성능을 높였습니다.

더 보기