시각-언어-행동(VLA) 모델은 로봇이 시각 정보와 언어 지시를 바탕으로 다양한 작업을 수행하게 합니다. 하지만 안전성은 작업을 시작하기 전에 거부할 수 있는지만으로 판단할 수 없습니다. 이미 동작이 진행된 뒤 해당 행동이 금지되면, 로봇은 현재 상태에 맞춰 멈추고 손에 든 물체도 적절히 다뤄야 합니다.
논문은 처음부터 작업을 억제하도록 학습된 정책도 실행 중간에 제어권을 넘겨받으면 작업을 끝낼 수 있다고 보고합니다. 작업을 완료하지 않더라도 멈추는 과정에서 잡고 있던 물체를 떨어뜨릴 수 있습니다. 따라서 작업 미완료 여부만으로는 안전성을 충분히 평가할 수 없으며, 정지할 때의 물리적 반응도 살펴봐야 합니다.
연구진은 물체를 계속 잡고 있는 것이 적절한 대안인 작업을 위해 상태 인식형 폴백 모방(State-Aware Fallback Imitation, SAFI)을 제안합니다. 방법은 두 단계로 구성됩니다.
- 폴백 목표 구성: 금지된 작업의 시연에 팔을 정지시키는 명령과 일관된 그리퍼 목표를 지정합니다. 모델이 원래 작업을 끝내지 않는 데 그치지 않고, 중간 상태에서 취해야 할 구체적인 행동을 학습하도록 합니다.
- 정책 공동 적응: 이 대체 목표를 계속 수행해야 하는 작업의 기존 동작과 함께 학습합니다. 새로운 정지 반응을 추가하면서도 다른 작업 능력을 유지하는 것이 목표입니다.
연구진은 OpenVLA-OFT를 사용해 LIBERO와 BadLIBERO 작업에서 금지된 작업의 완료 여부, 물리적 사고, 유지 대상 작업의 성능을 평가했습니다. 평가된 LIBERO 작업에서 제어권 인계 후 목표 작업의 종합 성공률은 1.3%로 낮아졌습니다. 물리적 사고와 동작 포화는 기록되지 않았으며, 유지 대상 작업의 성공률도 높은 수준을 보였습니다. 이는 금지된 목표를 달성했는지만 보는 대신, 개입 이후 로봇이 실제로 어떤 행동을 하는지 평가할 필요가 있음을 보여줍니다.
SAFI의 의의는 안전한 정지를 단순한 작업 억제가 아니라 학습해야 하는 구체적인 행동으로 다룬다는 점입니다. 다만 물체를 잡고 있는 것이 적절한 대안인 작업에 초점을 맞추며, 결과 역시 특정 모델과 벤치마크 작업에서 얻은 것입니다. 모든 로봇과 물체, 실제 환경에서 안전성이 보장된다는 뜻은 아닙니다. 다양한 대체 행동과 제어권 인계 시점을 대상으로 추가 검증이 필요합니다.
댓글
로그인 상태 확인 중…
댓글 불러오는 중…