로봇의 시각적 지름길을 끊는 LIT의 일반화 전략

로봇 파운데이션 모델은 장면을 보고 곧바로 행동을 생성하는 방향으로 발전하고 있습니다. 그러나 익숙한 데이터에서 높은 성공률을 보인다고 해서 모델이 과제에 필요한 시각 정보를 올바르게 학습했다는 뜻은 아닙니다. 특정 카메라 시점, 배경, 조명, 물체 외관이 훈련 데이터에서 특정 행동과 반복적으로 함께 나타나면, 모델은 실제 목표와 무관한 단서를 행동의 근거로 사용할 수 있습니다.

이런 시각-행동 지름길은 분포 내 평가에서는 잘 드러나지 않습니다. 하지만 카메라 위치를 바꾸거나 조명을 변화시키고, 장면에 방해물을 추가하면 훈련 중의 상관관계가 깨지면서 로봇의 성능이 급격히 낮아질 수 있습니다.

싱가포르국립대학교 MAGIC Lab 연구진과 공동 연구자들은 이 문제를 시각 정보가 행동 모듈로 전달되는 방식의 문제로 보고 Latent Interface Training, 즉 LIT를 제안했습니다. LIT의 핵심은 처음부터 시각과 행동을 한꺼번에 학습시키는 대신, 훈련을 두 단계로 분리하는 데 있습니다.

1단계: 이미지 없이 행동 사전분포 학습

행동 전문가는 언어 지시, 로봇 상태, 그리고 각 행동 청크가 끝나는 지점의 엔드이펙터 SE(3) 자세를 입력으로 받습니다. 이미지 없이 지정된 공간 목표를 향해 행동 청크를 생성하는 방법을 학습하기 때문에, 배경이나 물체 외관과 같은 우연한 시각적 상관관계에 덜 의존하는 목표 지향적 행동 사전분포를 만들 수 있습니다.

2단계: 잠재 인터페이스로 시각 경로 제한

그다음 시각 표현과 의미 표현을 모으는 잠재 인터페이스를 도입합니다. 사전학습된 행동 전문가는 이 인터페이스를 통해서만 시각 조건을 받습니다. 동시에 인터페이스가 1단계에서 사용한 최종 자세를 복원하도록 학습합니다. 이 자세 감독은 행동에 필요한 공간 정보는 유지하면서, 과제와 관계없는 시각 세부 정보가 행동 생성기에 직접 전달되는 것을 줄이는 역할을 합니다.

LIT는 로봇이 시각을 무시해야 한다고 주장하지 않습니다. 물체의 위치를 찾고 공간 관계를 파악하며 환경 변화에 대응하려면 시각이 필수적입니다. 핵심은 모든 시각 정보가 동일한 방식으로 행동에 영향을 주도록 두지 않는 것입니다. LIT는 시각 조건을 공간 목표와 가까운 중간 표현으로 통과시켜 지각과 제어 사이의 연결을 더 엄격하게 관리합니다.

논문은 Pi0.5, MolmoAct2, FAST-WAM, ImageWAM 등 네 가지 비전-언어-행동 또는 월드-행동 아키텍처에서 LIT를 평가했습니다. 논문 초록에 따르면 LIBERO-Plus 전체 성공률은 3.8710.70%포인트 향상됐고, 평균 LIBERO 성능은 유지되거나 개선됐습니다. 실제 로봇 평가에서는 세 가지 과제를 대상으로, 보지 못한 카메라 구성과 조명 변화, 방해물이 있는 조건에서 집계한 성공률이 13.3016.70%포인트 높아졌습니다.

이 결과는 로봇 일반화가 시각 인코더의 규모나 데이터 양만으로 결정되지 않으며, 인식과 제어를 연결하는 인터페이스 설계도 중요하다는 점을 보여줍니다. 다만 제공된 요약에는 과제별·모델별 세부 결과가 포함되어 있지 않으므로, 실제 적용 범위와 한계를 판단하려면 논문 전문과 추가적인 실환경 검증이 필요합니다.

출처: Hugging Face Daily Papers