세계 모델의 역할은 그럴듯한 미래 영상을 만드는 데 그치지 않습니다. 특정 행동을 조금 바꾸면 결과가 어떻게 달라지는지도 예측해야 합니다. 로봇 조작에서는 거의 비슷해 보이는 움직임이 성공과 실패를 가를 수 있습니다. 영상은 자연스럽지만 이런 차이를 포착하지 못하는 모델이라면 정책을 평가하거나 다음 행동을 계획할 때 잘못된 판단을 내릴 수 있습니다.
John Won 연구진이 제안한 AFFECT는 행동 변화에 대한 세계 모델의 민감도를 높이기 위한 보조 학습 목표입니다. 영상의 외관을 그럴듯하게 만드는 데만 집중하는 대신, 행동이 교란됐을 때 관측 영상이 어떻게 달라지는지를 모델이 학습하도록 합니다.
핵심 내용
- 교란된 행동에서 변화의 양상을 학습합니다. 연구진은 특정 작업에 한정되지 않은 인간 원격 조작 데이터로 훈련한 정책의 행동에 시간적으로 상관된 노이즈를 넣습니다. 이어서 생성 영상이 노이즈에 반응하는 방식이 실제 기록의 변화와 일치하도록 세계 모델을 학습합니다. 개별 행동 하나의 차이보다 연속된 행동에서 누적되는 편차를 다룬다는 점이 특징입니다.
- 동일한 시작 상태에서 반복 실행할 필요가 없습니다. 행동 교란과 그에 대응하는 관측 기록을 활용하므로, 서로 다른 행동의 결과를 비교하기 위해 로봇을 정확히 같은 초기 상태로 되돌려 여러 번 실행하지 않아도 됩니다.
- 시뮬레이션과 실제 로봇에서 평가했습니다. 논문은 OGBench 시뮬레이션과 실제 환경의 DROID, ALOHA-2 설정에서 실험 결과를 보고합니다. DROID에서는 세계 모델 안에서 측정한 정책 성공률과 실제 로봇의 성공률 사이 피어슨 상관계수가 0.47에서 0.79로 상승했습니다. FVD는 최대 23% 낮아졌고, AFFECT로 학습한 세계 모델을 이용한 계획에서는 작업 성공률이 최대 8.3% 향상됐습니다.
각 지표는 서로 다른 측면을 보여줍니다. 성공률의 상관관계가 높아졌다는 것은 모델 안에서의 정책 평가가 실제 로봇 결과를 더 잘 반영한다는 뜻입니다. FVD 감소는 생성 영상 분포의 차이가 개선됐음을 나타냅니다. 함께 보면 시각적 사실성뿐 아니라 행동 결과를 판단하는 모델의 유용성을 살펴볼 근거가 됩니다. 다만 제공된 초록에는 작업별 세부 결과, 통계적 불확실성, 다른 환경으로의 일반화 정보가 없습니다. 따라서 수치는 논문에서 평가한 조건의 결과로 이해해야 합니다.
의미와 영향
AFFECT의 핵심은 세계 모델이 ‘다음 장면이 어떻게 보이는가’뿐 아니라 ‘행동을 바꾸면 무엇이 달라지는가’도 학습해야 한다고 명시한 데 있습니다. 정책 평가와 모델 기반 계획에서는 서로 비슷한 행동의 결과를 구별하는 능력이 중요합니다. 이 능력이 개선되면 실제 로봇으로 실행하기 전에 후보 행동을 비교할 때 더 유용한 예측을 얻을 가능성이 있습니다.
이 방법이 실제 배치의 불확실성을 없애는 것은 아닙니다. 다만 기존 원격 조작 데이터를 활용해 행동 교란과 시각적 변화의 관계를 학습하는 방식을 보여줍니다. 미래의 모습뿐 아니라 행동의 차이가 미래를 어떻게 바꾸는지까지 익히게 하자는 것이 이 연구의 중심 아이디어입니다.
댓글
로그인 상태 확인 중…
댓글 불러오는 중…