기억을 계획으로 바꾸는 MaP-WAM, 로봇 장기 조작의 새 접근

들어가며

로봇이 여러 단계로 이어진 조작 작업을 수행하려면 현재 카메라 화면만으로는 부족합니다. 어떤 하위 작업을 이미 끝냈는지, 물체가 이전에 어디에 있었는지, 현재 단계가 정말 종료됐는지에 대한 정보가 다음 행동을 결정하기 때문입니다. 이런 작업은 비마르코프적 특성을 가지지만, 많은 로봇 정책은 여전히 현재 관측을 중심으로 행동을 선택합니다.

MaP-WAM（Memory as Plans）은 기억을 사용하는 방식을 바꾸려 합니다. 전체 과거 기록을 매번 실행기에 붙이는 대신, 장기 경험을 먼저 실행 가능한 계획으로 정리하고 실행기는 그 계획을 조건으로 행동을 생성합니다.

핵심 구성

• 에피소드 단위 기억: 완료된 작업 구간을 언어 지시와 희소한 시각 문맥을 포함한 기록으로 저장합니다. 언어 요약만 사용하는 방식보다 시각적 근거를 더 남길 수 있고, 시각 입력 창을 계속 늘리는 방식보다 문맥 비용을 관리하기 쉽습니다.
• 계획과 실행의 분리: 기억에 의존하는 세계-행동 모델링을 기억 기반 계획과 계획 조건부 실행으로 나눕니다. 계획기는 장기 멀티모달 경험을 참고해 다음 작업 구간의 언어 계획과 시각적 안내를 생성합니다.
• 행동과 진행률의 공동 예측: World-Action-Progress 모델은 행동 청크와 현재 계획의 진행 정도를 함께 예측합니다. 각 구간의 소요 시간이 다르더라도 고정된 시간 길이에 의존하지 않고 상태에 따라 전환할 수 있습니다.
• 폐루프 전환: 계획과 현재 관측을 정렬해 예측된 진행률을 보정합니다. 관측 결과 특정 구간이 끝났다고 판단되면 문맥을 갱신하고 다음 계획을 요청합니다.
• 고정된 실행 문맥: 실행기의 문맥 길이를 고정하고, 구조화된 어텐션을 통해 계획과 실행 단계 모두에서 키-값 캐시를 활용할 수 있도록 합니다.

의미와 한계

MaP-WAM의 핵심은 기억을 원시적인 과거 관측의 연속으로만 보지 않는 데 있습니다. 기억을 언어적 의도와 선택된 시각 정보를 담은 중간 계획으로 바꾸면, 장기 의사결정에 필요한 단서를 남기면서도 모든 과거 데이터를 매 행동마다 처리해야 하는 부담을 줄일 수 있습니다.

그러나 계획 기반 기억이 모든 문제를 해결하는 것은 아닙니다. 계획기가 중요한 시각 정보를 누락할 수 있고, 진행률 추정이 부정확하면 다음 구간으로 너무 빨리 또는 늦게 넘어갈 수 있습니다. 따라서 계획 생성 능력뿐 아니라 계획과 실제 관측을 안정적으로 연결하는 능력도 중요합니다.

논문은 MaP-WAM이 RMBench에서 당시 최고 수준의 성능을 기록했다고 보고합니다. 더 넓은 관점에서 이 연구는 로봇의 장기 기억을 “모두 보존하는 정보”에서 “다음 행동에 사용할 구조화된 계획”으로 바꾸는 설계 방향을 제시합니다. 이는 장기·다단계 조작 문제를 다루는 세계-행동 모델 연구에 의미 있는 관점을 제공합니다.

출처: Hugging Face Daily Papers