EmbodiedCLBench, 체화형 에이전트의 지속 학습 능력을 검증하다

들어가며

한 번 본 동작을 반복하는 것만으로는 에이전트가 지속적으로 학습한다고 보기 어렵습니다. 실제 환경에서 작동하는 에이전트는 과거 경험을 축적하고, 유용한 기술을 보존하며, 이전에 그대로 본 적 없는 과제에 맞게 기술을 다시 조합해야 합니다. 따라서 핵심은 단순한 기억이 아니라 지식의 전이와 재구성입니다.

EmbodiedCLBench는 이 문제를 체화형 시뮬레이션 환경에서 평가하기 위해 제안된 벤치마크입니다. 기존 지속 학습 연구가 주로 비체화 환경에 머물렀다면, 이 연구는 지각과 계획, 행동이 함께 필요한 에이전트의 학습 능력을 다룹니다. 에이전트는 먼저 기초 과제를 학습한 뒤, 기존 기술의 조합으로 만들어졌지만 구체적으로는 보지 못한 고급 과제에 도전합니다.

핵심 내용

• 구성적 일반화를 중심으로 평가합니다. 기초 과제와 미지의 복합 과제를 구분해, 단순한 암기와 기술 재사용을 분리해서 살펴봅니다.
• 경험 획득과 전이를 함께 봅니다. 최종 과제를 성공했는지만이 아니라, 과거 상호작용에서 후속 과제에 활용할 정보를 추출하는지도 중요하게 평가합니다.
• 제로샷 고급 과제는 여전히 어렵습니다. 관련 경험이 없으면 고급 과제 수행이 어렵지만, 기초 과제에서 얻은 경험을 제공하면 성능이 일관되게 개선됩니다.
• 과제가 복잡해져도 경험의 이점은 유지됩니다. 난도가 높아져도 사전 경험의 효과는 남습니다. 다만 이것이 효율적인 지속 학습이 완성됐다는 뜻은 아닙니다.
• 데이터를 더 주는 것만으로는 충분하지 않습니다. 학습 샘플 수가 늘어도 성능 향상은 비례하지 않았습니다. 현재 에이전트는 추가 경험에서 재사용 가능한 정보를 충분히 추출하지 못하는 것으로 보입니다.

의미와 영향

EmbodiedCLBench는 체화형 에이전트를 평가하는 관점을 넓혀 줍니다. 일반적인 테스트는 현재 지시를 수행할 수 있는지를 묻지만, 지속 학습 평가는 과거 지식을 보존할 수 있는지, 새로운 상황에 적용할 수 있는지, 여러 기술을 결합할 수 있는지를 함께 묻습니다.

연구 결과는 병목이 단순한 데이터 부족에만 있지 않다는 점도 보여 줍니다. 에이전트가 많은 상호작용을 경험하더라도, 이를 정리하고 선별해 재사용 가능한 지식으로 만들지 못하면 능력 향상은 제한적입니다. 앞으로는 경험 표현, 기억 선택, 과제 분해, 과제 간 전이 메커니즘이 모델 자체의 개선만큼 중요해질 가능성이 큽니다.

현재 제공된 소재에는 구체적인 과제 수, 성공률, 방법별 상세 비교 수치가 포함되어 있지 않습니다. 따라서 EmbodiedCLBench를 특정 에이전트의 최종 순위를 정하는 도구라기보다, 지속 학습의 공통 과제를 명확히 하는 평가 기반으로 보는 편이 적절합니다. 공개 코드와 데이터셋은 어떤 경험을 보존해야 하는지, 반복적인 시행착오를 지속 가능한 능력으로 바꾸려면 무엇이 필요한지 탐구하는 출발점이 될 수 있습니다.

출처: Hugging Face Daily Papers