기억을 행동 개선으로 연결하기: AI 에이전트의 지속 학습 프레임워크

들어가며

기반 모델을 활용하는 AI 에이전트는 추론하고 계획하며 도구를 사용할 수 있다. 하지만 장기간 운영되면서 경험을 계속 학습하는 일은 여전히 어렵다. 일반적으로 모델 가중치는 상호작용마다 바뀌지 않고, 제한된 컨텍스트 창에 모든 과거 경험을 담을 수도 없다. 외부 기억 시스템이 이 문제의 보완책으로 사용되고 있지만, 많은 시스템은 저장된 사실이나 이전 대화를 찾아오는 검색 캐시로 기능한다. 정보를 정확히 꺼내더라도 그것이 다음 행동을 더 낫게 만든다는 보장은 없다.

논문 「Memory-Centric Continual Learning for AI Agents」는 이 문제를 위해 Memory-Centric Continual Learning, 즉 MCCL을 제안한다. 핵심 주장은 기억을 “무엇을 검색할 수 있는가”가 아니라 “경험을 통해 미래의 행동을 얼마나 개선하는가”로 바라봐야 한다는 것이다. MCCL은 하나의 메모리 모듈이라기보다, 에이전트 기억을 설계하고 평가하고 확장하기 위한 프레임워크다.

핵심 내용

• 세 가지 축으로 기억을 분류한다. substrates는 상태가 어디에 저장되는지, assets는 무엇을 어떤 형태로 보존하는지, policies는 언제 기록하고 검색하고 갱신하고 압축하거나 잊을지를 뜻한다. 이를 통해 파라미터 기반 기억과 외부 기억을 포함해 저장 내용과 관리 방식을 분리해 볼 수 있다.
• 내부 루프와 외부 루프를 구분한다. 내부 루프는 과제와 상호작용하면서 기억 상태를 갱신한다. 외부 루프는 과제 피드백을 바탕으로 기억 관리 정책을 개선한다. 따라서 에이전트는 경험을 더 많이 쌓는 데 그치지 않고, 경험을 다루는 방법 자체도 조정할 수 있어야 한다.
• 행동 변화를 중심으로 평가한다. MCCL이 제시하는 평가 관점은 간섭이 발생해도 기존 능력을 유지하는지, 환경이나 요구가 바뀌었을 때 적응하는지, 축적한 경험을 다른 과제로 옮길 수 있는지다. 이는 컨텍스트에 정보를 더 넣었을 뿐인 효과와 실제 지속 학습을 구분하는 데 도움을 준다.
• 기억의 확장 방식을 분석한다. 경험의 양, 저장 용량, 계산 예산이 에이전트 성능과 어떻게 연결되는지를 비파라미터 기억과 파라미터 기억 모두에 대해 다룬다. 서로 다른 기억 구조를 비교할 수 있는 공통 관점을 제공한다.

의미와 영향

MCCL의 가장 큰 변화는 기억을 수동적인 검색 인터페이스가 아니라 에이전트 학습 과정의 일부로 재정의한 데 있다. 벡터 데이터베이스를 붙이는 것만으로는 충분하지 않다. 어떤 경험을 보존할지, 오래된 지식을 언제 수정할지, 검색 결과가 의사결정에 어떻게 영향을 주는지, 과제 결과로 관리 정책을 개선할 수 있는지를 함께 설계해야 한다.

이 관점에서는 검색 정확도나 사실 적중률만으로 기억을 평가하기 어렵다. 과거 기록을 정확히 가져오더라도 그 기록이 오래됐거나 잡음이 많거나 현재 상황에 잘못 적용되면 오히려 행동이 나빠질 수 있다. 따라서 간섭 속 보존, 변화 적응, 과제 전이는 장기 자율 시스템의 요구에 더 가까운 평가 기준이 될 수 있다.

이 논문은 특정 기억 아키텍처가 이미 지속 학습을 해결했다고 주장하지 않는다. 대신 문제를 구조화하는 방법을 제시한다. 앞으로는 다양한 과제와 저장 방식, 계산 제약에서 이 기준을 검증하고 기억의 신뢰성, 갱신 비용, 오류 전파 문제를 다뤄야 한다. 장기적으로 강한 에이전트는 모델 가중치만으로 결정되지 않는다. 경험을 재사용 가능하고 수정 가능한 기억으로 바꾸고, 이를 미래 행동에 반영하는 관리 체계 역시 핵심 요소가 된다.

출처: Hugging Face Daily Papers