MixUA, 다중 사용자·에이전트 메모리에 공유 범위를 부여하다
들어가며
에이전트가 과거 경험을 바탕으로 스스로 개선하려면 메모리가 필요하다. 사용자의 선호를 기억하고, 이전에 성공한 문제 해결법을 재사용하면 기반 언어 모델을 다시 학습하지 않고도 성능을 높일 수 있다. 하지만 메모리를 여러 사용자와 여러 에이전트가 함께 사용하기 시작하면 새로운 문제가 생긴다. 한 사용자가 발견한 일반적인 디버깅 방법은 다른 사람에게도 유용할 수 있지만, 프로젝트 맥락이나 개인 설정, 대화 속 민감한 사실까지 함께 공유되어서는 안 된다.
네 가지 공유 범위
MixUA는 사용자-에이전트 상호작용 궤적에서 재사용 가능한 교훈을 추출한 뒤, 유용성과 공개 위험에 따라 범위를 지정한다.
- 사용자-에이전트 쌍: 특정 사용자와 특정 에이전트만 사용할 수 있다.
- 사용자 범위: 같은 사용자가 다른 에이전트를 이용할 때도 재사용할 수 있다.
- 에이전트 범위: 하나의 에이전트가 여러 사용자를 지원할 때 활용한다.
- 글로벌 범위: 개인을 식별할 정보 없이 널리 적용 가능한 교훈을 공유한다.
핵심은 공유 권한을 메모리 검색 이후의 데이터베이스 설정으로만 다루지 않는 데 있다. 메모리를 추출하는 단계에서부터 그 교훈이 누구에게 도움이 되는지, 어떤 맥락이 공개되어서는 안 되는지를 함께 고려한다. 다만 제공된 초록은 범위를 지정하는 목표를 설명할 뿐, 구체적인 판정 알고리즘이나 전체 개인정보 감사 절차는 제시하지 않는다. 따라서 모든 메모리 거버넌스 문제가 해결됐다고 해석해서는 안 된다.
CrossLearnBench의 평가 방식
연구진은 CrossLearnBench를 제안했다. 이 벤치마크는 기존 에이전트 과제에 사용자 선호와 개인정보 탐침을 결합한다. 한 사용자와 한 에이전트가 얻은 경험이 다른 조합의 과제 수행을 개선하는지 확인하며, 해당 과제를 이전에 다른 사용자나 다른 에이전트만 시도한 경우도 포함한다. 동시에 비공개 사실을 심어 두고, 해당 정보가 접근해서는 안 되는 메모리 범위에 나타나는지 검사한다.
사용자 5명과 에이전트 7개를 활용한 실험에서 MixUA는 메모리가 없는 기준보다 성공률을 최대 16포인트 높였고, 단일 글로벌 메모리보다 5포인트 높은 결과를 냈다. 기존에 명시된 사용자 선호는 최대 90% 유지됐다. 개인정보 탐침에서는 금지된 범위에서 심어 둔 비공개 사실을 발견한 비율이 최대 0.02%였다. 이는 메모리 공유가 전면 공개와 완전 격리 사이의 양자택일일 필요가 없음을 보여준다.
의미와 남은 과제
MixUA의 중요한 점은 다중 에이전트 환경에서 메모리의 적용 범위를 명시적인 설계 요소로 만든 것이다. 일반적인 기술은 공유 자산으로 축적하고, 개인 선호나 배경 정보는 적절한 경계 안에 남길 수 있다. 이 방향은 코딩 보조 도구, 기업용 에이전트 집단, 서로 다른 모델을 연결하는 작업 흐름에 적용될 가능성이 있다.
그러나 오래된 메모리와 잘못된 교훈, 권한 철회, 삭제 요청, 조직 간 사용자 식별을 어떻게 처리하는지는 여전히 열려 있다. 성숙한 공유 메모리 계층에는 검색 성능뿐 아니라 출처 추적, 권한 검토, 철회와 망각 기능도 필요하다. MixUA가 제시하는 핵심 메시지는 에이전트가 더 많이 공유해야 한다는 것이 아니라, 경계를 인식하며 선택적으로 공유해야 한다는 것이다.
댓글
로그인 상태 확인 중…
댓글 불러오는 중…