에이전트 메모리가 권한을 ‘세탁’할 때

들어가며

장기간 작동하는 LLM 에이전트는 여러 상호작용에 걸쳐 정보를 유지해야 합니다. 사용자 선호와 작업 진행 상황뿐 아니라, 누가 어떤 행동을 할 수 있는지, 어떤 작업이 제한되는지, 기존 권한이 취소됐는지도 메모리에 기록될 수 있습니다. 에이전트가 도구나 외부 시스템에 접근한다면 이러한 기록은 단순한 편의 기능을 넘어 실제 권한 판단의 근거가 됩니다.

EleutherAI와 연관된 연구진의 논문 ‘Agent Memory Is a Surface for Endogenous Authorization Laundering’은 이 지점의 위험을 분석합니다. 실제 대화 이력에는 허가가 없었는데도 에이전트가 자신의 영속 메모리에 해당 권한을 기록하고, 이후 처리 과정이 그 기록을 정당한 근거로 받아들일 수 있다는 것입니다. 외부 공격자가 권한을 주입한 것이 아니라 에이전트 내부의 기록 갱신 과정에서 출처가 사라지기 때문에 연구진은 이를 ‘내생적 권한 세탁’이라고 명명했습니다.

핵심 내용

• 점진적 갱신이 권한을 왜곡할 수 있습니다. 모호한 표현, 오래된 정보, 불완전한 맥락이 요약되고 기존 메모리와 합쳐지는 과정에서 실제 이력에 없던 허가가 만들어질 수 있습니다. 원본 기록이 압축될수록 잘못된 권한의 출처를 확인하기도 어려워집니다.
• 메모리 오류가 실행 오류로 이어집니다. 연구진은 EAL-Bench를 제안해 변화하는 권한 상태를 메모리 작성 모델이 얼마나 정확히 보존하는지, 그리고 실행 모델이 잘못된 메모리를 받은 뒤 비인가 행동을 수행하는지를 함께 평가했습니다.
• 여러 업무 영역에서 시험했습니다. 조달, 사이버보안, 금융 시나리오에서 메모리 작성 모델 5개와 실행 모델 2개를 평가했습니다. 점진적 갱신 조건에서 작성 모델은 비인가 요청의 최대 50.2%에 대해 가짜 권한을 생성했습니다. 가짜 권한이 이미 존재할 때 실행 모델은 98.6%의 실험에서 이를 근거로 행동했습니다.
• 방어책에는 사용성 비용이 있습니다. 저장된 권한이 유효한 출처 이벤트로 뒷받침되는지 확인하는 방식과, 제한된 이벤트 소싱으로 권한 변경을 추적하는 방식은 문제를 크게 줄였습니다. 그러나 합법적인 요청을 거부하는 경우도 함께 늘었습니다.

의미와 영향

이번 연구는 에이전트 메모리를 설계하는 관점을 바꿀 필요가 있음을 보여줍니다. 메모리를 성능과 개인화를 위한 계층으로만 보면 권한 오류를 놓치기 쉽습니다. 메모리에 ‘이 작업은 허용된다’고 기록되면 실행 모델은 그 문장을 도구 호출의 실질적인 정책으로 해석할 수 있기 때문입니다.

안전한 구조를 위해서는 일반적인 사실 메모리와 권한 상태를 분리하는 것이 중요합니다. 권한을 자연어 결론만으로 저장하지 말고, 근거 이벤트와 적용 범위, 유효 조건, 취소 기록에 연결해야 합니다. 제한된 이벤트 소싱은 변경 이력을 감사 가능하게 유지하면서 기록이 무한히 커지는 문제를 막는 방법이 될 수 있지만, 감사 가능성·컨텍스트 비용·응답 지연 사이의 균형은 여전히 과제입니다.

그렇다고 불확실한 요청을 모두 거부하는 것이 해답은 아닙니다. 검증을 엄격하게 하면 비인가 행동은 줄어들지만 정상적인 업무까지 막을 수 있습니다. 반대로 메모리 갱신을 느슨하게 하면 편의성은 높아져도 권한의 출처가 더 쉽게 사라집니다. 앞으로의 에이전트 평가는 작업 성공률과 도구 호출 정확도뿐 아니라, 메모리가 변화하는 권한 이력을 충실히 보존하는지, 작은 기록 오류가 실행 단계에서 확대되는지도 점검해야 합니다.

출처: Hugging Face Daily Papers