복잡한 에이전트 메모리는 항상 필요한가? Raw-RAG의 반전

들어가며

장기 대화 이해를 위해서는 모델이 과거의 발언, 사용자 선호, 사건 간 관계를 다시 찾아볼 수 있어야 합니다. 이에 따라 최근의 에이전트 메모리 시스템은 대화를 요약하고, 저장된 메모리를 갱신하며, 정보를 구조화하거나 학습 기반 검색 전략을 사용합니다. 그러나 원본 대화를 변환하는 과정에서 답변에 필요한 세부 정보와 맥락이 사라질 가능성도 있습니다.

시안교통대 연구진은 이러한 복잡성이 항상 필요한지 검토했습니다. 연구에서 다룬 Raw-RAG는 원본 대화 기록을 적극적으로 수정하지 않습니다. 대신 기록 전체에 밀집 검색과 재순위화를 적용하고, 관련성이 높은 증거를 리더 언어 모델에 전달합니다.

주요 결과

연구진은 LoCoMo, LongMemEval, MEME, MemoryAgentBench에서 시스템을 평가했습니다. 7개의 벤치마크-모델 설정 가운데 Raw-RAG는 6개에서 비교 대상 중 1위를 기록했습니다. 비교된 에이전트 메모리 시스템 중 가장 강한 시스템과의 차이는 0.13~5.53점이었습니다.

이 결과는 구조화된 메모리가 쓸모없다는 뜻은 아닙니다. 다만 이번에 평가한 대화 이해 과제에서는 복잡한 메모리 관리가 필수 조건이라고 보기 어렵다는 점을 보여줍니다. 단순한 원본 기록 검색도 새로운 메모리 구조와 경쟁할 만큼 강력한 기준선이 될 수 있습니다.

원본 기록이 강한 이유

연구가 제시한 핵심 설명은 필요한 증거를 얼마나 넓게 확보하는가에 있습니다. 요약이나 구조화된 메모리는 간결하고 사용하기 편할 수 있지만, 답변을 구성하는 데 필요한 정보 일부를 제외할 수 있습니다. 반면 원본 기록은 잡음이 많아도 답 자체와 답을 도출하는 주변 맥락을 함께 보존할 가능성이 높습니다.

여기서 증거는 단순한 사실이나 숫자에 그치지 않습니다. 인물 간 관계, 사건의 순서, 여러 발화를 연결하는 의존 경로도 포함됩니다. 결론처럼 보이는 한 문장만 검색하고 그 근거가 되는 관계를 놓치면, 모델은 여러 턴에 걸친 질문에 정확히 답하기 어렵습니다.

Raw-RAG는 검색한 증거를 효율적으로 활용하는 측면에서는 불리할 수 있지만, 더 많은 필요한 증거를 포함함으로써 이를 보완합니다. 연구는 변환된 메모리 저장소에 모델이 완전히 접근할 수 있는 경우에도 원본 증거를 이용했을 때와 정확도 차이가 남는다고 보고합니다. 메모리 설계의 핵심은 압축과 정리뿐 아니라, 나중에 다시 확인할 수 있는 정보의 보존이기도 합니다.

의미와 한계

이번 결과는 새로운 메모리 아키텍처를 평가할 때 원본 기록 검색을 필수 기준선으로 삼아야 한다는 점을 시사합니다. 구현과 재현이 비교적 쉽고, 복잡한 메모리 모듈이 실제로 추가 이득을 주는지 확인할 수 있기 때문입니다.

물론 실제 서비스에서는 저장 비용, 개인정보 보호, 갱신 지연, 매우 긴 기록에 대한 처리 문제가 남습니다. 따라서 구조화된 메모리를 완전히 배제하기보다는, 효율을 위해 정보를 정리하면서도 중요한 주장과 관계를 원본 대화로 되돌아가 확인할 수 있게 하는 하이브리드 방식이 현실적일 수 있습니다.

출처: Hugging Face Daily Papers