계층적 메모리로 작은 에이전트를 강화하는 AMD

작은 LLM이 에이전트로서 약한 이유는 단순히 언어 능력이 부족해서가 아니라, 성공적인 도구 사용 경험이 충분하지 않기 때문이다. AMD는 이 문제를 해결하기 위해, 교사 에이전트가 만들어 낸 성공 궤적을 학습용 데이터로 다시 훈련하는 대신, 계층적 메모리로 압축해 학생 모델이 바로 활용할 수 있게 만든다.

AMD의 핵심 구조

Agent Memory Distillation(AMD)은 성공한 교사 궤적에서 세 가지 메모리를 만든다.

• Workflow memory: 작업 수준의 전략과 전체 흐름을 담는다
• Subtask memory: 중간 수준에서 구체적인 행동 예시를 제공한다
• Function memory: 함수별 호출 규칙, 흔한 실수, 함정을 기록한다

Workflow와 Subtask 메모리는 작업 시작 시 선제적으로 주입되어 학생 모델이 먼저 큰 틀을 잡도록 돕는다. Function 메모리는 도구 호출 에러가 발생했을 때 검색되어, 실패 지점을 바로잡는 역할을 한다.

왜 중요한가

도구를 쓰는 에이전트는 계획, API 사용, 오류 복구를 모두 해야 한다. 작은 모델은 이 세 가지를 동시에 잘 배우기 어렵다. AMD는 이 부담을 분해해 각각 다른 수준의 기억으로 보완한다는 점에서 실용적이다.

실험이 말하는 것

논문은 AppWorld, BFCL V3, ToolSandbox의 세 가지 벤치마크에서 AMD를 평가했고, 4B~8B 규모의 네 개 학생 모델을 사용했다. 교사는 GPT-5-mini였다. 결과적으로 AMD는 기존 메모리 기반 방법보다 더 나은 성능을 보였고, 특히 Subtask memory가 가장 큰 기여를 했다. 또 교사의 능력만 중요한 것이 아니라 학생과의 적합성도 중요하며, 4B급 학생 모델이 가장 큰 이득을 얻었다.

의미와 시사점

AMD는 에이전트 성능 향상을 위해 반드시 더 큰 모델이나 추가 학습이 필요한 것은 아니라는 점을 보여준다. 잘 구조화된 기억만 있어도 작은 모델은 훨씬 안정적으로 동작할 수 있다. 앞으로 메모리를 더 정교하게 구성하고, 상황에 맞게 주입하는 방법이 발전하면 소형 에이전트의 실용성은 더 높아질 수 있다.

출처: Hugging Face Daily Papers