AI 에이전트가 실패를 기억하게 하는 Self-Direction

들어가며

한 번의 오류를 복구했다고 해서 에이전트가 실제로 학습한 것은 아닙니다. 현재의 AI 에이전트는 실행 과정을 되돌아보고 계획을 수정한 뒤 같은 세션에서 다시 시도할 수 있지만, 세션이 끝나면 그 교훈이 사라지기 쉽습니다. 반대로 전체 파라미터를 파인튜닝하면 경험을 오래 보존할 수 있지만 비용이 크고, 기존 능력을 훼손할 위험도 있습니다. 논문 Don't Forget What You Just Learned는 이 두 방식 사이의 대안으로 Self-Direction을 제안합니다.

작동 방식

에이전트가 작업에 실패하면 Self-Direction은 단순히 재시도를 지시하지 않습니다. 먼저 에이전트가 자신의 실행 궤적을 분석하고, 실패의 원인과 다음 작업에 활용할 수 있는 교훈을 추출합니다. 이후 이 교훈을 기본 모델 전체가 아니라 경량 저랭크 어댑터로 증류합니다.

생성된 어댑터는 영구적인 교훈 라이브러리에 저장됩니다. 나중에 비슷한 작업을 만나면 시스템이 관련 어댑터를 자동으로 선택해 에이전트에 적용합니다. 기본 모델의 가중치는 고정되므로, 특정 오류를 학습하는 과정에서 원래 파라미터를 직접 덮어쓰지 않습니다. 논문에 따르면 어댑터 하나에 추가되는 학습 파라미터는 기본 모델 전체의 약 0.02%에 해당합니다.

실험 결과

연구진은 Qwen 계열 오픈 웨이트 모델을 기반으로 한 에이전트를 사용해 세 종류의 환경을 평가했습니다. 오픈엔드 연구 과제인 GAIA, 도구 사용 워크플로인 Claw-Eval, 터미널 작업용 Terminal-Bench 2.1이 대상이었습니다. 보고된 전체 성공률 향상 폭은 8.9~17.0%포인트이며, 프런티어 시스템과 경쟁할 수 있는 성능을 보였습니다.

또한 관련 작업을 다시 수행할 때 같은 실수를 반복하는 빈도가 줄었고, 오류 수정의 신뢰성이 거의 두 배로 높아졌다고 보고했습니다. 소수의 어댑터가 추가 학습 없이 수십 개의 새로운 작업에 일반화된 점도 주목할 만합니다. 이는 저장된 교훈이 특정 사례를 그대로 기억하는 것이 아니라, 여러 상황에 적용 가능한 절차를 담을 가능성을 보여줍니다.

의미와 남은 과제

Self-Direction의 핵심 의미는 반성을 일회성 프롬프트 동작에서 관리하고 호출할 수 있는 경험 자산으로 바꾼 데 있습니다. 장기간 작동하는 연구 보조 에이전트, 도구 사용 시스템, 터미널 자동화에 적용하면 같은 유형의 오류를 줄이면서 매번 전체 모델을 재학습하는 부담을 피할 수 있습니다.

다만 교훈 라이브러리가 커졌을 때의 검색 비용, 잘못된 교훈을 식별하는 방법, 서로 충돌하는 어댑터를 조정하는 방식은 제공된 자료만으로 확인하기 어렵습니다. 실제 환경에서는 유용한 경험을 저장하는 기능뿐 아니라, 부정확한 경험을 평가하고 삭제하거나 갱신하는 관리 체계도 필요합니다. Self-Direction은 에이전트의 지속 학습을 위한 유망한 구조이지만, 완성된 해법이라기보다 중요한 출발점에 가깝습니다.

출처: arXiv