CLE가 검증한 LLM 에이전트의 진짜 지속 학습 능력

들어가며

현재 많은 LLM 벤치마크는 모델이 주어진 순간의 과제를 해결할 수 있는지를 묻는다. 하지만 장기간 업무를 수행하는 에이전트에게는 한 번의 정답보다 더 중요한 능력이 있다. 과거의 성공과 실패에서 교훈을 얻고, 그 경험을 다음 업무에 안정적으로 적용하는 능력이다. Continual Learning Exam(CLE)은 바로 이 ‘경험을 통한 성장’을 직접 측정하기 위해 설계됐다.

CLE의 평가 방식

CLE는 50명 이상의 분야 전문가가 참여해 제작했다. 사람이 작성한 전문 업무 과제 120개를 포함하며, 각 과제는 5단계의 진행형 래더로 구성된다. 총 600개 레벨이 89개 직업과 12개 직업 영역에 걸쳐 배치됐다. 평가 환경에는 약 2만4,000개의 실제 파일, 상태를 유지하는 애플리케이션 19개, 그리고 1만6,000개가 넘는 인간 작성 평가 기준도 포함된다.

핵심은 래더 구조다. 에이전트는 현재 레벨을 통과해야 다음 레벨을 열 수 있다. 뒤 단계의 과제는 단순히 더 어려운 질문이 아니다. 이전 업무에서 얻은 지식, 전략, 기술을 재사용하고 확장해야 한다. 따라서 CLE는 한 번 좋은 답을 내는 능력이 아니라, 경험을 지속 가능한 역량으로 바꾸는 능력을 평가한다.

제출물은 사람이 만든 루브릭을 기준으로 평가 에이전트가 판정한다. 연구진은 두 가지 조건을 비교했다. 첫 제출로 평가를 끝내는 조건과, 실패 뒤 진단 피드백을 받고 한 번 수정할 수 있는 조건이다. 후자는 실제 업무에서 나타나는 실행, 검토, 개선의 순환을 제한적으로 재현한다.

주요 결과

• 최첨단 모델과 에이전트 하네스를 조합한 17개 구성을 평가했다.
• 피드백과 1회 수정은 완료율 중앙값을 5.3%포인트 높였다.
• 가장 성능이 좋은 시스템의 전체 레벨 완료율은 47.7%였다.
• 5개 레벨을 모두 완료한 과제는 23.3%에 그쳤다.

이 결과는 국소적인 문제 해결 능력과 지속적인 학습 능력 사이에 큰 차이가 있음을 보여준다. 특정 과제를 잘 처리하더라도 그 과정에서 얻은 교훈을 다음 단계로 확실하게 가져간다는 보장은 없다. 피드백은 도움이 되지만, 현세대 에이전트가 장기적으로 재사용 가능한 기술을 스스로 구축한다고 보기에는 개선 폭이 제한적이다.

의미와 영향

CLE는 메모리, 기술 재사용, 경험 전이, 재귀적 자기 개선을 하나의 평가 틀 안에 넣었다. 연구자들은 시스템이 유용한 맥락을 유지하는지, 반복되는 실패를 진단하는지, 한 업무에서 배운 방법을 뒤의 업무에 적용하는지를 더 구체적으로 확인할 수 있다.

물론 결과는 도구 사용 방식, 에이전트 하네스 설계, 피드백의 품질, 평가 에이전트의 판단에 영향을 받을 수 있으므로 현실의 지능을 완전히 대표하지는 않는다. 그럼에도 실제 파일, 상태를 가진 애플리케이션, 전문가가 작성한 기준을 포함했다는 점에서 독립적인 질의응답 묶음보다 장기적인 전문 업무에 가깝다.

CLE는 지속 학습 능력을 강화하기 위한 포스트트레이닝 데이터로도 활용될 수 있다. 이번 결과가 전하는 메시지는 분명하다. LLM은 개별 과제를 해결하는 능력은 빠르게 높이고 있지만, 일을 계속할수록 안정적으로 더 나아지는 에이전트를 만드는 일은 아직 중요한 연구 과제로 남아 있다.

출처: Hugging Face Daily Papers