포스트트레이닝 전에 LLM의 에이전트 능력을 평가하는 방법

들어가며

대규모 언어 모델이 그럴듯한 답변을 생성한다고 해서 곧바로 유능한 에이전트가 되는 것은 아니다. 코딩이나 연구를 수행하는 에이전트는 목표를 해석하고, 도구를 사용하며, 여러 단계를 이어서 실행하고, 결과를 검증하고, 실패한 뒤 경로를 수정해야 한다. 하지만 사전학습 단계의 기반 모델은 일반적으로 대화형 지시를 따르도록 조정되지 않았고, 에이전트가 사용할 행동 형식도 충분히 학습하지 않은 상태다. 완성된 챗봇 에이전트용 평가 환경을 그대로 적용하면 모델의 능력 부족과 인터페이스 불일치를 구분하기 어려운 이유다.

논문은 이러한 문제를 다루기 위해 ASAP(Agent Scaffold Adaptation for Pretraining Evaluation)를 제안한다. 핵심 목표는 기반 모델을 대규모로 재구성하지 않고도 실제 작업 수행에 가까운 환경에서 에이전트적 행동을 관찰하는 것이다.

ASAP의 접근법

ASAP는 기반 모델을 챗봇으로 변환하는 대신, 기존 에이전트 스캐폴드에 가벼운 적응을 적용하고 모델의 completion 인터페이스를 유지한다. 방법의 핵심 요소는 다음과 같다.

• 구조화된 궤적 이어쓰기: 이미 진행된 실행 궤적을 모델에 제공하고 다음 행동을 생성하게 한다. 빈 프롬프트에서 완성된 에이전트 응답을 요구하는 것보다 작업 흐름에 자연스럽게 진입할 수 있다.
• 짧은 참조 프리픽스: 도구와 행동, 작업 상태가 어떻게 연결되는지 이해할 수 있도록 제한적인 참고 정보를 제공한다. 별도의 대규모 적응 학습을 전제로 하지 않는 방식이다.
• 최소 복구 메커니즘: 출력이 실행 형식과 맞지 않거나 과정이 잠시 중단될 때 평가를 이어갈 수 있도록 제한적인 복구를 사용한다. 다만 외부 규칙이 모델 행동을 과도하게 대신하지 않도록 설계된다.

연구진은 소프트웨어 엔지니어링과 심층 연구 벤치마크에 이 방법을 적용하고, 여러 기반 모델과 사전학습 체크포인트를 비교했다. 제공된 초록에 따르면 ASAP는 모델과 학습 단계 사이의 차이를 구분할 수 있는 엔드투엔드 성능을 보였다. 또한 최종 점수만 산출하지 않고 모델이 실제로 생성한 실행 궤적을 남긴다.

실행 궤적이 주는 정보

우도 기반 지표나 정적 과제 정확도는 언어 모델링 능력을 확인하는 데 유용하다. 그러나 모델이 긴 작업을 수행하는 동안 탐색하는지, 시도한 내용을 편집하는지, 결과를 테스트하는지, 실패 후 복구하는지는 충분히 알려주지 못한다.

실행 궤적을 분석하면 최종 결과 이면의 차이를 살펴볼 수 있다. 같은 결과에 도달한 두 모델도 한 모델은 체계적으로 탐색하고 중간 결과를 검증하는 반면, 다른 모델은 근거가 부족한 행동을 연속해서 수행할 수 있다. 실패한 실행 역시 계획 부족, 편집 실패, 검증 부재, 복구 실패 등으로 나누어 볼 수 있다. 이는 사전학습이 진행되면서 에이전트 관련 능력이 어떻게 변하는지, 그리고 포스트트레이닝 전후의 행동 패턴이 어떻게 달라지는지 분석할 수 있는 행동 수준의 관점을 제공한다.

의미와 한계

ASAP는 기존 사전학습 벤치마크를 대체하려는 방법이 아니다. 정적 점수와 우도 기반 대리지표가 놓칠 수 있는 상호작용 능력을 보완하는 진단 도구에 가깝다. 모델 개발자는 포스트트레이닝을 시작하기 전에 기반 모델이 어떤 에이전트 행동 성향을 이미 갖고 있는지 확인하고, 조정 전후의 실행 패턴도 비교할 수 있다.

다만 제공된 초록에는 구체적인 수치가 제시되지 않았고, 스캐폴드와 복구 전략이 각각 결과에 미친 영향도 분리되어 설명되지 않는다. 따라서 ASAP를 에이전트 지능을 정의하는 단일 척도로 보기보다는, 모델이 무엇을 예측하는지를 넘어 어떻게 행동하고 수정하며 과제를 완수하는지를 관찰하게 하는 실용적인 평가 프레임워크로 이해하는 편이 적절하다.

출처: Hugging Face Daily Papers