에이전트의 실패는 무지일까 무능일까, 지식 게이트 평가 프로토콜

들어가며

에이전트가 전문 업무에 실패했을 때 원인을 곧바로 모델의 능력 부족으로 단정하기는 어렵다. 조직 내부의 관례나 비공개 규칙을 몰랐을 수도 있고, 필요한 정보를 알고도 계획과 실행에 실패했을 수도 있다. 이 둘을 구분하지 못하면 검색과 컨텍스트 전달을 개선해야 하는지, 도구 사용과 추론 능력을 개선해야 하는지 판단하기 어렵다.

연구 논문 “Ignorance or Incompetence? Constructing Knowledge-Gated, Verifiable Tasks for LLM Agents”는 이 문제를 다루기 위해 지식 게이트형 작업 구성 프로토콜을 제안한다.

핵심 설계

• 지시와 지식을 분리: 작업 지시와 별도로 비공개 관례, 참조 표, 유틸리티 연산자를 담은 간결한 아티팩트를 제공한다.
• 대조 조건을 통제: 아티팩트를 제공하는 조건과 숨기는 조건에서 작업 지시문을 바이트 단위로 동일하게 유지한다.
• 정보 유출을 점검: 구성 과정의 출처를 기록하고, 비공개 지식이 작업 문구나 공개 데이터에 노출되지 않았는지 감사한다.
• 결과를 검증 가능하게 구성: 구조화된 작업에는 결정론적 솔버와 규칙 코퍼스를 사용한다. 단일 실행 오라클로 판정하기 어려운 출력에는 기준별 루브릭을 적용한다.
• 반복 실행으로 확인: 다섯 번의 시험을 통해 우연한 단발성 결과가 아니라 안정적인 지식 의존성인지 확인한다.

실험 결과

15개 보정 작업에서 한 프런티어 에이전트 설정은 아티팩트가 제공됐을 때 68.0%의 통과율을 기록했지만, 아티팩트가 없을 때는 0%였다. 연구진은 그럴듯하지만 틀린 아티팩트를 제공한 한 작업도 소개했다. 이 경우 다섯 번의 시험에서 모두 0%가 나왔다. 즉, 컨텍스트를 추가하는 행위만으로는 충분하지 않으며, 지식의 정확성과 작업 적합성도 중요하다.

다섯 번의 경험적 지식 게이팅 기준을 적용한 뒤에는 7개 작업이 남았다. 다만 이 결과가 보여주는 것은 지식 의존성을 측정할 수 있는 작업을 구성하는 프로토콜의 타당성이다. 선별된 작업이 모델의 후속 학습을 개선한다는 결론은 아니다.

의미와 한계

지식 접근성을 실험 변수로 통제하면 벤치마크 실패를 더 실용적으로 해석할 수 있다. 관련 아티팩트를 제공했을 때만 성공한다면 검색, 컨텍스트 패키징, 지식 관리가 개선 대상일 가능성이 크다. 반대로 정확한 지식을 제공해도 실패한다면 계획, 도구 사용, 지시 준수, 실행 신뢰성이 문제일 수 있다.

그러나 결과는 특정 에이전트 설정에 상대적이며, 평가된 작업 수 역시 제한적이다. 지식 게이트의 강도는 아티팩트 설계와 판정 기준에 영향을 받는다. 공개된 작업 모음과 도구도 일부이므로, 더 다양한 모델과 실제 배포 로그, 장기 작업에서의 재현 검증이 필요하다.

이 연구는 새로운 에이전트 아키텍처가 아니라 진단을 위한 평가 설계다. 모든 실패를 하나의 점수로 묶는 대신, 무엇을 몰랐는지와 무엇을 제대로 수행하지 못했는지를 분리하려는 시도라는 점에서 의미가 있다.

출처: Hugging Face Daily Papers