LongRCA Bench, 장기 에이전트 실패의 책임자와 최초 원인을 찾다

들어가며

장기 실행 에이전트가 계획을 세우고 도구를 호출하며 여러 역할 사이에서 작업을 넘기다가 실패하면, 일반적인 평가는 최종 결과가 실패했다는 사실만 보여준다. 그러나 개발자가 실제로 알아야 할 것은 어느 역할이나 구성 요소가 책임을 져야 하는지, 그리고 이후의 실패를 결정적으로 만든 최초의 단계가 무엇인지다. 긴 실행 기록을 처음부터 끝까지 살펴보지 않으면 결과로 드러난 오류를 근본 원인으로 잘못 판단할 수 있다.

LongRCA Bench가 평가하는 것

LongRCA Bench는 이러한 진단 문제를 겨냥한 벤치마크다. 오류를 인위적으로 삽입하지 않은 실제 실패 궤적 1,140개를 5개 분야에서 수집했으며, 궤적 길이의 중앙값은 145단계다. 각 사례에는 서로 다른 두 가지 목표에 대해 독립적인 사람 평가 라벨이 제공된다.

• 책임 역할 식별: 실패에 주된 책임이 있는 역할, 모듈 또는 실행 주체를 찾는다.
• 최초의 결정적 근본 원인 단계 탐지: 이후 실패를 결정적으로 유발한 가장 이른 단계를 찾는다.

두 목표를 분리하는 것은 중요하다. 초기 인계 지시가 잘못되었더라도 문제가 실제로 드러나는 시점은 나중의 도구 호출일 수 있다. 반대로 초기에 이상이 발생했지만 후속 판단이 있기 전까지는 복구가 가능할 수도 있다. 따라서 실패에 연관된 역할을 맞히는 능력과 정확히 어느 단계가 원인이었는지 특정하는 능력은 동일하지 않다.

RCTA와 실험 결과

논문은 Root-Cause Trajectory Attribution, 즉 RCTA도 제안한다. RCTA는 추가 학습 없이 작동하는 방법이다. 먼저 궤적을 나눈 구간 요약에서 오류가 의심되는 후보 단계를 검색하고, 그 후보를 이용 가능한 이전 인계 지시까지 거슬러 올라가 연결한다. 수백 개의 단계를 한꺼번에 분석하는 대신 요약과 인계 정보를 이용해 탐색 범위를 좁히는 방식이다.

동일한 백본, 벤치마크 사례, 평가 프로토콜을 사용한 비교에서 RCTA는 책임 역할 정확도 51.1%, 근본 원인 단계의 정확한 일치율 24.1%를 기록했다. 가장 강한 기준선의 정확한 원인 단계 정확도는 13.2%에 그쳤다. 즉, 실패와 관련된 역할을 추정하는 것보다 실패를 결정지은 최초의 단계를 정확히 지목하는 일이 훨씬 어렵다는 점이 드러난다.

의미와 영향

LongRCA Bench는 에이전트 평가의 질문을 “작업에 성공했는가”에서 “실패를 설명하고 원인을 추적할 수 있는가”로 확장한다. 위임, 도구 사용, 역할 간 인계에 의존하는 시스템에서는 성공률만으로 신뢰성을 판단하기 어렵다. 책임의 경계와 오류가 뒤 단계로 전파된 경로까지 확인해야 실제 디버깅과 개선으로 이어질 수 있다.

동시에 정확한 원인 단계 탐지율은 아직 높지 않으며, 장기 궤적 진단은 여전히 열린 연구 과제다. 더 나은 구간 요약, 풍부한 텔레메트리, 명확한 인계 기록, 인과적 의존성을 반영하는 평가 방법이 후속 연구에 필요하다. 데이터셋과 리더보드는 공개되어 있다.

출처: Hugging Face Daily Papers