장기 실행 에이전트의 실패 원인을 찾는 Continual Search

들어가며

짧은 작업에서 에이전트가 실패했다면 마지막 몇 단계만 살펴도 원인을 추정할 수 있습니다. 하지만 검색, 계획, 도구 호출을 오랜 시간 수행하는 에이전트에서는 상황이 다릅니다. 마지막에 나타난 오류는 훨씬 앞선 잘못된 판단이나 환경과의 상호작용에서 비롯될 수 있습니다. 따라서 중요한 과제는 실패를 설명하는 데 그치지 않고, 방대한 실행 기록에서 실제로 수정할 수 있는 근본 원인을 찾는 것입니다.

근본 원인 분석은 검색 문제다

논문은 Root-Cause Attribution, 즉 RCA를 검색 문제로 봅니다. 중요한 증거는 전체 기록 중 일부 단계에만 나타나고, 서로 먼 위치에 흩어져 있으며, 최종 실패와 직접 연결되지 않을 수 있습니다. 실패 직전의 문맥만 확인하는 방식으로는 초기의 결정적 사건을 놓칠 가능성이 있습니다.

기존 RCA 방법은 대체로 LLM에 실행 트레이스를 한 번 읽히고 진단을 요청합니다. 짧은 트레이스에서는 효과적일 수 있지만, 긴 트레이스에서는 조기 확정이라는 문제가 생깁니다. 모델이 초반에 그럴듯한 설명을 발견하면 이를 현재 답으로 받아들이고, 이후 그 설명을 수정하거나 반박할 증거를 적극적으로 찾지 않을 수 있습니다. 이 때문에 같은 실행 기록을 다시 분석해도 서로 다른 진단이 모두 높은 확신으로 제시될 수 있습니다. 그럴듯한 설명과 실제 인과적 원인은 같지 않습니다.

Continual Search의 접근법

Continual Search는 진단을 단발성 답변이 아니라 여러 차례의 반복 탐색으로 바꿉니다. 각 단계에서 판단자는 현재 가설을 다시 검토하고, 아직 확인하지 않은 정보와 설명되지 않은 사건, 기존 결론과 충돌할 수 있는 증거를 찾습니다. 단순히 같은 질문을 반복하는 것이 아니라, 초기 판단의 빈틈을 드러내고 탐색을 너무 일찍 끝내지 않도록 유도하는 방식입니다.

연구진은 네 개의 기존 RCA 벤치마크에서 이 접근법을 평가했습니다. 동시에 기존 평가 세트가 대규모 실행 기록을 충분히 포함하지 못한다고 보고, MegaRCA-Mix를 제시했습니다. 이 테스트베드는 장기적이고 실행량이 많은 작업에서 발생한 실패를 다루며, 사람이 주석을 단 50개의 실패 시험으로 구성됩니다. 제공된 자료에 따르면 여러 벤치마크와 모델 계열에서 일관된 개선이 나타났지만, 구체적인 개선 수치는 공개된 요약에 포함되어 있지 않습니다.

의미와 남은 과제

이 연구는 에이전트 디버깅을 단순한 결과 분류가 아니라 증거를 찾고 가설을 수정하는 과정으로 바라보게 합니다. 실용적인 RCA 시스템은 어떤 로그 구간을 조사했는지, 어떤 가설이 아직 검증되지 않았는지, 특정 사건을 왜 원인으로 판단했는지를 추적할 수 있어야 합니다.

다만 탐색을 계속하면 추론 횟수와 비용이 커질 수 있습니다. 앞으로는 정확도뿐 아니라 탐색 효율, 증거의 추적 가능성, 진단이 실제 수정 조치로 이어지는지도 평가해야 합니다. 에이전트의 실행 경로가 길어질수록 빠르게 답하는 능력보다 필요한 증거를 끝까지 찾는 능력이 더 중요해질 수 있습니다.

출처: Hugging Face Daily Papers