ArrivalBench: 한 번은 통과한 에이전트 데이터 파이프라인의 시간적 실패

들어가며

AI 에이전트가 실행 가능한 데이터 파이프라인을 만드는 것만으로는 충분하지 않다. 실제 데이터는 한 번에 정리된 형태로 도착하지 않는다. 일부 레코드는 늦게 들어오고, 같은 레코드가 중복되며, 순서가 뒤섞이거나 재시도로 다시 전달된다. arXiv 논문 ArrivalBench는 이런 시간적 조건을 제외한 기존의 스냅샷 평가가 에이전트가 만든 파이프라인의 신뢰성을 과대평가할 수 있다고 지적한다.

핵심 내용

• 고정 입력에서 이벤트 재생으로 전환했다. 기존 평가는 하나의 데이터 스냅샷을 파이프라인에 한 번 넣고 결과를 확인한다. ArrivalBench는 에이전트가 남긴 동일한 산출물을 보존한 뒤, 지연·중복·순서 뒤섞임·재시도를 포함하는 적대적이지만 재현 가능한 전달 일정에서 다시 실행한다.
• 정답은 일괄 재계산 결과다. 증분 처리로 만들어진 최종 상태를 전체 로그를 한꺼번에 계산한 결과와 비교한다. 따라서 파이프라인이 충돌한 경우와 실행은 끝났지만 잘못된 테이블을 만든 경우를 분리할 수 있다.
• 일회성 통과율은 실패를 가린다. 40개 과제에서 11개 모델의 결과물을 분석한 결과, 단일 실행 평가를 재현하면 각 모델이 만든 파이프라인의 86100%가 인증됐다. 그러나 같은 결과물을 재생하자 인증된 파이프라인의 7.079.2%에서 조용한 오류가 발견됐다.
• 수정 루프만의 문제는 아니다. 스냅샷 테스트에 맞춰 수정된 파이프라인도 처음부터 테스트를 통과한 파이프라인과 비슷한 비율로 재생에 실패했다. 핵심 원인은 수정 횟수가 아니라 시간과 전달 순서를 포함하지 않은 평가 환경이다.
• 멱등성 문제가 더 취약했다. 모든 모델에서 단순한 순서 문제보다 동일한 레코드가 반복 처리될 때 발생하는 멱등성 위험이 더 자주 실패를 일으켰다.

의미와 영향

데이터 파이프라인의 ‘정확성’은 특정 입력 스냅샷에서 올바른 출력이 나오는지로만 정의할 수 없다. 이벤트가 계속 유입되는 시스템에서는 시간이 지나면서 상태가 어떻게 변하는지도 요구사항이다. 중복 기록, 오래된 값에 의한 덮어쓰기, 지연 이벤트 처리 오류는 예외를 발생시키지 않은 채 잘못된 테이블을 만들 수 있다. 이런 조용한 손상은 기존 모니터링으로 발견하기 더 어렵다.

개입 결과는 단일 지표를 해석할 때의 주의점도 보여준다. 한 모델에서는 위험 경고가 조용한 실패를 48.2%에서 10.5%로 낮췄지만, 충돌률은 9.0%에서 37.0%로 높였다. 두 유형을 모두 실패로 집계하면 전체 실패율은 51.0%에서 44.0%로만 줄었다. 즉, 개입이 보이지 않는 오류를 관찰 가능한 충돌로 바꿨을 가능성도 있으며, 조용한 실패의 감소만으로 전반적인 신뢰성 향상을 단정할 수 없다. 11개 실험 조건은 모두 독립적으로 재실행됐고, 비율의 변동은 최대 5.9%포인트였다.

개발자는 멱등성, 이벤트 순서, 재시도 의미, 최종 상태의 수렴을 별도로 테스트해야 한다. 평가 설계자 역시 전달 일정과 시간에 따른 상태 변화를 선택적 스트레스 테스트가 아니라 기본 평가 항목으로 포함할 필요가 있다. 에이전트가 만든 데이터 파이프라인은 한 번 실행되는지가 아니라, 시간이 지나도 올바른 상태를 유지하는지로 평가해야 한다.

arXiv