도구 사용 에이전트는 왜 실패하는가: 증거에서 행동까지의 단절

서론

데이터베이스를 조회하고 기록을 수정하며 외부 시스템을 호출하는 AI 에이전트에게 최종 결과가 맞는지만 묻는 것은 충분하지 않습니다. 에이전트가 필요한 증거를 확인하지 않은 채 우연히 올바른 상태에 도달할 수도 있기 때문입니다. 이런 과정은 감사와 재현이 어렵고, 실제 운영 환경에서는 여전히 중요한 안전 실패로 볼 수 있습니다.

Hugging Face Daily Papers에 소개된 이번 연구는 도구 사용 에이전트의 ‘증거에서 행동으로’ 이어지는 경로를 분석합니다. 연구진은 에이전트가 행동의 적절성을 판단하는지뿐 아니라, 조사에 필요한 정보를 확보한 뒤 올바른 순서로 실행하는지도 살폈습니다.

핵심 결과

• 정적 판단이 실행을 보장하지 않는다. 동일한 V1 사례를 다시 평가한 세 가지 구성에서 정적 정확도는 95% 이상이었지만, 상호작용 성공률은 52% 이하였습니다. 추상적인 상황에서 적절한 행동을 고르는 능력과 실제 환경에서 조사하고 실행하는 능력 사이에 큰 차이가 있다는 뜻입니다.
• 실패는 행동 전에 시작된다. V0 에피소드에서는 필요한 조사를 끝내기 전에 중단한 비율이 21.7%~62.9%였습니다. V1 행동 시도 가운데 37.0%~66.9%는 필요한 증거가 확보되기 전에 발생했습니다.
• 증거가 없다고 반드시 멈추지는 않는다. 43개 V1 사례에서 결정적인 기록 하나를 숨기는 통제 실험을 진행했지만, 완료된 에피소드의 46.5%~53.5%에서 에이전트는 여전히 행동했습니다.
• 다단계 작업에는 추가 문제가 있다. 필요한 증거가 확보된 뒤 단일 행동은 대체로 안정적으로 수행됐습니다. 그러나 의존성이 있는 워크플로에서는 해결되지 않은 선행 조건과 후속 단계의 미완료가 나타났습니다.

평가 체계

SafeActBench는 6개 운영 영역의 656개 사례로 구성됩니다. 평가 프로토콜은 정적 행동 판단에서 시작해, 조사 후 행동하지 않기, 단일 행동, 의존성 제약이 있는 다중 행동으로 단계적으로 확장됩니다. 이를 통해 판단 실패와 조사 실패, 실행 실패를 구분할 수 있습니다.

연구진은 출처 정보와 연결된 Evidence Ledger도 설계했습니다. 어떤 정보가 확인됐는지, 언제 이용 가능해졌는지, 행동이 언제 발생했는지를 기록하는 장부입니다. 결정론적 궤적 평가기는 각 주요 행동이 사전에 확보된 증거로 뒷받침됐는지, 후속 의존 조건이 충족됐는지를 확인합니다. LLM 심판에 의존하지 않고 기록된 실행 궤적을 직접 검사한다는 점이 특징입니다.

의미와 영향

에이전트 평가를 최종 상태의 정확도나 작업 완료율에만 맡겨서는 안 됩니다. 조사 과정이 충분했는지, 증거를 추적할 수 있는지, 증거 확보 후에 행동했는지, 다단계 작업의 모든 선행 조건을 만족했는지를 함께 확인해야 합니다.

실제 시스템에서는 증거 장부, 명시적인 확인 단계, 의존성을 인식하는 실행기가 안전장치가 될 수 있습니다. 이번 연구는 에이전트가 정답을 알고 있는지에서 더 나아가, 확보된 증거를 사용해 정당한 행동을 했는지를 평가해야 한다는 방향을 제시합니다. 외부 상태를 바꾸는 에이전트가 늘어날수록 이런 과정 중심 기준의 중요성도 커질 것입니다.

출처: Hugging Face Daily Papers