TraceDance, 실제 에이전트 운영 기록에서 행동 벤치마크 자동 생성

배경

AI 에이전트가 최종적으로 작업을 완료했다고 해서 실행 과정의 모든 행동이 적절했다는 뜻은 아닙니다. 불필요한 도구 호출, 중요한 제약 조건의 무시, 위험한 의사결정은 최종 결과만 보는 평가에서 빠질 수 있습니다. 기존 벤치마크는 대체로 고정된 작업과 정답을 중심으로 설계되기 때문에, 실제 배포 이후 드러나는 세부적인 행동 문제를 충분히 포착하기 어렵습니다. TraceDance는 실제 운영 기록을 이용해 이런 문제를 특정 행동 중심의 테스트로 변환하려는 접근입니다.

작동 방식

TraceDance는 코딩 및 일반 도구 사용 에이전트의 배포 트레이스와 사용자가 지정한 바람직하지 않은 행동을 입력으로 받습니다. 주요 구성은 다음과 같습니다.

• Anchor-and-Confirm: 프로그래밍 가능한 검색으로 대규모 트레이스에서 관련 가능성이 있는 조각을 찾은 뒤, Flash LLM이 후보를 개별적으로 확인합니다. 단순 검색에서 발생하는 오탐을 줄이기 위한 단계입니다.
• Anchor Synthesis Loop: 검사하려는 행동의 정의가 불분명하면 시스템이 행동 명세를 만들고, 검색 및 확인 결과를 바탕으로 이를 반복 수정합니다. 추상적인 요구를 실제 판정 가능한 기준으로 구체화합니다.
• 의사결정 지점 연속 평가: 전체 환경을 다시 실행하거나 하나의 기준 정답을 요구하지 않습니다. 기록된 의사결정 지점에서 평가 모델이 다음 발화를 생성하고, 해당 행동에 맞춘 루브릭으로 적합성을 판정합니다.

따라서 평가는 “작업을 끝냈는가”에서 “작업을 수행하는 동안 적절하게 행동했는가”로 확장됩니다. 최종 결과가 맞더라도 중간 단계의 위험한 행동은 별도로 드러낼 수 있습니다.

실험 결과

연구진은 252,557개의 세션을 활용해 107개 벤치마크와 4,125개 인스턴스를 구축했습니다. 벤치마크 생성 요청의 95.3%가 충족됐습니다. 표본에 대한 사람 평가에서는 84%의 인스턴스에서 요청된 행동이 실제로 포함된 것으로 확인됐습니다. 자동 채점기의 합격·실패 판단 일치도는 사람 평가자들 사이의 일치도와 비슷했습니다. 이는 자동화된 채점이 유용할 수 있음을 보여주지만, 사람 검토가 불필요하다는 의미는 아닙니다.

9개 프런티어 LLM의 평균 통과율은 26.7%에 그쳤습니다. 일반적인 언어 능력이나 작업 수행 능력이 높아도, 특정 의사결정 지점에서 행동 규칙을 안정적으로 지키는 것은 여전히 어렵다는 뜻입니다. 다만 이 수치는 해당 맞춤형 벤치마크에서의 행동 성능이며, 모델의 전체 능력을 나타내는 종합 순위는 아닙니다.

의미와 한계

TraceDance가 제시하는 핵심은 “운영 문제를 발견하고, 맞춤형 벤치마크로 만들고, 다시 모델을 개선하는” 반복 구조입니다. 개발자는 정적인 벤치마크가 갱신되기를 기다리지 않고 실제 장애나 우려 사례에 맞춰 회귀 테스트를 만들 수 있습니다. 이런 점에서 에이전트 평가를 실사용 환경에 더 가깝게 만들고, 재귀적 자기개선 과정의 테스트 구성 요소로 활용할 가능성이 있습니다.

그러나 품질은 원본 트레이스의 범위, 행동 명세의 명확성, 자동 채점기의 신뢰성에 좌우됩니다. 사람 확인 비율이 84%라는 결과도 검색과 명세 생성이 완벽하지 않음을 보여줍니다. 고위험 분야에 적용하려면 더 넓은 사람 검토, 여러 작업에 걸친 검증, 평가 편향에 대한 지속적인 분석이 필요합니다.

출처: Hugging Face Daily Papers