HALO가 보여준 프로액티브 에이전트의 과도한 개입 문제

들어가며

사용자가 명시적으로 요청하지 않았을 때 AI 에이전트는 먼저 도움을 제안해야 할까요? 실제로는 도움의 필요성, 개입 시점, 개입의 범위를 함께 판단해야 합니다. 기존 평가가 작업 성공 여부나 단순한 통과·실패 판정에 머무르면, 사람이 왜 특정 응답을 거절했는지와 에이전트가 어느 지점에서 판단을 잘못했는지를 파악하기 어렵습니다.

논문 「HALO: Human-Grounded Granular Evaluation of Proactive Agents」는 이러한 한계를 보완하기 위해 인간 중심의 세밀한 평가 체계를 제안합니다. 프로액티브함을 하나의 능력으로 보지 않고, 증거 활용과 행동 수준, 타이밍, 개입 강도로 나누어 분석하는 접근입니다.

핵심 내용

• 네 가지 능동적 필요를 평가한다. HALO-Arena는 의존, 막힘, 위험, 기회를 10개 일상 영역과 50개 개인 환경에서 다룹니다.
• 증거 검색을 필수 단계로 포함한다. 에이전트는 구조화된 데이터베이스나 비정형 문서에서 정보를 찾은 뒤 도움의 필요성과 개입 범위를 판단해야 합니다.
• 이진 판정을 넘어선다. HALO-8K에는 10개 모델이 400개 시나리오에서 생성한 8000개 응답이 들어 있으며, 20명의 전문가가 행동 수준, 수용 가능성, 거절 이유를 표시했습니다.
• 추론 노력도 기록한다. 추론 토큰 수와 검색 라운드를 측정해 판단에 투입된 노력과 결과를 함께 살핍니다.
• 과도한 적극성이 대표적 실패다. 최고 독점 모델의 수용률은 72.88%, 최고 오픈소스 모델은 56.63%였습니다. 거절 응답 중 61.20%는 개입이 너무 빠르거나 강한 경우였습니다.

의미와 영향

HALO의 핵심 메시지는 프로액티브 에이전트가 단순히 더 많이 행동하는 시스템이어서는 안 된다는 것입니다. 중요한 기준은 “무언가를 했는가”가 아니라 “적절한 시점에 적절한 수준으로 행동했는가”입니다. 모델이 관련 증거를 확보하고 실제 문제를 발견했더라도, 사용자가 아직 도움을 원하지 않는 시점에 먼저 움직이면 실패할 수 있습니다. 제안의 방향이 맞더라도 한 번에 너무 많은 조치를 취하면 과잉 개입이 됩니다.

이는 알림, 일정 계획, 상태 모니터링, 작업 실행을 담당하는 제품에 특히 중요한 문제입니다. 전혀 행동하지 않는 에이전트는 무용하지만, 계속 끼어드는 에이전트 역시 사용자의 신뢰를 잃을 수 있습니다. 따라서 증거에 기반한 주도성과 상황에 맞는 절제가 함께 필요합니다.

또한 더 많은 검색과 긴 추론이 항상 더 나은 도움으로 이어지는 것은 아닙니다. 충분한 증거를 모으는 능력과 언제 기다려야 하는지 판단하는 능력은 별개의 문제입니다. 향후 학습과 안전성 평가에서는 문제 발견 능력뿐 아니라 개입 타이밍과 강도를 조정하는 능력도 함께 측정해야 합니다.

HALO는 실제 배포 전 평가의 질문을 확장합니다. 에이전트가 문제를 찾을 수 있는지만 볼 것이 아니라, 도움을 주려다 사용자에게 새로운 방해나 부담을 만들지는 않는지도 확인해야 한다는 뜻입니다.

출처: Hugging Face Daily Papers