HERA, AI 에이전트에 ‘멈춰야 할 때’를 가르치다

들어가며

도구를 호출하고 여러 단계를 수행하는 AI 에이전트가 항상 올바른 판단을 내리는 것은 아니다. 특히 작업에 필요한 자원이 없거나 환경 제약을 만족할 수 없어 유효한 해답이 존재하지 않는 경우에도, 에이전트는 계속 도구를 호출하며 해결을 시도할 수 있다. 이는 계산 비용과 실행 시간을 낭비할 뿐 아니라 잘못된 조작으로 이어질 위험이 있다. HERA(Harness-Environment Co-Evolution for Reliable Agentic Abstention)는 이 문제를 ‘언제 행동하고 언제 멈출 것인가’라는 독립적인 능력으로 다룬다.

핵심 내용

• 거부 판단을 별도 능력으로 본다. HERA가 다루는 agentic abstention은 해결 불가능한 작업을 억지로 처리하지 않고, 적절한 시점에 중단하는 능력이다. 기존 방법은 고정된 작업 모음에서 모델이나 에이전트 하네스를 최적화하는 경우가 많아, 훈련 중 보지 못한 실패 유형에 취약할 수 있다.
• 가능·불가능 작업을 자동으로 만든다. 먼저 해결 가능한 작업을 준비한 뒤 실행 환경에 통제된 변이를 적용한다. 그 결과 원래 작업과 구조적으로 유사하지만, 올바른 답은 거부뿐인 작업을 생성한다. 이를 통해 정답을 검증할 수 있는 가능 작업과 불가능 작업의 쌍을 확보한다.
• 하네스와 환경을 함께 진화시킨다. 실패가 발생하면 계획 수립, 도구 사용, 결과 검증, 중단 결정을 담당하는 하네스를 수정한다. 동시에 같은 약점을 다시 시험할 수 있는 새로운 환경과 작업도 만든다. 실패를 다음 평가와 개선의 입력으로 바꾸는 순환 구조다.
• 신중함이 곧 낮은 수행률을 뜻하지 않는다. 별도로 확보한 평가 작업에서 진화한 하네스는 거부 판단 정확도를 61.7%에서 83.3%로 높였다. 해결 가능한 작업의 완료율도 68.3%에서 76.7%로 상승해, 무조건 더 많이 거부하는 방식과는 다르다는 점을 보여준다.

의미와 영향

HERA의 핵심 의의는 정적인 벤치마크 점수 개선을 넘어, 환경을 새로운 실패 사례를 만드는 장치로 활용했다는 데 있다. 에이전트가 실패할 때 이를 단순한 오류로 기록하는 대신, 하네스의 수정과 다음 작업 생성에 연결한다. 실제 배포 환경에서는 훈련 데이터와 동일한 실패가 반복되지 않기 때문에, 이런 폐쇄형 개선 루프가 고정된 테스트 세트보다 현실적인 압박을 제공할 수 있다.

논문 요약에 따르면 가장 성능이 좋은 하네스는 특정 모델에 맞춘 추가 최적화 없이 19개의 다른 LLM으로 이전할 수 있었고, 거부 판단 정확도를 평균 15.3%포인트 향상했다. 또한 더 작은 모델도 이 하네스를 활용하면 더 강력한 모델에 가까운 성능을 내면서 추정 비용을 약 85% 낮출 수 있다고 보고한다. 이는 에이전트 신뢰성을 높이는 방법이 모델 규모 확대에만 있지 않으며, 도구 제어와 검증, 중단 정책의 개선도 중요한 선택지라는 점을 시사한다.

다만 제공된 자료에는 전체 벤치마크 구성과 비교 방법, 환경의 세부 유형이 포함되어 있지 않다. 따라서 위 수치는 논문 요약에서 보고된 결과로 이해해야 하며, 모든 사용 환경에 그대로 적용된다고 볼 수는 없다. 그럼에도 HERA는 ‘잘 행동하는 능력’뿐 아니라 ‘행동하지 않는 편이 옳다는 것을 아는 능력’도 학습과 평가, 반복 개선이 가능한 에이전트 역량으로 제시한다.

출처: Hugging Face Daily Papers