응답하는 AI에서 결과를 납품하는 AI로: 작업 에이전트의 시스템 설계

들어가며

파운데이션 모델은 텍스트와 코드를 생성하는 단계를 넘어 브라우저, 오피스 애플리케이션, 개발 환경, 업무 시스템을 직접 다루는 방향으로 발전하고 있다. 이에 따라 AI 에이전트를 평가하는 기준도 달라져야 한다. 한 번의 응답이 그럴듯한지가 아니라, 위임받은 업무를 여러 단계에 걸쳐 수행하고 상태를 유지하며 오류에서 복구하고 다른 사람이 확인할 수 있는 결과를 납품하는지가 핵심이 된다.

Hugging Face Daily Papers에 소개된 「Work Agents: Systems, Capabilities, and Optimization」은 이 문제를 작업 중심의 관점에서 정리한다. 논문은 작업 에이전트를 파운데이션 모델과 런타임 하니스가 결합된 시스템으로 본다. 모델은 이해, 추론, 의사결정을 담당하고, 런타임은 도구 사용, 실행 제어, 상태 관리, 작업 공간과의 상호작용을 담당한다. 따라서 에이전트의 최종 산출물은 대화 속 문장이 아니라 실제로 사용할 수 있고 검증 가능한 업무 결과다.

핵심 내용

• 분석 대상을 모델에서 시스템으로 확장한다. 모델을 개선하는 것만으로는 장시간 실행, 도구 오류, 상태 손실, 결과 검증 문제를 해결하기 어렵다. 신뢰성은 모델과 실행 기반의 결합에서 나온다.
• 작업 환경을 두 축으로 설명한다. ‘작업 지속성’은 장기간 실행하고 중간 상태를 유지해야 하는 정도를 뜻한다. ‘작업 개방성’은 환경, 정보, 도구, 해결 경로가 얼마나 바뀔 수 있는지를 나타낸다. 두 축은 에이전트가 마주하는 작업 조건을 함께 보여준다.
• 디지털 업무는 하나의 유형이 아니다. 논문은 작업 범위와 조직 방식에 따라 디지털 업무를 다섯 가지 형태로 분류한다. 경계가 분명한 단기 작업과 개방된 환경에서 이어지는 장기 업무는 서로 다른 능력과 평가가 필요하다.
• 최적화 대상은 모델에 국한되지 않는다. 논문은 다섯 가지 핵심 능력군을 바탕으로 모델 최적화, 하니스 최적화, 두 요소의 공동 최적화를 살핀다. 모델이 강력해도 기억, 실행 제어, 피드백, 오류 복구 체계가 부족하면 안정적으로 결과를 내기 어렵다.
• 평가의 중심을 결과로 옮겨야 한다. 도구 호출 횟수나 개별 행동의 성공률만으로는 업무가 실제로 완료됐는지 판단하기 어렵다. 결과의 신뢰성, 검증 가능성, 의뢰 목표와의 부합성, 지속적인 실행 능력을 함께 봐야 한다.

의미와 영향

이 연구의 핵심 의미는 작업 에이전트를 ‘도구를 호출할 수 있는 대화형 모델’이 아니라, 상태를 가진 작업 공간에서 시간에 따라 행동하는 시스템으로 다시 정의했다는 데 있다. 이 관점은 통제된 데모에서는 잘 작동하는 에이전트가 실제 업무에서 상태 관리 부족, 환경 변화, 오류 복구 실패로 무너지는 이유를 설명하는 데 도움이 된다.

개발자에게 필요한 것은 더 큰 모델이나 더 많은 도구만이 아니다. 상태와 권한을 명확히 관리하고, 실행 과정을 추적하며, 결과를 검증하고, 실패 이후의 복구를 지원하는 런타임 설계가 중요해진다. 평가 연구 역시 단일 단계의 폐쇄형 과제에서 벗어나 지속적인 업무 위임과 개방형 환경을 포함해야 한다.

논문은 업무 수행 중 얻은 피드백이 에이전트의 능력 개선으로 이어질 수 있는지도 향후 과제로 제시한다. 이 순환이 안정적으로 구축된다면 작업 에이전트는 단순한 자동화 인터페이스를 넘어, 복잡한 디지털 업무를 책임 있게 수행하는 협업 시스템으로 발전할 수 있다.

출처: Hugging Face Daily Papers