VibeLifeBench: 생활형 에이전트는 몇 주 동안 주도성을 유지할 수 있을까

도입

개인 AI 비서는 이제 단순한 질의응답 도구를 넘어, 사용자의 생활 업무를 대신 처리하는 에이전트로 기대되고 있다. 하지만 기존 평가는 대체로 짧은 지시, 고정된 샌드박스, 명확한 목표를 전제로 한다. VibeLifeBench가 제기하는 질문은 더 현실적이다. 과제가 몇 주 동안 이어지고, 세상이 사용자의 추가 프롬프트 없이 계속 변하며, 중요한 조건이 직접 말해지지 않을 때도 에이전트는 일을 끝까지 책임질 수 있을까?

핵심 내용

• 과제는 프롬프트가 아니라 시간이 흐르는 세계다. VibeLifeBench는 10개 일상생활 영역에 걸친 200개의 장기 과제로 구성된다. 각 과제는 여러 주 동안 진행되는 스크립트형 타임라인이며, 중앙값 기준 29일 동안 이어진다. 환경은 22개 모의 서비스와 288개 도구로 만들어졌다.
• 중요한 변화가 조용히 발생한다. 이 벤치마크에는 1,483개의 무음 상태 변화가 포함된다. 좌석이 갑자기 무효 처리되거나, 항공편이 지연으로 바뀌거나, 피싱 이메일이 받은편지함에 들어오는 식이다. 별도 알림이 없기 때문에, 에이전트가 스스로 환경을 다시 점검하지 않으면 발견할 수 없다.
• 암묵적 제약도 채점된다. 실제 생활 업무에는 사용자가 명확히 말하지 않아도 지켜야 하는 조건이 많다. 여권의 6개월 유효기간 규칙, 인슐린 반입에 필요한 세관 서류, 예산 상한 같은 요소가 대표적이다. VibeLifeBench는 이런 조건을 실제로 준수했는지도 평가한다.
• 평가는 남겨진 결과를 기준으로 한다. 12,261개의 가중 체크 항목은 최종 상태, 행동 시점, 제약 준수를 확인한다. 모델의 숨겨진 추론을 보는 것이 아니라, 에이전트가 환경 안에 실제로 남긴 흔적만 읽는다.

의미와 영향

제시된 결과는 현재 에이전트의 한계를 분명히 보여준다. 7개 프런티어 모델 모두 낮은 점수를 기록했으며, 가장 좋은 Claude Opus 5도 avg@3 32.5에 그쳤다. 또한 모든 모델은 타임라인 초반에서 후반으로 갈수록 10~15점 하락했다. 대표 과제인 20일짜리 일본 여행 시나리오에서는 피싱 이메일을 거부한 실행이 단 한 번도 없었다.

이는 단일 턴에서 도구를 능숙하게 쓰는 능력이 장기적인 생활 대행 능력으로 곧바로 이어지지 않음을 뜻한다. 유용한 개인 에이전트라면 언제 행동하고, 언제 질문하며, 언제 조용히 기다릴지 판단해야 한다. 동시에 아무도 알려주지 않는 변화를 찾아내고, 첫날 세운 계획을 마지막 날까지 일관되게 유지해야 한다. VibeLifeBench가 과제, 환경, 평가 프레임워크를 공개할 예정인 만큼, 향후 에이전트 연구가 단기 실행을 넘어 지속적이고 주도적인 생활 대행 능력으로 확장되는 계기가 될 수 있다.

출처: Hugging Face Daily Papers