본 것을 정확히 실행할 수 있을까: EASEL이 평가한 멀티모달 에이전트

서론: 보는 것과 행동하는 것의 차이

멀티모달 모델은 이미지 질문에 답하고, 브라우저나 GUI, 소프트웨어 도구를 조작하는 수준까지 발전했다. 그러나 이미지를 이해하는 능력이 곧 시각적 근거에 따라 정밀한 작업을 안정적으로 수행하는 능력을 의미하지는 않는다. 세밀한 작업에서는 위치, 색상, 크기, 이동 경로를 추정한 뒤 행동을 실행하고, 변화한 상태를 다시 확인해 다음 행동을 정해야 한다. 한 번의 작은 오차가 이후 과정 전체에 누적될 수 있다.

논문 ‘Paint What You See’는 이러한 능력을 ‘정교한 시각 도구 사용’으로 정의하고 EASEL 벤치마크를 제안했다. 주요 과제에서 에이전트는 참조 이미지를 보면서 매개변수화된 그리기 동작을 반복해 캔버스를 목표 이미지에 맞춰야 한다.

핵심 내용

• 주요 과제는 참조 이미지 재구성이다. 에이전트는 시각적 증거를 바탕으로 그리기 동작을 선택하고, 각 단계의 결과를 확인하며 수정해야 한다. 도구 매개변수는 형식적인 호출 정보가 아니라 최종 결과를 직접 결정한다.
• 여러 정밀 작업을 함께 평가한다. EASEL에는 영역 주석, 손글씨, 경로 계획도 포함된다. 이를 통해 위치 지정, 궤적 제어, 구조화된 시각 행동의 한계를 살핀다.
• 문제는 단순한 이미지 인식에 그치지 않는다. 25개 모델의 평가에서 재구성 유사도는 0.40~0.54 수준에 머물렀다. 궤적 분석에서는 초기에 개선한 뒤 후속 동작이 오히려 품질을 떨어뜨리는 현상이 관찰됐다.
• 전용 궤적 데이터는 개선을 유도한다. 연구진은 2단계 커리큘럼으로 구성된 44만 개 샘플의 EASEL-Data를 공개했다. 이를 학습한 EASEL-9B는 기본 모델보다 상대적으로 6.3% 향상됐고, 평가 모델 중 3위를 기록했다.

의미와 영향

기존 에이전트 벤치마크는 웹페이지를 열었는지, 양식을 작성했는지, 코드를 생성했는지처럼 과제가 완료됐는지를 주로 본다. 이러한 지표는 고수준 계획 능력을 평가하는 데 유용하지만, 시각적 판단을 안정적이고 정밀한 행동으로 바꿨는지는 충분히 보여주지 못한다. EASEL은 최종 산출물과 그 과정의 궤적을 함께 분석해 ‘무엇을 해야 하는지 아는 능력’과 ‘실제로 정확히 수행하는 능력’을 구분한다.

이 차이는 이미지 질의응답에 강한 모델이 정밀한 주석이나 경로 계획에서는 급격히 약해질 수 있는 이유를 설명한다. 시각 정보는 처음에 제공되는 문맥에 머무는 것이 아니라, 각 행동의 결과를 평가하고 오류를 복구하는 제어 신호가 되어야 한다.

EASEL-9B의 결과는 전용 궤적 감독이 이 능력을 개선할 가능성을 보여준다. 하지만 6.3%의 향상만으로 문제가 해결된 것은 아니다. 긴 행동 시퀀스에서의 안정성, 누적 오류 복구, 새로운 도구로의 일반화는 여전히 남은 과제다.

GUI 에이전트, 창작 소프트웨어 보조 도구, 로봇처럼 실제 환경을 직접 바꾸는 시스템이 늘어날수록, ‘본 결과를 바탕으로 다음 행동을 정확히 선택할 수 있는가’를 묻는 평가가 중요해진다. EASEL은 바로 이 폐루프 능력을 구체적으로 드러내는 시도다.

출처: Hugging Face Daily Papers