CLASHarness, 멀티 에이전트 컴퓨터 사용의 충돌을 검증하다

들어가며

여러 비전언어모델이 파일, 웹페이지, 업무 시스템을 함께 조작할 때 핵심 문제는 지시를 수행할 수 있는지가 아니다. 어떤 정보를 믿어야 하는지를 판단할 수 있는지가 더 중요하다. 한 하위 에이전트는 오래된 상태를 보고할 수 있고, 다른 에이전트는 모순된 지시를 내릴 수 있다. 공유 파일, 잠금, 권한을 둘러싼 경쟁도 발생한다. 따라서 신뢰할 수 있는 시스템은 다른 에이전트의 출력을 사실이 아니라 검증해야 할 주장으로 다뤄야 한다.

CLASHarness는 이러한 능력을 평가하기 위해 제안됐다. 논문은 기존 컴퓨터 사용 벤치마크가 정보가 일관되고 에이전트들이 협력하는 깨끗한 환경을 가정하는 경우가 많아, 실제 멀티 에이전트 업무 흐름과 평가 사이에 간극이 있다고 지적한다.

핵심 내용

• 작성된 이야기에서 검증 가능한 과제로: 계층적 시나리오 계획과 8단계 검증 마이크로 파이프라인을 결합한다. 오래된 정보, 상충하는 지시, 공유 자원 경쟁을 만들 수 있는 23개 모듈형 충돌·도전 플러그인도 제공한다.
• 렌더링 전에 사실을 고정: 결정적인 시각적 사실을 화면 증거를 만들기 전에 확정한다. 이를 통해 서사 이탈, 정답 유출, 실제로 만족할 수 없는 평가 기준을 줄이려 한다.
• 실행 궤적에서 평가기를 생성: 샌드박스에서 참조 궤적을 실행한 뒤, 결정론적 코드 검사와 의미 기반 판단을 결합한 하이브리드 평가기를 컴파일한다. 저자들은 이 방식으로 과제가 구성 단계부터 해결 가능해진다고 설명한다.
• 다양한 운영 영역을 포함: 20개 운영 영역의 실행 가능한 다중 라운드 과제 600개, 60개 패키지, 7970개의 4K 시각 증거 자산, 3284개의 필수 검사를 포함한다.

평가가 보여주는 차이

15개 최전선 모델을 평가한 결과, 하위 에이전트의 보고와 실제 환경이 충돌할 때 약한 모델은 오도하는 보고를 그대로 따르기 쉬웠다. 반면 더 강한 모델은 화면의 시각적 증거를 확인해 현재 상태를 검증한 뒤 행동하는 경향을 보였다. 이는 멀티 에이전트 협업이 언어적 조정만으로 완성되지 않음을 의미한다. 정보 출처를 대조하고, 정보의 최신성을 판단하며, 관찰 가능한 증거에 행동을 근거해야 한다.

의미와 영향

CLASHarness의 중요한 점은 충돌 해결을 모호한 이야기형 과제에서 재현 가능한 상호작용 평가로 바꾼 데 있다. 사실을 미리 확정하고, 참조 궤적을 샌드박스에서 실행하며, 평가기를 자동으로 생성하면 수작업 과제 작성과 채점 비용을 낮출 수 있다. 동시에 모델 간 성능 차이를 해석하기도 쉬워진다.

실제 시스템에 주는 교훈도 분명하다. 에이전트 간 메시지 전달만 개선해서는 충분하지 않다. 에이전트는 공유 환경을 직접 확인하고, 오래된 정보를 의심하며, 권한이나 상태가 일치하지 않을 때 실행을 멈출 수 있어야 한다. 멀티 에이전트 컴퓨터 사용의 신뢰성은 협력과 검증적 의심 사이의 균형에 달려 있다.

출처: Hugging Face Daily Papers