OSReward, CUA 보상 모델 평가의 표준을 제시하다

컴퓨터 사용 에이전트(CUA)가 빠르게 발전하면서, 이제 중요한 질문은 단순히 “무엇을 할 수 있나”가 아니라 “그 결과를 어떻게 정확히 판정할 것인가”가 되었습니다. OSReward는 바로 이 지점을 겨냥해, CUA 궤적 검증을 표준화된 평가 문제로 정의했습니다.

핵심 포인트

• 사람이 검증한 기준 데이터: 웹, Windows, Ubuntu, 모바일 전반의 궤적을 수집하고, 다단계 인간 주석을 통해 정답 판정을 구축했습니다.
• 진짜 어려운 사례를 모은 OSReward-Hard: 단순 규칙으로는 맞히기 어려운 난제 위주로 구성했습니다.
• 세밀한 채점을 위한 OSReward-Multi: 성공 여부뿐 아니라 효율성과 정렬성까지 더 촘촘하게 평가할 수 있습니다.
• 판정 모델의 편향을 드러냄: 최상급 VLM도 이상적인 심판에는 미치지 못했고, 실패를 성공으로 보는 관대 편향이 공통적으로 확인되었습니다.
• 공개 학습 자원 제공: OS-Shepherd-100K와 이를 바탕으로 학습한 OS-Shepherd 9B/35B 오픈 보상 모델을 함께 공개했습니다.

의미와 영향

이 연구의 핵심은 단순한 벤치마크 추가가 아닙니다. CUA의 평가, 데이터 정제, 강화학습의 보상 신호는 모두 “판정이 맞다”는 전제 위에서 돌아가는데, 판정기가 흔들리면 전체 파이프라인이 흔들립니다.

또 하나의 현실적인 메시지도 분명합니다. 믿을 만한 모델은 대체로 비용이 높고, 저렴한 오픈 모델은 아직 성숙하지 않았습니다. OSReward는 이 간극을 정량적으로 보여주고, OS-Shepherd는 공개 데이터로 더 적합한 전용 보상 모델을 만드는 길을 제시합니다.

컴퓨터 사용 에이전트를 개발하는 팀이라면, 이제는 에이전트의 행동만 볼 것이 아니라 평가 체계 자체를 함께 설계해야 한다는 점을 이 논문이 분명히 말해줍니다.

출처: Hugging Face Daily Papers