OSRewardが示す、CUA評価の新しい標準

コンピュータを操作するエージェント（CUA）が広がるにつれ、重要になるのは「何を達成したか」だけではなく、「それをどう正しく判定するか」です。OSReward は、この判定問題を正面から扱い、CUA の軌跡を標準化された評価対象として整理しました。

主なポイント

• 人手で検証された基準データ：Web、Windows、Ubuntu、モバイルにまたがる軌跡を収集し、多段階の人手注釈で正解を付与。
• 難例に特化した OSReward-Hard：実際に誤判定が起きやすい、厄介なケースを集中的に評価。
• 細かな採点に対応する OSReward-Multi：成功・失敗の二分法だけでなく、効率や整合性も見られるようにした。
• VLM 判定器の限界を可視化：最先端モデルでも理想的な裁判官には届かず、失敗を成功と誤る“寛容バイアス”が見られた。
• 学習用コーパスと公開モデル：OS-Shepherd-100K を構築し、それを使って OS-Shepherd 9B/35B というオープンな報酬モデルを訓練。

何が重要か

この研究の価値は、単に新しいベンチマークを追加したことではありません。CUA の評価、データ選別、強化学習の報酬信号は、すべて「判定器が正しい」という前提の上に成り立っています。もし裁判官役の VLM が甘いなら、学習ループ全体が誤差を増幅してしまいます。

また、実運用上の課題も明確です。信頼できるモデルは高価で、安価なオープンモデルはまだ性能不足。その間にあるギャップを埋めるため、OSReward は“まず厳密に測る”、OS-Shepherd は“その知見で専用モデルを育てる”という二段構えを示しました。

CUA を作る側にとって、この論文は「エージェントを賢くする前に、評価を賢くせよ」という強いメッセージでもあります。

出典: Hugging Face Daily Papers