WebHarbor、GUIエージェント向けに再現可能な実在サイト環境を構築

導入

ウェブGUIエージェントに求められるのは、画面上の文字を読むことだけではありません。ページを移動し、ボタンを押し、情報を入力し、ログインし、最終的に予約や取引などの状態変更まで完了する必要があります。しかしライブウェブをそのまま評価に使うと、ページ内容の更新、ボット対策による遮断、認証が必要な機能の不足によって、結果を安定して再現できません。一方、合成サイトは制御しやすいものの、実在サービスの見た目や機能の深さが十分でない場合があります。

WebHarborは、この隔たりを埋めることを目指す環境スイートです。実在するウェブサービスを実行可能なDocker環境として再構成し、研究者が固定された条件のもとで、現実に近い操作を繰り返せるようにします。

主なポイント

• 153の実行可能な環境：各環境は、サイトの画面構成、コンテンツ、機能的なワークフローを再現します。報告された平均は1環境あたり37.3ページ、約1319.9枚の画像で、視覚的な網羅性も重視されています。
• 人間とエージェントの協働開発：新しいタスクが加わるたびに、必要な機能をコーディングエージェントが実装し、人間の貢献者が見た目の忠実度、機能の正しさ、タスクの妥当性を確認します。素材によると、26の所属機関から57人が5か月かけて構築しました。
• 認証後の複雑な操作：3518タスクには、単なる情報検索だけでなく、アカウント操作、予約、取引などの多段階・ログイン後ワークフローが含まれます。評価器は最終回答だけでなく、サイト内の状態変化も確認します。環境を素早くリセットできるため、強化学習の反復にも向いています。
• 学習実験：WebHarborだけで強化学習した4B級エージェントは、WebVoyagerとOnline-Mind2Webの平均で75.8を記録しました。比較対象のOpenWebRL-4Bや共有された教師あり微調整チェックポイントを上回り、WebVoyagerの15サイトは学習から除外されています。

意義と今後

WebHarborの重要性は、データセットを増やしたことだけではありません。GUIエージェント研究における環境を、配布・再起動・検証が可能な基盤として扱っている点にあります。固定されたサイトは、ライブサービスの更新やアクセス制限が生む評価ノイズを抑えます。また、状態変化を検証すれば、エージェントが目的のページを開いただけなのか、それとも作業を完了したのかを区別できます。

もちろん、Docker上の再構成サイトがインターネット全体の多様性を完全に表すわけではありません。実環境への移行性や、未収録サイトでの性能は引き続き検証が必要です。それでも、コード、タスク、モデル、コンテナイメージが公開されたことで、環境の拡張や再現実験は進めやすくなります。今後のGUIエージェントには、強力な推論能力だけでなく、訓練・評価・リセットを安全に繰り返せるインタラクティブな世界が必要だという示唆を与えています。

出典：Hugging Face Daily Papers