もっともらしい未来だけでは不十分――Web世界モデルの安全性評価

導入

Webエージェントは、クリック、送信、購入、設定変更などの操作を実行する前に、その結果を予測するようになっています。Web世界モデルの役割は、候補アクションの後に画面や状態がどう変化するかを想像することです。これまでの評価では、予測された未来が自然で、現実的に見えるかどうかが重視されがちでした。

しかし、安全性が関わる場面では、筋の通った説明だけでは足りません。その予測が、操作を実行してよいのか、ユーザーに確認すべきなのか、それとも拒否すべきなのかを判断するための決定的な情報を残している必要があります。予測が正しそうに見えても、認可を左右する情報が抜け落ちていれば、安全な意思決定には使えません。arXiv論文「Beyond Plausible Prediction: Safety Sufficiency in Web World Models」は、この性質を「安全十分性（safety sufficiency）」と呼んでいます。

主なポイント

• 意味的な妥当性は認可の正しさを保証しない。 研究では、10個の凍結オープンモデルが生成した3000件の予測を、条件をそろえて人手評価しました。86.1%は意味的にもっともらしいと判断されましたが、それだけでは信頼できる安全判断の証拠になりません。
• 過度な拒否は別の失敗を隠す。 一部のモデルは、危険な操作を誤って許可する割合が低い一方、情報不足を質問で解消すべきASK事例の再現率が低く、BLOCKを強く選びました。これは表面的には慎重でも、正当なタスクを止めたり、確認によって解決できる曖昧さを処理できなかったりします。
• SafeWebWorldは判断の流れ全体を測る。 五つのWeb安全領域を対象に、アクションに条件づけられた未来の生成、方針判断に必要な証拠の保持、方針に沿った決定という三つの側面を評価します。出力が自然な文章かどうかだけを見る評価より、実運用の安全制御に近い設計です。
• 証拠を残せても判断が改善するとは限らない。 制御されたSecurity-Aligned Supervised Fine-Tuningでは、関連証拠の保持能力が大きく向上する一方、認可に敏感な意思決定は悪化しました。情報を表現する能力と、それを正しいポリシーに適用する能力は別物だと示されます。
• スコアの回復可能性は頑健性ではない。 Latent Authorisation Recovery（LAR）は、モデル内部の認可に関するスコア構造が残っているのか、読み出し方法に問題があるのかを調べます。凍結スコアの再校正で大きく回復するバックボーンもありましたが、効果はモデル系列に依存しました。ペア形式の回復による追加効果は限定的で、系列内評価や認可条件をそろえた評価では依然として低い結果でした。

意義と影響

安全なWebエージェントの失敗は、危険な操作を実行してしまうことだけではありません。曖昧な依頼をすべて拒否するシステムは、誤実行を減らせても、正当な作業を完了できず、必要な確認も行えません。したがって評価では、誤った安全実行、ASKの識別、証拠の完全性、判断境界の安定性を個別に測る必要があります。

この研究は、安全性チューニングの結果を単純に解釈しないよう促します。画面状態を詳しく説明できるようになっても、認可ポリシーを適用する能力が高まったとは限りません。集計スコアを校正して改善しても、近い事例や条件の異なる事例で一貫した判断ができるとは限りません。

中心的な問いは、「もっともらしい未来を生成できるか」から「安全な判断に必要な情報を、その未来が十分に示しているか」へ移ります。この視点は、Webエージェントだけでなく、予測してから行動する各種AIシステムの評価にも役立ちます。

出典：arXiv