StreamEvalが示す、リアルタイム動画生成の本当の課題

導入

動画生成は、完成した短いクリップを一度に出力する段階から、再生中もユーザーの入力に応答し続ける段階へ移りつつあります。ユーザーは、動画の途中でアバターの動きを変えたり、生成された世界を編集したり、既存の要素を残したまま新しい変更を加えたりします。このようなシステムでは、映像が美しいかどうかだけでは不十分です。要求が届いた時点を理解し、適切な状態変更を実行し、維持すべき内容を壊さない能力が必要になります。

StreamEvalは、この課題を測定するためのインタラクティブなストリーミング動画生成向け統一ベンチマークです。単独の完成映像ではなく、時間の流れの中でマルチモーダルな要求を処理できるかを評価します。

主なポイント

• 5種類のタスクを対象にする。 アバター対話、アバターのパフォーマンス、ワールド生成、指示編集、参照編集を扱います。キャラクター中心の操作と、環境・映像中心の編集をまとめて評価できる構成です。
• 時間制約を明示する。 300件のスクリプト化されたテストケースは15～300秒続きます。初期素材、段階的に届く要求、求められる状態変化、保持すべきコンテンツがあらかじめ定義されています。
• 画質以外も評価する。 タスク実行、状態一貫性、視覚的忠実度、視聴覚協調の4軸を、0～100点の10個のタスク別指標で測定します。
• 指示への追従が弱い。 7つのアバターパフォーマンスモデルでは、Followingの最高値が36.90でした。テキスト条件付きワールド生成では25.93、報告された3つの参照編集モデルのEdit Successでは15.00が最高値です。見栄えの良さと、要求どおりに動作することには差があります。

なぜ重要なのか

StreamEvalの意義は、ストリーミング型システムに固有の要件を明文化した点にあります。従来の動画生成評価は、単一クリップの画質、動き、人物の同一性などに重点を置くことが多いものでした。しかし、インタラクティブなモデルは、新しい要求が以前の状態を置き換えるのか、追加するのかを判断しながら、時間をまたいで一貫性を保たなければなりません。

短い区間では自然に見えるモデルでも、数十秒の連続処理では要求を取りこぼしたり、変更の反映が遅れたり、残すべき人物や物体を変えてしまったりする可能性があります。そのため、生成品質と指示実行能力を同じものとして扱うことはできません。StreamEvalは、実行と状態維持を独立した重要な能力として可視化します。

開発者にとっては、解像度や外観の改善だけでなく、状態表現、要求のスケジューリング、時間的な記憶、編集結果を検証する仕組みが重要になります。利用者の立場では、「美しい映像を作れるか」だけでなく、「映像の連続性を保ったまま次の要求に正確に応答できるか」が実用性を左右します。

37種類のモデルを対象にしたこの評価は、今後のシステムを比較するための共通の出発点になります。アバター、仮想世界、クリエイティブツールで動画生成が使われるほど、時間と保持条件を含む確実な要求実行が、成熟度を測る重要な指標になりそうです。

出典：Hugging Face Daily Papers