ATAS、映像エージェントに場所と時間の記憶を与える

導入

現在の動画生成モデルは、単独のショットを印象的に作れる一方で、複数のショットを一つの一貫した物語へまとめることには課題が残ります。同じ部屋へ戻っただけなのに家具や出入口の配置が変わったり、同じ出来事を別のカメラから撮り直した際に人物の動作や状態が一致しなかったりします。プロンプトや直前のフレームを渡すだけでは、空間を再訪するための共通座標系や、過去の出来事を再生するための時間記録にはなりません。

浙江大学のチームが提案する Any Time, Any Space（ATAS）は、この問題を「世界状態を管理する問題」として扱います。基盤となる動画生成器を置き換えるのではなく、脚本の解析、関連情報の検索、クリップの再構成、結果の確認、記憶の更新を一つのエージェント型パイプラインにまとめます。

主な仕組み

• 参照情報を持つショット要求：脚本を、場所、カメラ、イベント時刻を明示した要求へ変換します。これにより、同じ場所への再訪と、特定の時点の出来事の再現を区別できます。
• 二つの記憶を使い分ける：シーンメモリは登録された静的な形状やレイアウトを保存します。イベントメモリは、シーン・イベント・時間を手掛かりに、動的な観測を保存します。
• 生成の前後で状態を扱う：生成前に必要な空間・時間の証拠を検索し、生成後にはクリップを再構成して記憶へ登録します。
• 無条件に記憶へ追加しない：レビューと状態チェックを通過した観測だけを記憶へ反映します。映像を納品するかどうかは、記憶への登録可否とは分離されています。

評価と意義

論文では4種類の動画生成器を用いて評価しています。著者らの報告によれば、ATASは示されたすべてのショット間一貫性指標を改善し、各バックボーンで最高の総合ベンチマークスコアを得ました。さらに、目標画像に基づく空間再訪、イベント再現、人手による評価も実施されています。これらの比較では、対象となったエージェント方式や3D誘導方式を上回り、6項目の人手評価すべてで最高評価を得たとされています。ただし、これは論文の実験条件における結果であり、実用上の性能は基盤モデルやシーンの複雑さに左右されます。

ATASの重要性は、映像の連続性を具体的な記憶操作へ分解した点にあります。空間構造を保存し、動的な出来事を時間付きで記録し、必要な証拠を検索し、新しい観測を信頼できるか判断するという流れです。これは複数ショットの制作、インタラクティブな物語、再生可能な映像世界に応用できる可能性があります。一方で、記憶の信頼性はクリップの再構成と状態検査に依存します。遮蔽、形状変化、長期的な相互作用を含む現実的な場面でどこまで拡張できるかは、今後の検証課題です。

出典：Hugging Face Daily Papers