視覚・動画

Open-o3-Video-v2 は、固定された疎なフレームだけに依存せず、必要な観察を追加取得しながら、根拠となる時刻と対象物を動画内に対応付けます。

FramePack-Uは、任意の長さの動画を固定サイズの視覚表現へ圧縮する、学習不要のフレームパッキング手法です。テキストとの関連性、フレーム間の多様性、解像度配分を組み合わせ、長時間動画のメモリ増大を抑えます。

QuadTokは、画像の複雑な領域を細かく、均一な領域を粗く表現する階層型の四分木Tokenizerを提案する。空間構造を保ったまま系列化できるため、自回帰画像生成にも適用できる。

長時間の動画生成では、過去を大量に保存するだけでなく、将来必要になる情報を選び出すことが重要です。FrameMorrowは未来の情報需要を予測し、その結果を使って履歴フレームを選択します。

OneStreamerは、ストリーミング動画におけるリアルタイム知覚、再利用可能な記憶、能動的な応答を統合する4Bモデルです。時間情報付きのキャプションとイベント要約を生成し、映像が直近の視覚ウィンドウから外れた後も事実を参照できるようにします。

フレームを時間順に処理し、全体シャッフルや複数エポックの再利用を行わない環境では、従来の視覚自己教師あり学習が大きく性能を落とす。研究チームは、入力パイプラインを調整したStreamMAEでこの問題に取り組んだ。

FlashForwardは、ノイズ除去中にすでに計算されているKVキャッシュを再利用し、履歴を構築するための追加推論を削減する。ノイズを含む履歴による品質低下には、疎なクリーンアンカーを組み合わせて対応する。

VideoPhysEditは、見た目だけでなく編集後の運動や相互作用まで扱う物理反実仮想動画編集のための、剛体シーン再構成パイプラインです。

新たな解釈可能性研究は、動画生成の初期ノイズ除去段階で RoPE が空間的な注意を過度に減衰させ、非現実的な動きを固定する可能性を示した。研究者はノイズ除去ステップに応じて RoPE の周波数を調整する手法を提案している。

Vidu S2は、対話型デジタルアバターと動画ストリーム編集をリアルタイムで実行する2つのモデルで構成されます。生成中に指示や参照画像を更新し、映像を継続的に操作するワークフローを目指しています。

ShallowStreamは、MLLMの浅い層を使ってストリーミング動画の符号化と検索用インデックスの構築を行い、質問時だけ深い層を活用します。論文では、フレーム単位のプリフィル遅延を最大52.1倍、10秒間のエンドツーエンド遅延を最大11.9倍削減したと報告しています。

arXivの新しい研究は、動画生成モデルの蒸留と人間の嗜好へのアライメントを単一段階で扱うDM-Alignを提案した。サンプル分布の差から嗜好誘導勾配を作り、従来の強化学習に伴う計算量と不安定性の削減を目指す。

長時間動画向けマルチモーダルモデルで、フレーム選択、空間圧縮、予算の再投資を切り分けて検証した研究が発表された。重要なのは単純な高解像度化ではなく、関連する時間情報をより広くカバーすることだ。

Google DeepMindは、Geminiが動画内の必要な区間を動的に検索・再確認できるAgentic Video Understandingを発表しました。公式ベンチマークでは、トークン使用量を最大88%、分析コストを最大66%削減し、精度を最大7%高めたとしています。

Luceは、形状とPBRマテリアルを統合したマルチモーダルGaussian表現を提案し、1枚の画像から再照明可能な3Dアセットを生成します。PBR Gaussianに加え、テクスチャ付きメッシュと接線空間法線マップも任意で出力できます。

高徳は、直近12フレームの局所コンテキストだけを使って長い映像から3Dシーンを逐次再構築するモデル「ABot-Recon」を発表した。長期記憶への依存を避け、誤差の蓄積や推論速度の低下、メモリ使用量の増大に対応する設計を採用している。

Google DeepMindがGemini Omni 1.1 Flashを発表した。シーンの延長、始点・終点フレームの指定、360pプレビュー、4K出力などを備え、動画制作の反復を効率化する。

SparsePRは、再学習を必要としない動画生成・世界モデル向けの疎注意手法です。応答結合型パーティショニングとプローブ適合型残差再構成を組み合わせ、品質を保ちながら実行する注意計算を削減します。

InfinityEdit は、完成済みの短い動画を逐次書き換えるのではなく、編集指示を受けながら未来の映像セグメントを生成する手法です。履歴、時間的因果性、編集テキストを扱う軽量アダプターによって、ストリーミング動画生成への編集機能の追加を目指します。

4DAnyoneは、キャリブレーションされていない単眼の人物動画から、多視点間で一貫した動画を生成し、それを4D Gaussian Splattingへ変換する手法です。増え続ける参照情報と、分割された視点グループ間の不整合を、二つのコンテキスト設計で抑えます。

アリババの動画生成モデル Wan 3.0 が公測を開始した。注目点は、doc や ppt、pdf などの文書をそのまま入力できることで、動画生成が表現ツールから業務活用ツールへ広がり始めたことだ。