Duo v1、意図と行動を統合する相互世界モデルを提案

概要

これまでの世界モデルは、主に外部の物理的な世界をシミュレーションするものとして研究されてきた。環境を観測し、次に起こる変化を予測する一方で、推論や意思決定は別の制御モジュールに委ねられることが多い。Duo v1の開発チームは、この分離ではインタラクティブな世界の一部を取りこぼすと考える。知能そのもの、特に「いつ参加するか」と「どのように反応するか」も、世界の構成要素として扱うべきだという発想である。

この考え方がReciprocal World Model（RWM、相互世界モデル）だ。初期実装であるDuo v1は、音声、映像、テキストを継続的に受け取りながら、リアルタイムにユーザーへ応答する全二重世界モデルとして設計されている。ここでいう全二重は、単に入力と出力を同時に処理するという意味ではない。応答中も入力を聞き取り、観察を続け、会話に加わるべきかを判断し、自然な割り込みにも対応することを含む。

主な設計

• 意図と実現を分けて協調させる。 Intentはインタラクションの認知を担い、次に何をすべきか、参加すべきかを推論する。Realizationは、その判断を一貫した音声・映像の振る舞いへ変換する。前者が「何をしたいか」、後者が「どう表現するか」に相当する。
• 継続的な推論に自回帰モデルを使う。 Duo v1では、自回帰モデルを拡散モデルの指示理解だけに限定しない。対話中の推論と参加判断を自回帰的に生成し、逐次的に到着する入力を扱う構成を採用している。
• 共通の時間軸で同期する。 データのチャンクごとに条件を構成し、同期tokenを使ってIntentとRealizationを同じタイムライン上で連携させる。モジュール内外の注意マスクは因果関係を制約し、生成時に未来の入力を参照しないようにする。
• 二重のロールアウト蒸留で分布ずれを抑える。 Intentには自回帰的に生成された意図tokenを、Realizationには合成された音声・映像履歴を用いて学習する。推論時にモデル自身が作る中間状態へ適応させることが目的である。

意義と課題

Duo v1の意義は、音声・映像・言語を同時に扱う点だけにあるのではない。世界モデルが表現すべき対象を、外部の出来事だけでなく、観察者の認知、参加のタイミング、外部への振る舞いまで広げた点にある。この方向が発展すれば、システムは「聞き終える、考える、答える」という固定的な流れから離れ、常時接続された協力者のように振る舞える可能性がある。

資料では、現実の物体を共有すること、仮想シーンを変えること、アシスタントを誘導すること、マウスやキーボードを使わず音声・映像ゲームを行うことなどが応用例として挙げられている。ただし、提供された情報だけから、遅延、信頼性、複雑な環境での汎化が解決済みだとは判断できない。現段階では、意図推論と行動生成を一つの連続的なループに戻した、アーキテクチャ上の出発点と捉えるのが妥当だろう。

Hugging Face Daily Papers