TurnWise：ターン単位の信用割当でストリーミング動画RLを改善

ストリーミング動画理解は、動画全体を見終えてから一度だけ回答するタスクとは異なります。モデルには映像が逐次入力され、そのたびに「今すぐ応答するか、それともさらに観察するか」を判断することが求められます。このような処理は複数の対話ターンから構成されるため、強化学習の報酬をどの判断に帰属させるかが重要になります。

軌跡全体のアドバンテージが抱える問題

近年、ストリーミング動画タスクにGroup Relative Policy Optimization（GRPO）を適用する研究が進んでいます。しかし既存手法の多くは、インタラクション全体に対して一つのアドバンテージを計算し、それをすべての判断で共有します。実装は容易ですが、ターン単位の意思決定とは一致しない場合があります。

たとえば、モデルが早い段階で正しい回答をした後、必要のない回答を繰り返したとします。軌跡全体に正の評価が与えられると、冗長な後続応答まで強化される可能性があります。反対に、最初の回答が失敗した場合、その後に行われた有益な補足応答まで、同じ低い信号によって抑制されるかもしれません。問題は報酬設計だけでなく、どの「応答または待機」の判断に学習信号を割り当てるかにあります。

TurnWiseの二つの工夫

論文は、ストリーミング対話の構造に合わせたターン単位GRPOフレームワークTurnWiseを提案しています。主な設計は次の二つです。

• ターン単位の信用割当：各判断に対応するプレフィックスを、以降は積極的に応答しない状態として静黙補完し、その判断から先に残るリターンを使って群相対アドバンテージを構成します。これにより、現在のターンの信号を、それ以前の報酬から切り分けます。
• ターン平均の方策最適化：まず各ターン内でトークン損失を平均し、その後ターン間で平均します。長い回答がトークン数の多さだけで学習を支配することを防ぎ、応答と待機の判断をより均等に扱います。

この二つの仕組みは、「どのターンに信用を与えるか」と「異なる長さのターンをどう最適化するか」という別々の問題に対応します。学習済みクリティックや追加ロールアウトは必要ありません。

意義と影響

TurnWiseの意義は、ストリーミング動画強化学習における最適化の基本単位を、軌跡全体から個別の対話ターンへ移した点にあります。継続的に観察し、適切なタイミングで発話するシステムでは、「何を答えるか」だけでなく「いつ答え、いつ待つか」も性能を左右します。

論文の実験では、TurnWiseが従来の強化学習手法を上回ったと報告されています。報酬ルールを増やすだけでなく、信用割当と損失集約をタスク構造に合わせることで、ストリーミング方策を改善できる可能性を示しています。この考え方は、リアルタイム動画アシスタントや継続的知覚システムなど、待機と行動を繰り返すエージェントにも応用の余地があります。

出典：Hugging Face Daily Papers