記事一覧へ戻る

NexSight、長尺動画エージェントの証拠探索を評価・訓練

読了目安 3 分

長尺動画の質問応答では、あるフレームに何が映っているかを認識するだけでは足りない。数時間の映像に散らばった短い場面を探し、動作の回数を数えたり、出来事の順序を判断したり、状態が変化した時点を特定したりする必要がある。答えを支持する場面を一つ見つけても、合計回数を確定したことにはならない。見落としや重複カウントがないか確認する必要があるからだ。NexSightは、こうした証拠の探索と検証を評価・訓練の対象にする。

研究は主に三つの要素から成る。

  • SightForgeは評価タスクを構築する。草案の答えを知らない検証者が、元動画から密に再取得された証拠を用いてタスクを再構成できることを求める。反例による検証でタスクの妥当性が覆されないことも条件となる。
  • SightLineは構築されたベンチマークで、108本の長尺動画から作成した310件のタスクを収録する。細かな時間理解を問うとともに、証拠を追跡できるようにしている。
  • SightLoopは共通の対話型評価環境だ。時間軸の探索、局所的な映像の確認、証拠の統合、過去の場面への再訪を可能にし、モデルに返された観察結果も記録する。

この設計が補おうとするのは、最終回答の正誤だけでは見えない情報だ。モデルがどこを見たか、証拠が十分だったか、結論を覆す情報を確認したかは、答えだけを採点しても分からない。特に回数や時間順序を問う場合、証拠の網羅性が重要になる。一つの映像は動作が「起きた」ことを示せても、それが「その回数だけ」だったとは限らない。出来事の順序を判断するにも、関連場面を広い時間軸の中で照合する必要がある。

最も高性能なモデルのSightLineでの正答率は54.52%で、注釈付き証拠を与えると79.35%だった。この差は、見つかった証拠を解釈する能力だけでなく、どこを見るか、いつ見直すかも課題であることを示唆する。研究チームは、検証済みタスクでの解答軌跡を、観察判断に対するステップ単位の教師信号に変換した。訓練には評価対象とは別の動画を使う。6000件未満の例で、Sight-35Bの対話的正答率は21.29%から42.26%に上がったと報告している。

NexSightの意義は、長尺動画エージェントを最終回答だけでなく、その探索過程も含めて評価する点にある。これにより、視覚理解の失敗なのか、必要な場面の見落としや再確認不足なのかを切り分けやすくなる。一方、ベンチマークの成績と注釈付き証拠を与えた場合の成績には差が残り、信頼性の高い長尺動画推論はまだ課題だ。今後は正答率を伸ばすだけでなく、異なる動画やタスクでも完全な証拠の連鎖を安定して組み立てられるかが問われる。

出典:Hugging Face Daily Papers

コメント

ログイン状態を確認中…

コメントを読み込み中…

関連記事

CCTest · Blog
WeVisForensics、AI生成動画検出を多段階の取証プロセスへ
視覚・動画
cctest.ai
視覚・動画

WeVisForensics、AI生成動画検出を多段階の取証プロセスへ

WeVisForensicsは、調査役エージェントが視覚・音声の専門エージェントを指揮し、動画内の疑わしい時間帯を調べる仕組みです。論文は、複数のベンチマークにおける平均検出精度として95.2%を報告しています。

続きを読む
CCTest · Blog
ALIVE、ストリーミング動画モデルを能動的な協働へ
視覚・動画
cctest.ai
視覚・動画

ALIVE、ストリーミング動画モデルを能動的な協働へ

ALIVEは、ストリーミング動画モデルを単発の質問応答にとどめず、継続的な監視や複数ターンのタスク調整、情報不足時のフィードバック要求に対応させることを目指す。評価用ベンチマーク FSI-Bench も提案した。

続きを読む