EgoProceVQA：一人称視点動画で「手順理解」を測る新ベンチマーク

導入

一人称視点動画は、ウェアラブルデバイス上で動く AI アシスタントにとって重要な入力形式になりつつある。ユーザーの視点から記録される映像には、単なる物体や動作だけでなく、「どの手順で作業が進んでいるのか」という時間的な構造が含まれている。arXiv に投稿された EgoProceVQA: A Novel Egocentric Procedural Understanding Task with Self-Skill-Exploration Agent は、この手順理解に焦点を当てた研究である。

既存の一人称視点動画評価では、場面認識や動作認識、一般的な動画質問応答が中心になりがちだった。一方で、料理、掃除、組み立て、修理のような日常活動は、多くの場合、複数の重要ステップから成る。AI が実用的な支援を行うには、映像内で何が見えているかだけでなく、作業がどこまで進んだか、次に何が必要かを理解する必要がある。

主なポイント

• EgoProceVQA の提案：一人称視点動画の手順推論能力を、動画質問応答の形式で評価する新タスク。重要ステップを中心とした 6 種類の質問を扱う。
• EgoProceGen によるデータ生成：異なる質問タイプに合わせて QA データを効率的に構築するためのプラットフォームが用意されている。
• ベンチマークの構成：3600 問、4 種類の一般的な手順シナリオ、31 の日常的な手順タスクを含む。
• 既存モデルの限界：評価結果は、現在のマルチモーダル大規模言語モデルやエージェントが、手順理解においてまだ大きな改善余地を持つことを示している。
• EgoProceAgent の導入：汎用的な手順理解ツールライブラリと標準化されたサブスキルライブラリを用い、正解ラベルによる監督なしにスキルの組み合わせを探索する。

意義と影響

この研究の重要性は、「動画を見て説明する」能力と「作業の流れを理解する」能力を明確に分けた点にある。たとえば、モデルが道具や手の動きを認識できても、それが作業全体のどの段階に当たるのか、必要なステップが抜けていないかを判断できるとは限らない。ウェアラブル AI アシスタントに求められるのは、まさにこの後者の能力である。

EgoProceVQA は、今後のマルチモーダル AI 評価において、手順構造をより重視する方向性を示している。また EgoProceAgent は、単一モデルに答えを直接出させるのではなく、ツールやサブスキルを組み合わせて問題に対応するエージェント型アプローチを採っている。この点は、近年の AI エージェント研究とも接続している。

もちろん、論文で示されたベンチマークは研究用途の出発点であり、現実環境での利用には、より多様で雑音の多いデータや安全面の検討が必要になる。それでも本研究は、一人称視点 AI が本当に日常作業を支援するために必要な評価軸を提示している。

出典：arXiv