実環境の感情行動分析に向けたタスク別特徴融合手法

導入

実環境画像における感情行動分析は、単一の分類問題ではない。システムは、人物の価性と覚醒度を連続値として推定し、表情カテゴリを分類し、さらに顔面動作単位を検出する必要がある。これらはすべて顔の振る舞いに関係しているが、ABAW11 チャレンジに向けた arXiv 論文は、「関連している」ことと「同じ構造で解くべき」ことは別だと指摘する。

論文「Task-Specific Feature Fusion Method for Multi-Task Affective Behavior Analysis」は、第 11 回 Affective Behavior Analysis in-the-wild、すなわち ABAW11 の多タスク学習設定を扱う。公式 s-Aff-Wild2 画像から、価性・覚醒度、表情カテゴリ、顔面 action unit を同時に予測することが求められる。著者らの主張は明快で、各タスクは必要とする視覚特徴、時系列処理、融合方式、校正手法が異なるというものだ。

主要ポイント

• 凍結した事前学習特徴を活用：研究ではまず、DINOv2 ViT-L と DINOv3 ConvNeXt-base という 2 種類の事前学習済み視覚バックボーンを、表情に焦点を当てた外部顔画像データセットで適応させる。その後、これらを凍結し、ABAW11 公式データからフレーム単位の相補的特徴を抽出する。中心は巨大モデルのエンドツーエンド学習ではなく、強力な特徴をどう組み合わせるかに置かれている。

• 多様な上位モデルを体系的に比較：著者らは、フレーム単位の予測ヘッド、時系列畳み込みヘッド、事後的な時系列平滑化、LightGBM、特徴結合、ゲート融合、残差融合、後段での logit 融合、閾値校正、共有型の多タスク学習構造を比較している。最終システムは、すべてに同じ設計を押し付けるのではなく、タスクごとに適した構成を選ぶ。

• 検証セットでの性能：ABAW11 検証セットにおいて、最終システムは EXPR macro-F1 で 0.4222、AU macro-F1 で 0.5402、VA の平均 CCC で 0.6717 を達成し、全体の検証スコアは 1.6341 となった。これは、凍結視覚特徴に対するタスク適応型融合が、ABAW 型の多タスク感情分析に有効である可能性を示している。

意義と影響

この研究の重要性は、新しい巨大バックボーンを提示した点ではなく、多タスク学習における「共有すればするほどよい」という前提に疑問を投げかけた点にある。表情分類は大域的で識別的な外観特徴を必要とするかもしれない。一方、action unit 検出は局所的な筋肉運動に敏感である必要があり、価性・覚醒度推定ではより安定した時間的信号が重要になる可能性がある。単一の融合機構では、これらの要求を十分に満たせない場合がある。

実装面でも、このアプローチは現実的だ。DINO 系の強力な視覚特徴を凍結すれば、上位層の設計、融合方式、平滑化、校正を比較的低コストで試せる。コンペティション向けシステムだけでなく、短いサイクルで検証を重ねる研究プロトタイプにも応用しやすい。

ただし、現時点で示されている主な証拠は ABAW11 検証セット上の結果である。より広いデータセットや実運用環境で同じ傾向が見られるかは、コード公開や再現実験を通じて確認される必要がある。それでも本研究は、マルチタスク感情計算において、統一モデルだけでなく、各タスクの性質に合わせた特徴融合設計が重要であることを明確に示している。

出典：arXiv