CF-Net：映像中のためらいを「モダリティ間の衝突」から読む

導入

映像から感情を読むタスクでは、笑顔や怒りの表情のような比較的わかりやすいシグナルだけが対象になるわけではない。とくに ambivalence/hesitancy（AH、葛藤やためらい）は、言葉、声、表情のあいだに生じる小さなズレとして現れることが多い。arXiv 論文 CF-Net: Conflict Fusion with Speaker Normalisation and Certainty Weighting for Ambivalence/Hesitancy Recognition は、この難しさに焦点を当てたマルチモーダル認識モデルを提案している。

この研究は、ECCV 2026 の ABAW 11th における第 3 回 AH Video Recognition Challenge への提出で、対象は BAH データセットである。著者らの見立てでは、AH は典型的な感情表現として単独のモダリティに現れるというより、視覚・音声・発話内容の不一致から浮かび上がる。

主なポイント

• 3 種類の凍結バックボーン：CF-Net は、視覚に SigLIP2、音声に HuBERT、転写テキストに DistilBERT を用いる。いずれも凍結して使うことで、既存モデルの表現力を利用しつつ、タスク固有の融合部分に学習を集中させる構成になっている。
• 話者正規化による漏えい対策：論文では、バックボーン特徴を話者ごとに正規化する。これは、モデルが特定の人物の外見、声質、話し方といったアイデンティティ情報に過度に依存することを抑える狙いがある。
• ConflictFusion で不一致を明示化：単純な特徴結合ではなく、CF-Net はモダリティ間のペアごとの不一致を計算する。たとえば、発話内容は断定的でも声がためらっている、あるいは表情とテキストの意味が合わない、といった状況が AH の手がかりになり得る。
• 曖昧さを考慮した学習：訓練では certainty-weighted focal loss、manifold mixup、modality dropout を組み合わせる。さらに補助的な certainty-regression head を導入し、曖昧性アノテーションを使って境界的なサンプルでの学習を安定させるとしている。
• 報告された性能：BAH 検証セットでは Macro F1 が 0.7155、非公開チャレンジテストでは Macro F1 が 0.7364、AP が 0.7492 と報告されている。

意義と影響

CF-Net の興味深い点は、単に視覚・音声・テキストをまとめるだけでなく、「衝突」そのものを認識の対象にしていることだ。ためらいや葛藤は、はっきりした表情として出るとは限らない。むしろ、言っている内容、声の調子、顔の反応のあいだにある違和感こそが重要な手がかりになる。

また、話者正規化と certainty weighting は、感情認識研究で問題になりやすい 2 つの点に対応している。ひとつは、人物固有の情報を学習してしまうリスク。もうひとつは、人間の感情ラベルが本質的に曖昧であるという事実である。

ただし、ここで確認できる情報は主に要旨と arXiv ページに基づく。詳細なアブレーション、データセットの偏り、他手法との広範な比較までは判断できない。そのため CF-Net は、現時点では AH 認識チャレンジに特化した設計例として捉えるのが妥当だろう。

出典：arXiv