CF-Net: 영상 속 망설임을 ‘멀티모달 충돌’로 읽는 모델

도입

영상 속 감정을 인식하는 일은 단순히 웃음이나 분노처럼 뚜렷한 표정을 찾는 것만이 아니다. 특히 ambivalence/hesitancy(AH), 즉 양가감정과 망설임은 말의 내용, 목소리의 톤, 얼굴 반응 사이의 작은 어긋남으로 드러나는 경우가 많다. arXiv 논문 CF-Net: Conflict Fusion with Speaker Normalisation and Certainty Weighting for Ambivalence/Hesitancy Recognition 은 이 문제를 겨냥한 멀티모달 모델을 제안한다.

이 연구는 ECCV 2026 ABAW 11th의 제3회 AH Video Recognition Challenge에 제출된 것으로, BAH 데이터셋을 대상으로 한다. 논문의 관점은 명확하다. AH 신호는 하나의 모달리티에서 강하게 나타나는 전형적 감정이라기보다, 시각·음성·전사 텍스트 사이의 불일치에서 포착될 수 있다.

핵심 내용

• 세 가지 동결 백본 사용: CF-Net은 시각 스트림에는 SigLIP2, 음성에는 HuBERT, 전사 텍스트에는 DistilBERT를 사용한다. 백본을 동결해 강력한 사전학습 표현을 활용하면서, 과제 특화 학습은 융합 구조에 집중하도록 설계했다.
• 화자 단위 정규화: 논문은 백본 특징을 화자별로 정규화한다고 설명한다. 이는 모델이 특정 사람의 외모, 목소리, 말버릇 같은 정체성 단서에 의존하는 것을 줄이기 위한 장치다. AH 인식에서는 이런 지름길 학습이 일반화 성능을 해칠 수 있다.
• ConflictFusion으로 불일치 모델링: 단순히 여러 특징을 이어 붙이는 방식이 아니라, CF-Net은 모달리티 쌍 사이의 불일치를 명시적으로 계산한다. 예를 들어 말은 확신에 차 있지만 음성은 머뭇거리거나, 표정과 발화 의미가 맞지 않는 경우가 AH의 중요한 단서가 될 수 있다.
• 불확실성을 반영한 학습: 학습에는 certainty-weighted focal loss, manifold mixup, modality dropout이 함께 사용된다. 또한 보조 certainty-regression head를 두어 모호성 주석을 활용하고, 실제로 경계가 애매한 샘플에서 학습을 안정화하려 한다.
• 보고된 성능: 논문에 따르면 CF-Net은 BAH 검증 세트에서 Macro F1 0.7155를 기록했으며, 비공개 챌린지 테스트 세트에서는 Macro F1 0.7364와 AP 0.7492를 달성했다.

의미와 영향

CF-Net의 흥미로운 점은 멀티모달 정보를 단순히 많이 쓰는 데 있지 않다. 더 중요한 것은 모달리티 간 ‘충돌’을 독립적인 신호로 다룬다는 점이다. 망설임이나 양가감정은 명확한 표정 하나로 드러나기보다, 무엇을 말하는지와 어떻게 말하는지, 그리고 얼굴이 어떤 반응을 보이는지 사이의 간극에서 나타날 수 있다.

화자 정규화와 certainty weighting도 감정 컴퓨팅에서 중요한 문제를 건드린다. 하나는 인물 정체성에 대한 과적합이고, 다른 하나는 사람의 감정 라벨 자체가 본질적으로 모호할 수 있다는 점이다. CF-Net은 이 두 문제를 모델 설계와 학습 절차에 반영하려 한다.

다만 현재 소재는 주로 초록과 arXiv 페이지에 기반한다. 세부적인 제거 실험, 데이터 편향, 폭넓은 비교 결과까지 평가하기에는 정보가 제한적이다. 따라서 CF-Net은 현재로서는 AH 인식 챌린지를 위한 목적 지향적 멀티모달 설계로 보는 것이 적절하다.

출처: arXiv