CF-Net：用“模态冲突”识别视频中的犹豫与矛盾情绪

导语

在视频理解中，识别“高兴”“愤怒”这类相对典型的情绪已经很难，而识别 ambivalence/hesitancy（AH，矛盾与犹豫）更接近现实交流中的灰区：一个人可能语气迟疑、表情克制，文字内容又显得肯定。来自 arXiv 的论文 CF-Net: Conflict Fusion with Speaker Normalisation and Certainty Weighting for Ambivalence/Hesitancy Recognition 正是围绕这一问题提出了一套多模态识别方案。

这项工作提交至第 3 届 AH Video Recognition Challenge（ABAW 11th，ECCV 2026），目标数据集为 BAH。论文的核心观点是：AH 信号并不总是以强烈、标准化的情绪外显出现，而常常藏在视觉、声音和语言之间的“不协调”里。

核心要点

• 三路冻结骨干提取特征：CF-Net 分别使用 SigLIP2、HuBERT 和 DistilBERT 编码视觉、音频与转录文本。冻结这些骨干模型，有助于在挑战任务中降低训练复杂度，并利用已有表征能力。
• 按说话人做特征归一化：论文特别提到 speaker normalisation，用于减少模型从说话人身份中“走捷径”的风险。对于 AH 识别来说，如果模型过度记住某些人的外貌、声线或表达习惯，泛化能力会受到影响。
• ConflictFusion 显式建模模态冲突：与简单拼接多模态特征不同，CF-Net 设计了 ConflictFusion 模块，计算视觉、音频、文本之间的成对不一致。比如语言上看似确定，语音却出现迟疑，或表情与话语含义不匹配，这些都可能成为 AH 的关键线索。
• 训练阶段处理不确定样本：模型结合 certainty-weighted focal loss、manifold mixup 和 modality dropout，并加入辅助的 certainty-regression head。论文称，这一设计利用模糊性标注，帮助模型在真正边界模糊的样本上更稳定地学习。
• 挑战集成绩：论文报告 CF-Net 在 BAH 验证集上 Macro F1 达到 0.7155，在私有挑战测试集上 Macro F1 为 0.7364，AP 为 0.7492。

意义与影响

CF-Net 的价值不只在于把更多模态堆到一起，而在于把“冲突”作为一个可学习对象。对于犹豫、矛盾、迟疑这类非典型情绪状态，单看某一模态往往容易误判：文字可能明确，声音却不自信；表情可能平静，语义却暗含保留。显式建模模态之间的不一致，有助于把多模态学习从“信息融合”推进到“关系理解”。

同时，speaker normalisation 和 certainty weighting 也回应了情感计算中的两个常见问题：身份泄漏与标签模糊。前者关系到模型是否真正学到任务信号，后者则关系到模型能否承认人类情绪本身存在边界不清的情况。

不过，素材目前主要来自论文摘要和 arXiv 页面，尚未提供更细的消融实验、数据划分细节或与更多方法的系统比较。因此，CF-Net 更适合被视为 AH 识别挑战场景下的一种有针对性的多模态方案，而非通用视频情绪理解的最终答案。

来源：arXiv