面向野外情感行为分析的任务特定特征融合方法

导语

在真实场景中的人脸情感分析里，一个系统往往需要同时回答多个问题：这个人的情绪效价和唤醒程度如何？面部表情属于哪一类？哪些面部动作单元正在被激活？这些任务看似都围绕“脸部行为”，但一篇来自 arXiv 的 ABAW11 挑战论文指出，它们并不一定适合被塞进同一个统一模型结构中解决。

论文《Task-Specific Feature Fusion Method for Multi-Task Affective Behavior Analysis》围绕第 11 届 Affective Behavior Analysis in-the-wild（ABAW11）多任务学习挑战展开。该挑战要求系统基于官方 s-Aff-Wild2 图像，同时预测效价-唤醒（VA）、离散表情类别（EXPR）和面部动作单元（AU）。作者的核心观点是：多任务之间确实相关，但不同任务对视觉特征、时序建模、融合方式和校准策略的需求存在明显差异。

核心要点

• 冻结预训练视觉骨干，强调特征互补：研究先将 DINOv2 ViT-L 与 DINOv3 ConvNeXt-base 两个预训练视觉模型适配到外部表情导向的人脸图像集，再冻结它们，用于从 ABAW11 官方数据中抽取帧级特征。这样做把重点从端到端大规模微调转向了“如何组合已有强特征”。

• 不假设单一架构适合所有任务：作者比较了多种上层建模方案，包括帧级预测头、时序卷积头、后处理时序平滑、LightGBM、特征拼接、门控融合、残差融合、后期 logit 融合、阈值校准以及共享式多任务学习结构。最终系统并没有选择一个统一答案，而是为不同任务分别挑选更合适的预测与融合路径。

• 验证集结果体现方法有效性：在 ABAW11 验证集上，最终系统取得 EXPR macro-F1 0.4222、AU macro-F1 0.5402、VA 平均 CCC 0.6717，整体验证分数为 1.6341。论文将这些结果作为证据，说明基于冻结视觉特征的任务自适应融合，在 ABAW 风格的多任务情感行为分析中是一种简单而有效的策略。

意义与影响

这项工作的价值不在于提出一个庞大复杂的新 backbone，而在于提醒研究者：多任务学习并不总是“共享得越多越好”。对于人脸情感计算而言，表情分类可能更依赖判别性外观特征，AU 检测可能更关注局部肌肉动作，而 VA 估计又可能更需要稳定的连续信号与时序处理。若强行让三者共用完全一致的融合机制，可能会牺牲各自最需要的信息。

从工程角度看，这种路线也更务实。冻结 DINO 系列视觉特征后，上层可以快速试验不同融合器、分类器和校准策略，降低训练成本，并让系统更容易针对任务指标进行调优。对于竞赛系统、情感计算原型或需要快速迭代的研究项目，这种“强特征 + 任务特定头部”的方案具有可复用性。

当然，论文摘要所展示的主要是验证集层面的实验结论，是否能在更广泛的数据集、跨域场景或实时应用中保持优势，还需要进一步公开代码、完整实验和更多复现来验证。但它提出的方向清晰：在多模态与多任务情感识别中，关键不只是构建统一模型，也包括理解每个任务真正需要怎样的特征和决策机制。

来源：arXiv