실환경 감정 행동 분석을 위한 작업별 특징 융합 전략

도입

실환경 얼굴 이미지에서 감정 행동을 분석하는 문제는 단순한 단일 분류 과제가 아니다. 하나의 시스템이 정서가와 각성도를 연속값으로 예측하고, 표정 범주를 분류하며, 얼굴 행동 단위까지 검출해야 한다. 이 과제들은 모두 얼굴 행동과 관련되어 있지만, ABAW11 챌린지를 다룬 새로운 arXiv 논문은 관련성이 곧 동일한 모델 구조를 의미하지는 않는다고 지적한다.

논문 “Task-Specific Feature Fusion Method for Multi-Task Affective Behavior Analysis”는 제11회 Affective Behavior Analysis in-the-wild, 즉 ABAW11의 다중 작업 학습 설정을 다룬다. 공식 s-Aff-Wild2 이미지에서 valence-arousal, categorical expression, facial action unit을 동시에 예측하는 것이 목표다. 저자들의 핵심 관찰은 각 작업이 선호하는 시각 특징, 시간 처리 방식, 융합 메커니즘, 보정 절차가 서로 다르다는 점이다.

핵심 내용

• 강력한 사전학습 특징을 동결해 사용: 연구진은 DINOv2 ViT-L과 DINOv3 ConvNeXt-base라는 두 시각 백본을 외부 표정 중심 얼굴 이미지 데이터셋에 맞게 적응시킨 뒤, 이를 동결해 ABAW11 공식 데이터에서 프레임 단위 특징을 추출했다. 접근의 초점은 대규모 end-to-end 학습보다 이미 강한 표현을 어떻게 효과적으로 결합할지에 있다.

• 여러 융합 및 예측 방식을 체계적으로 비교: 논문은 프레임 수준 예측 헤드, 시간 합성곱 헤드, 사후 시간 평활화, LightGBM, 특징 연결, 게이트 융합, 잔차 융합, late logit fusion, 임계값 보정, 공유형 다중 작업 학습 구조를 비교한다. 최종 시스템은 모든 작업에 하나의 아키텍처를 적용하지 않고, 각 작업에 맞는 전략을 선택한다.

• 검증 성능으로 확인한 작업 적응형 설계: ABAW11 검증 세트에서 최종 시스템은 EXPR macro-F1 0.4222, AU macro-F1 0.5402, VA 평균 CCC 0.6717을 기록했으며, 전체 검증 점수는 1.6341이다. 저자들은 이를 바탕으로 동결된 시각 특징의 작업 적응형 융합이 ABAW 스타일의 다중 작업 감정 행동 분석에 단순하면서도 효과적인 전략이라고 설명한다.

의미와 영향

이 연구의 의미는 새로운 거대 백본을 제안했다는 데 있지 않다. 오히려 다중 작업 학습에서 흔히 전제되는 “많이 공유할수록 좋다”는 생각을 재검토하게 만든다. 표정 분류는 전역적이고 판별적인 외형 특징에 더 의존할 수 있고, 얼굴 행동 단위 검출은 국소적인 근육 움직임에 민감해야 할 수 있다. 반면 정서가-각성도 추정은 더 안정적인 연속 신호와 시간적 처리가 중요할 수 있다.

공학적으로도 이 접근은 실용적이다. DINO 계열의 강한 시각 표현을 동결하면, 상위 계층에서 다양한 헤드, 융합기, 평활화, 보정 방식을 빠르게 실험할 수 있다. 전체 백본을 반복적으로 재학습하지 않아도 되기 때문에, 대회 시스템이나 빠른 연구 프로토타입 개발에 적합하다.

물론 논문에서 제시된 근거는 주로 ABAW11 검증 세트 성능에 기반한다. 더 넓은 데이터셋, 도메인 이동 상황, 실제 배포 환경에서도 같은 이점이 유지되는지는 코드 공개와 재현 실험을 통해 확인될 필요가 있다. 그럼에도 이 연구는 다중 작업 감정 인식에서 중요한 질문을 던진다. 하나의 거대한 통합 모델보다, 각 작업이 필요로 하는 정보를 이해하고 그에 맞게 융합하는 설계가 더 나은 선택일 수 있다는 점이다.

출처: arXiv