OmniTaskonomy가 밝힌 시각 생성과 시각 이해의 전이 조건

들어가며

시각 생성 모델은 이미지를 만들고, 시각 이해 모델은 물체를 인식하거나 위치와 깊이를 추정하고 질문에 답합니다. 두 분야는 서로 다른 목표를 가진 것처럼 보이지만, 모두 이미지에서 풍부한 시각 표현을 학습한다는 공통점이 있습니다. 논문 「OmniTaskonomy」는 이미지 생성용 감독 신호가 어떤 조건에서 시각 이해 능력으로 전이되는지 조사했습니다.

연구진은 이미지 대 이미지(I2I) 생성 과제와 이미지 대 텍스트(I2T) 이해 과제를 비교했습니다. 두 과제는 같은 근본적인 시각 문제를 다루되 출력 형식만 다르게 구성됩니다. 이러한 통제된 비교를 통해 생성 학습이 단순히 관련 데이터를 추가한 효과인지, 아니면 이해에 유용한 표현을 실제로 형성하는지 살펴볼 수 있습니다. 결과적으로 올바른 학습 방식에서는 I2I 학습이 이후 I2T 성능을 높였고, I2I 학습 데이터가 증가할수록 향상 폭도 커졌습니다.

핵심 내용

• 같은 시각 문제를 다른 출력으로 비교했습니다. 이미지와 텍스트라는 출력 형식의 차이를 활용해 생성 감독이 이해 능력에 미치는 영향을 더 명확하게 측정했습니다.
• 19개 생성 과제와 25개 이해 능력을 통합했습니다. OmniTaskonomy는 어떤 생성 과제가 어떤 이해 능력을 돕는지 보여주는 과제 전이 지도를 제시합니다.
• 직관적인 전이가 확인됐습니다. 깊이 예측은 거리 정보를 포함한 3D 추론을, 객체 가리키기는 개수 세기를, 직소 퍼즐 재구성은 2D 순서 이해를 개선했습니다. 공간 구조와 객체 관계를 학습하는 과정이 관련 능력에 도움을 준다는 해석이 가능합니다.
• 예상 밖의 연결도 발견됐습니다. 2.5D 분할은 범주 인식을 개선했고, Z 깊이 예측은 위치 추정에 도움을 줬습니다. 따라서 표면적인 출력 형태가 비슷한 과제만 유용한 것은 아닙니다.
• 그래디언트 정렬이 설명 단서를 제공합니다. 생성 과제와 이해 과제의 그래디언트 방향이 더 잘 맞을수록, 하위 과제에서 더 큰 전이 이득이 나타나는 경향이 관찰됐습니다.

의미와 영향

이 연구는 시각 생성을 단지 보기 좋은 이미지를 만드는 기술로만 보지 않습니다. 생성 과제는 모델이 깊이, 물체 경계, 공간 배치, 객체성을 표현하도록 유도하는 감독 신호가 될 수 있으며, 이런 표현은 인식과 추론에도 활용될 수 있습니다.

동시에 모든 생성 과제를 추가하면 이해 성능이 자동으로 향상된다는 뜻은 아닙니다. 목표 능력에 맞는 과제 선택, 학습 데이터 규모, 학습 순서, 최적화 과정이 함께 고려돼야 합니다. OmniTaskonomy는 이러한 결정을 과제 수준에서 분석할 수 있는 틀을 제공하며, 멀티태스크 학습과 커리큘럼 설계, 멀티모달 기반 모델 연구에 활용될 수 있습니다.

앞으로는 특정 이해 능력에 가장 적합한 생성 과제를 자동으로 고르거나, 그래디언트 정렬을 이용해 학습 순서를 설계하는 방향이 중요해질 수 있습니다. 핵심 메시지는 생성과 이해가 완전히 분리된 능력이 아니라는 점입니다. 어떤 생성 목표가 어떤 시각 표현을 공유하는지 파악하는 것이 성능 향상의 열쇠입니다.

출처: Hugging Face Daily Papers