Open Vision Banana, 이미지 생성기를 개방형 시각 인식 시스템으로

들어가며

이미지 생성 모델은 그럴듯한 이미지를 만드는 능력만 학습하는 것이 아니다. 사전학습 과정에서 물체, 장면, 공간 관계와 같은 시각적 표현도 함께 형성될 수 있다. Open Vision Banana(OVB)는 이러한 표현을 재활용해, 이미지 생성기를 여러 시각 인식 작업을 수행하는 통합 시스템으로 바꾸는 방법을 제안한다.

이 연구는 Vision Banana의 재현성 문제에도 대응한다. Vision Banana는 시각 작업을 조건부 이미지 편집으로 다루는 아이디어를 제시했지만, 데이터와 가중치, 코드, 구현 세부 사항은 공개되지 않았다. OVB는 데이터 구성부터 학습, 평가, 체크포인트까지 포함하는 공개 레시피를 제공한다.

핵심 내용

• 인식을 이미지 편집으로 변환. 작업별 전용 예측 헤드를 추가하는 대신, 텍스트 조건에 따라 입력 이미지를 편집해 인식 결과를 시각적으로 표현한다. 이를 통해 의미 분할, 깊이 추정, 지시 대상 분할, 추론 분할을 하나의 생성형 구조에서 다룬다.
• 설계 선택의 상호작용을 분석. 색상 인코딩, 프롬프트 설계, 파라미터 적응, 작업 균형을 비교했다. 한 요소만 볼 때 효과적인 선택도 다른 설정과 결합하면 일반화 성능을 떨어뜨릴 수 있다는 점이 핵심이다.
• 공개 자원으로 학습. 4B 및 9B 파라미터 오픈 웨이트 기반 모델에서 출발해 공개 데이터셋으로 약 210만~380만 개의 학습 쌍을 구성했다. 데이터 처리 파이프라인, 학습·평가 코드, 최종·중간·절제 실험 체크포인트를 공개한다.
• 제로샷 분할에서 높은 성능. Cityscapes에서 73.9 mIoU를 기록해 Vision Banana의 보고 결과인 69.9를 웃돌았다. 깊이 추정에서도 최신 아핀 불변 깊이 추정기와 경쟁력 있는 결과를 보였다.
• 작업별 격차는 존재. 비제로샷 지시 대상 분할과 추론 분할에서는 Vision Banana와의 차이를 5포인트 이내로 줄였지만, 인스턴스 분할에서는 여전히 더 큰 격차가 남았다. 또한 대부분의 모델은 기반 생성기의 이미지 편집 능력을 유지했다.

색상 범례 앙상블

OVB는 ‘legend ensembling’이라는 테스트 시점 확장 방법도 제안한다. 생성형 분할 모델은 클래스와 색상의 대응을 불안정하게 학습할 수 있다. 이 문제를 완화하기 위해 여러 클래스-색상 범례로 같은 이미지를 추론한 뒤, 결과를 다수결로 결합한다.

재학습 없이 적용할 수 있다는 점이 특징이다. 보고된 개선 폭은 Cityscapes에서 최대 8.7 mIoU 포인트, COCO-Object에서 최대 15.0포인트다. 생성 모델의 출력 변동을 추가 학습이 아니라 여러 인코딩과 결과 융합으로 보정하는 접근이다.

의미와 영향

OVB의 기여는 새로운 모델 가중치 하나를 제시한 데 그치지 않는다. 생성형 시각 인식을 출력 표현, 프롬프트, 파라미터 적응, 멀티태스크 학습이라는 검증 가능한 설계 문제로 나눴다는 데 의미가 있다. 성능은 모델 규모뿐 아니라 이러한 요소를 어떻게 조합하는지에도 좌우된다.

공개된 코드와 데이터 구성 절차는 후속 연구와 재현 실험의 진입 장벽을 낮춘다. 다만 인스턴스 분할의 약점은 통합 생성형 시스템이 아직 모든 전문 시각 모델을 대체하는 단계에는 이르지 않았음을 보여준다.

출처: Hugging Face Daily Papers