GroundAnything, 확산 기반 병렬 디코딩으로 시각적 그라운딩 가속

배경

시각적 그라운딩은 이미지에 어떤 물체가 있는지를 맞히는 작업보다 복잡하다. 텍스트 질의와 대응하는 대상을 찾고, 그 위치를 표시하며, 필요하면 여러 대상 사이의 공간 관계까지 예측해야 한다. 기존 자기회귀(AR) 모델은 이러한 정보를 토큰 단위로 순서대로 생성한다. 이 방식은 추론 지연을 키울 뿐 아니라, 실제 문제에는 존재하지 않을 수 있는 좌우 방향의 생성 순서를 출력에 부여한다.

GroundAnything은 그라운딩을 ‘시각적 증거 추출’로 바라본다. 대상, 위치, 관계는 이미지와 질의에 의해 함께 제약되므로 반드시 한 줄로 순차 생성할 필요가 없다는 것이다. 이에 따라 모델은 양방향 확산을 활용해 공간 가설을 병렬로 만들고, 반복적인 디노이징을 통해 예측을 공동으로 다듬는다.

핵심 설계

GroundAnything은 40억 개 파라미터를 사용하는 시각적 그라운딩 기반 모델이다. 주요 설계는 다음과 같다.

• 양방향 확산 디코딩: 공간 예측을 동시에 생성한 뒤 여러 차례의 디노이징으로 정교화한다.
• 블록 단위 디노이징: 출력을 함께 최적화할 수 있는 블록으로 구성해 구조 정보를 유지하면서 토큰별 의존성을 줄인다.
• AR에서 확산으로의 변환: 공개 데이터셋과 전용 데이터 엔진으로 그라운딩 사전학습을 수행한 뒤, AR 모델을 확산 모델로 변환하고 두 학습 목표를 함께 최적화한다.
• 다단계 후학습: 지도 미세조정 이후 GRPO 기반 강화 후학습을 적용한다.
• 가변적 디코딩: 엔트로피 유도 디코딩과 선택적 자기 추측 모드를 통해 정확도와 지연시간의 균형을 조절한다.

성능과 속도

30개 그라운딩 벤치마크에서 AR 버전인 GroundAnything-VLM은 평균 72.42%를 기록했다. 제공된 자료 기준으로 이는 비슷한 규모 모델 가운데 종합적인 최고 성능이며, GPT-6 Astra의 71.35%보다 높다. 확산 버전은 엔트로피 유도 디코딩을 사용할 때 평균 61.75%를 기록해, 같은 규모의 고속 MTP 기반 모델 LocateAnything의 53.32%를 웃돌았다.

속도 측면에서는 자기 추측 모드가 AR 버전보다 4.51배 빠르며, COCO F1m 하락폭은 0.74%포인트였다. 프로젝트 소개에는 약 4배의 가속으로도 요약되어 있지만, 실제 수치는 하드웨어, 디코딩 설정, 배치 크기, 평가 방식에 따라 달라질 수 있다. 따라서 모든 환경에 동일한 배수가 적용된다고 해석해서는 안 된다.

의미와 과제

GroundAnything의 핵심 의미는 확산식 병렬 생성이 구조화된 시각 출력에도 적용될 수 있음을 시험했다는 데 있다. 순차 대기 시간을 줄이면 대화형 이미지 이해, 로봇 인지, 저지연 멀티모달 서비스에서 이점이 생길 수 있다.

다만 확산 추론은 여전히 여러 번의 반복 계산을 요구한다. 실제 배포 환경에서의 처리량, 메모리 사용량, 과제별 안정성은 추가 검증이 필요하다. 현재로서는 AR의 정밀도와 병렬 디코딩의 속도 사이에서 선택지를 제공하는 실용적 절충안으로 보는 것이 적절하다. 코드와 가중치가 공개된 만큼, 다양한 하드웨어와 데이터 분포에서 재현 실험이 이어질 수 있다.

출처: Hugging Face Daily Papers