Youtu-Parsing-Omni: 문서·이미지·오디오·비디오를 하나의 인코더로解析

들어가며

문서 파싱, 이미지 이해, 음성 인식, 비디오 분석은 대개 서로 다른 모델과 출력 형식으로 처리됩니다. Youtu-Parsing-Omni는 이 분리를 줄이기 위해 모든 모달리티에 하나의 인코더를 사용하고, 모든 파싱 작업에 하나의 스키마를 적용합니다. 50억 개 파라미터 모델은 문서 페이지, 자연 이미지, 차트, 순서도, 기하 도형, 오디오, 자연 비디오, 텍스트 중심 비디오를 대상으로 합니다. 최종 목표는 에이전트가 근거를 찾고 위치를 확인하며 인용할 수 있는 인식 계층을 제공하는 것입니다.

핵심 설계

• 공유 옴니모달 인코더: Youtu-Omni-Encoder는 사전학습 언어 모델을 기반으로 초기화해 텍스트 읽기 능력을 강화합니다. 이후 이미지, 오디오, 비디오를 공유 가중치로 인코딩하고, 공통 시공간 좌표계에 표현합니다.
• 인식 단계의 크로스모달 융합: 비디오 프레임은 같은 시점의 오디오 정보에 주의를 기울일 수 있습니다. 영상, 발화, 음향 이벤트를 별도로 처리한 뒤 단순 연결하는 대신 인식 과정에서 시간적으로 맞춥니다.
• 하나의 구조화 출력: OmniSchema는 레이아웃 요소, 바운딩 박스, 텍스트, LaTeX, 표, 차트, OCR, ASR, 화자, 음향 이벤트, 동작, 카메라 움직임을 하나의 JSON 봉투에 담습니다. 캡션과 보고서, 내러티브 같은 고차원 결과도 같은 형식으로 표현할 수 있습니다.
• 자기 진화형 후훈련: OSAD는 모델이 직접 생성한 rollout을 사용하고, 참조 모델 복사본에서 토큰 단위 목표를 얻습니다. 훈련이 끝날 때마다 참조 복사본을 새 가중치로 갱신해 파서와 감독 신호가 함께 변화하도록 합니다.

성능과 의미

보고된 5B 체크포인트는 OmniDocBench v1.6에서 Overall 96.96, OmniParsingBench에서 평균 75.08을 기록했습니다. 비교된 오픈 웨이트 모델 가운데 높은 성능을 보였으며, 특히 오디오와 비디오에서 강점이 두드러졌습니다. 차트 파싱 종합 점수는 95.02였고, 화학 구조 지문 완전 일치 비교에서도 가장 높은 결과를 보고했습니다.

이 연구의 핵심은 여러 모달리티를 단순히 하나의 모델에 넣는 데 있지 않습니다. 좌표, 타임스탬프, 읽기 순서, 화자 정보가 포함된 공통 증거 표현을 정의하려는 시도입니다. 에이전트는 근거가 어디에 있는지 알 수 없는 문장보다 검색, 인용, 검증에 바로 사용할 수 있는 구조화 데이터를 다루기 쉽습니다. 또한 여러 전문 모델을 연결할 때 발생하는 형식 변환 비용을 줄이고, 후처리와 평가 절차를 공유할 가능성도 있습니다.

다만 통합 구조가 모든 문제를 동일하게 해결한다는 뜻은 아닙니다. 실제 결과는 입력 품질, 작업 프롬프트, 서빙 설정에 영향을 받습니다. 긴 비디오의 정보 압축, 정밀한 시간 정렬, 복잡한 기하 관계는 여전히 추가 검증이 필요한 영역입니다. 그럼에도 Youtu-Parsing-Omni는 모달리티별 인식을 따로 수행하는 방식에서 벗어나, 다중모달 증거를 에이전트가 사용할 수 있는 공통 구조로 조직하려는 방향을 보여줍니다.

출처: Hugging Face Daily Papers