Youtu-Parsing-Omni, 단일 인코더와 스키마로 모든 모달리티를 구조화하는 5B 파서
Youtu-Parsing-Omni: One Encoder, One Schema, All Modalities
Youtu-Parsing-Omni는 문서, 이미지, 음성, 동영상을 시공간 기반의 구조화된 레코드로 변환하는 5B 규모의 옴니모달 파서다. OmniDocBench v1.6에서 Overall 96.96점을 기록했으며, 오픈 웨이트 모델 가운데 OmniParsingBench에서 Avg. 75.08점으로 1위에 올랐다. 코드와 모델 가중치는 공개되어 있다.
중핵은 모든 모달리티에 공통된 가중치로 동작하는 Youtu-Omni-Encoder와, 모든 태스크의 출력을 통일하는 OmniSchema다. 인코더는 사전 학습된 언어 모델로 초기화되어 텍스트 판독 능력을 강화했다. 통일된 시공간 좌표계에서 입력을 처리하며, 소수의 융합 레이어를 통해 동영상 프레임이 같은 시각의 음성에 주목할 수 있다.
학습에는 OmniSchema-Aware On-Policy Distillation(OSAD)이라는 자기 진화형 포스트 트레이닝을 사용한다. 각 라운드에서 모델은 자신의 롤아웃에 대해, 참조 조건을 가진 자신의 복사본이 제공하는 토큰 단위 타깃으로 학습한다. 이 복사본은 학습된 가중치로 갱신되므로 파서와 교사 신호가 함께 진화한다. 10가지 파싱 태스크에 공통된 토큰 롤 기준의 목적 함수를 적용할 수 있다.
결과적으로 단일 5B 체크포인트가 OmniDocBench v1.6에서 96.96점, OmniParsingBench에서 75.08점(Gemini-3-Pro에 이어 2위)을 기록했다. 우위는 음성과 동영상에 집중되어 있다. 차트 분석은 95.02점으로 최고였고, 화학 핑거프린트의 완전 일치율도 비교 대상 중 가장 높았으며, 조판된 악보의 문자 단위 전사에서는 전용 광학 음악 모델과 대등한 성능을 보였다고 한다.
출력은 문서 페이지, 자연 이미지, 차트, 순서도, 기하 도형, 음성, 동영상 등 입력 유형마다 태스크 프롬프트에 따라 전환되는 하나의 JSON 엔벨로프로 나온다. 레이아웃 요소, bbox, 표, 수식, 타임스탬프, ASR, OCR, 캡션 등을 포함한다. Hugging Face에는 tencent/Youtu-Parsing-Omni가 공개되어 있으며, vLLM 플러그인, 태스크 프롬프트, 추론 예시도 함께 제공된다.
출처: Hugging Face Daily Papers · huggingface.co