FactEmbed, 합성 이미지 검색에서 MLLM 임베딩 성능 개선
지금까지의 흐름
FactEmbed는 합성 이미지 검색(CIR)에서 질의 이해와 임베딩 구축을 분리하고, 검색 전에 목표 이미지의 시각적 변경을 시뮬레이션하는 factorized latents를 활용하는 기법이다. CIR 벤치마크 전반에서 기존 기법을 앞섰다고 평가되었다. 학습에서는 요인 단위의 contrastive loss를 최적화하는 한편, 분해된 표현을 MLLM의 더 깊은 attention 층으로 distill한다. 추론에서는 [EOS] 토큰에 의한 글로벌 임베딩과, 평균 풀링한 요인 표현에 의한 후보 리스트 재랭킹을 같은 forward pass에서 수행한다.
Hugging Face Daily Papers 발췌
보도 타임라인
보도를 따라가며 이슈의 여러 측면을 살펴보세요.
- Hugging Face Daily Papers합성 이미지 검색을 위한 Factorized MLLM Embeddings「FactEmbed」
FactEmbed는 합성 이미지 검색(CIR)에서 질의 이해와 임베딩 구축을 분리하고, 검색 전에 목표 이미지의 시각적 변경을 시뮬레이션하는 factorized latents를 활용하는 기법이다. CIR 벤치마크 전반에서 기존 기법을 앞섰다고 평가되었다. 학습에서는 요인 단위의 contrastive loss를 최적화하는 한편, 분해된 표현을 MLLM의 더 깊은 attention 층으로 distill한다. 추론에서는 [EOS] 토큰에 의한 글로벌 임베딩과, 평균 풀링한 요인 표현에 의한 후보 리스트 재랭킹을 같은 forward pass에서 수행한다.
이 이슈의 화제도 추이
현재 화제도 3·비교 가능한 최고치 3 (11월 4일 20:00)·24시간 비교 가능 변화 –
추이는 연속으로 빠짐없이 관측한 계정만 비교하므로 현재 화제도 수치보다 범위가 좁을 수 있습니다. 포인터를 움직이거나 차트를 누르면 시간대별 화제도를 볼 수 있고, 키보드에서는 왼쪽·오른쪽 방향키를 쓰면 됩니다.