Hugging Face Inference Endpoints, Jobs, Buckets로 Papers with Code 검색을 뒷받침하는 방법

Papers with Code 검색은 PostgreSQL 전문 검색과 pgvector 벡터 검색을 RRF로 통합한 하이브리드 검색으로 구축되었다. 논문 임베딩은 Hugging Face Jobs의 L4 GPU에서 오프라인으로 생성하며, arXiv와 Daily Papers의 11만 건이 넘는 현행 논문을 대상으로 한다. 온라인에서는 쿼리 임베딩만 Inference Endpoints에서 처리하고, 엔드포인트가 중지되거나 혼잡할 경우 전문 검색으로 전환한다.