NVIDIA, 사전 학습된 관계형 기반 모델 Kumo Relational 공개
NVIDIA Kumo Relational Outperforms Supervised Machine Learning on Relational Data, No Training Required
NVIDIA는 기업 데이터베이스에서 추가 학습 없이 예측할 수 있는 사전 학습된 관계형 기반 모델 Kumo Relational을 공개했다. 최대 10,000건의 과거 사례를 컨텍스트로 읽어 들여, 한 번의 포워드 패스로 이탈, 수요, 부정 거래 등을 예측한다. 15개 데이터베이스에 걸친 41개 과제에서 지도 학습 모델과 전문가가 설계한 그래디언트 부스팅 트리 파이프라인을 능가했다고 밝혔다.
Kumo Relational은 단일 평면 테이블이 아니라 테이블, 외래 키, 타임스탬프를 보존한 채 데이터베이스 전체를 다루는 관계형 기반 모델이다. 합성 관계형 데이터로 한 번만 사전 학습하며, 추론 시 최대 10,000개의 컨텍스트 예제를 읽는 인컨텍스트 학습으로 각 태스크에 적응한다. 태스크는 선언형 Predictive Query Language(PQL)로 기술하며, 시간 축이 있는 태스크에서는 과거 데이터베이스 상태를 재현해 앵커 시점 이전의 데이터만 모델에 전달함으로써 데이터 누수를 방지한다.
구조는 2단계다. 먼저 경량 네트워크가 각 테이블을 개별적으로 처리하며 열 방향과 행 방향 어텐션을 번갈아 적용한다. 이어서 더 큰 네트워크가 기본 키와 외래 키 관계를 따라 그래프 어텐션을, 컨텍스트 예제 간에는 크로스 샘플 어텐션을 적용해 행 임베딩을 전파한다. 셀 단위가 아니라 행 임베딩을 다루기 때문에 2차 비용을 피하면서도 큰 컨텍스트를 처리할 수 있다고 한다.
평가는 RelBench V1과 V2, SAP SALT, 4DBInfer의 15개 데이터베이스, 41개 벤치마크에서 이루어졌으며, 모두 사전 학습에는 포함되지 않았다. RelBench V1의 분류 태스크에서는 전문가가 설계한 특징량 기반 그래디언트 부스팅 트리를 AUROC 기준 평균 약 4포인트 앞섰다. SAP SALT에서는 AutoGluon 앙상블을 평균 역순위(MRR) 기준 8% 앞섰으며, 파인튜닝하면 격차가 16%로 벌어진다. RelArena-α에서는 약 17초에 Elo 1,842를 기록했는데, 최고 점수인 rt-plurel(Elo 1,878, 약 7,300초)보다 약 430배 빠른 것으로 알려졌다.
한계로는 의미 있는 관계나 시간적 변화가 있는 데이터에서 가장 큰 힘을 발휘하며, 학습 데이터가 매우 큰 태스크에서는 태스크 전용 지도 학습 모델이 앞설 수 있다는 점이 있다. 예측에 유효한 신호는 제한된 홉 수 안에서 도달 가능해야 하므로, 관련 테이블을 적게 묶은 쿼리부터 시작하는 것이 권장된다.
사용 방법으로는 GPU 네이티브 오픈소스 라이브러리 structured-data-models에서 가중치를 처음에 Hugging Face Hub에서 받아 `sdm.models.KumoRelational`로 예측할 수 있다. NVIDIA NIM으로 배포한 뒤 structured-data-models-client에서 PQL로 질의하는 방법도 있다. 코드는 Apache 2.0, 모델 가중치는 OpenMDW License Agreement, version 1.1로 공개되어 있다.
관계형 데이터를 위한 기반 모델의 구조, 벤치마크 결과, 한계, 활용 방법이 한 흐름으로 정리되어 있어 기존 예측 파이프라인과 비교하는 자료로 쓸 만하다.
출처: Hugging Face Blog · huggingface.co