Google Research, 표 형식 데이터용 제로샷 기반 모델 TabFM 발표
Introducing TabFM: A zero-shot foundation model for tabular data
Google Research는 표 형식 데이터의 분류와 회귀를 제로샷으로 수행하는 기반 모델 TabFM을 발표했다. 문맥 내 학습을 통해 모델 학습, 하이퍼파라미터 조정, 특성 엔지니어링 없이 한 번의 순전파로 예측할 수 있다. Hugging Face와 GitHub에서 공개되었으며, Google Cloud BigQuery에서도 이용할 수 있다.
TabFM는 표 형식 데이터의 분류와 회귀에 특화된 기반 모델이다. 기존 XGBoost 등 트리 계열 알고리즘은 새로운 데이터셋마다 하이퍼파라미터 최적화와 도메인별 특성 엔지니어링이 필요했다. TabFM은 학습 데이터의 행과 테스트 대상 행을 하나의 프롬프트로 입력하고, 추론 시점에 열과 행의 관계를 읽어낸다. 모델의 가중치는 갱신하지 않는다.
아키텍처는 TabPFN과 TabICL의 장점을 결합한 하이브리드 설계로, 세 가지 메커니즘을 갖는다. 먼저 행 방향과 열 방향의 어텐션 메커니즘을 번갈아 적용해 특성 간 상호작용을 포착한다. 다음으로 각 행을 하나의 밀집 벡터로 압축한다. 마지막으로 압축된 행 벡터 위에서 Transformer가 문맥 내 학습을 수행하며, 원본 표에 직접 어텐션을 적용하는 방식보다 계산 비용을 크게 줄인다.
학습에는 수억 건 규모의 합성 데이터셋만 사용했다. 산업용 대규모 표는 기밀성이 높아 공개되기 어렵기 때문에, 구조적 인과 모델(SCM)과 다양한 무작위 함수로 동적으로 생성했다. 평가에는 TabArena를 사용했으며, 38개 분류 데이터셋과 13개 회귀 데이터셋(샘플 수 700~150,000건)으로 검증했다. 설정은 튜닝이나 교차 검증이 필요 없는 TabFM과, 교차 특성과 SVD 특성을 추가해 32-way 앙상블을 구성한 TabFM-Ensemble 두 가지다.
Google Cloud BigQuery에서는 AI.PREDICT를 사용한 SQL 쿼리로 제로샷 회귀와 분류를 실행할 수 있어, 커스텀 모델 학습이 필요 없다. TabArena의 상세 결과는 GitHub 페이지에 공개되어 있다.
표 형식 데이터의 예측을 문맥 내 학습(in-context learning)으로 다루는 설계와, 합성 데이터만으로 사전 학습한 점이 정리되어 있어 기존 트리 계열 기법과의 차이를 파악하기 쉽다.
출처: Google Research Blog · research.google