Google Research, 웨어러블 건강 데이터용 기반 모델 SensorFM 발표

SensorFM은 동의를 얻은 500만 명의 익명화된 데이터로 사전 학습되었다. 기간은 2024년 9월부터 2025년 9월까지이며, 100개국 이상과 20종류 이상의 Fitbit 및 Pixel Watch 기기에 걸쳐 있다. PPG, 가속도, EDA, 피부 온도, 고도계의 5가지 센서에서 얻은 34개의 1분 단위 집계 특징량을 입력으로 하며, LSM-2와 AIM(Adaptive and Inherited Masking)에 기반한 자기 지도 방식의 재구성으로 학습한다. AIM은 결측값을 보간하거나 제외하여 처리하지 않고, 실제 결측과 인위적인 마스크를 동등하게 다룬다.

스케일링 실험에서는 데이터량을 약 200만에서 20억 센서 시간까지, 모델 크기를 10만에서 1억 파라미터까지 변화시켰다. 가장 큰 SensorFM-B는 가장 작은 모델에 비해 재구성 손실이 31% 낮아졌고, 하위 과제에서는 분류의 AUC가 평균 9%, 회귀의 Pearson 계수가 21% 향상되었다. 35개 과제 중 33개에서 SensorFM-B가 최고 성능을 보였으며, 데이터와 모델을 동시에 확대했을 때 개선 폭이 가장 크다고 한다.

평가는 3건의 IRB 승인을 받은 전향적 연구, 총 13,985명의 참가자를 대상으로 한 35개 과제에서 수행되었다. 인코더를 고정하고 선형 헤드만 학습시킨 결과, 34개 과제에서 특징량 기반 지도 학습 기준선을 넘어섰다. 우울이나 불안처럼 개인차가 크고 신호가 약한 상태에서는 사전 학습 규모의 확대가 특히 효과적이라고 한다. 라벨이 적은 경우에도 인구통계만 쓰는 기준선이나 특징량 기반 기준선을 조기에 넘어선다.

적응의 자동화를 위해, LLM 에이전트들이 협력과 경쟁을 하며 코드를 생성, 검증, 개선하는 'classroom'을 구축했다. 3만 건이 넘는 후보를 탐색했으며, 에이전트가 설계한 헤드는 분류 20개 과제 중 16개, 회귀 15개 과제 중 12개에서 단순한 선형 프로브를 능가했다. 성능은 기반 LLM의 능력에 따라 향상되며, 협력은 능력이 낮은 모델과의 차이를 줄인다.

Personal Health Agent에 통합한 평가에서는 31명의 실제 프로필로 만든 건강 요약을 임상의 패널이 블라인드 방식으로 평가했다. 1,860건의 평가를 얻었으며, SensorFM의 예측을 추가하자 5개 항목 모두에서 기준선보다 유의하게 개선되었다. SensorFM 예측과 실측 정답값 사이의 차이는 통계적으로 유의하지 않았다.