Google Research, 스마트폰 카메라로 심박을 수동적으로 측정하는 PHRM을 Nature에 발표

PHRM은 얼굴 인증으로 잠금을 해제한 직후의 8초간 얼굴 영상을 사용해, 광혈류측정(PPG)의 원리로 심박을 추정한다. 기기 내 소프트웨어 파이프라인이 계산 효율이 높은 시간 이동 합성곱 신경망으로 HR과 신뢰도 점수를 예측한다. 하루 동안의 예측값을 집계한 뒤, 신뢰도 점수와 칼만 필터를 이용해 일일 RHR을 산출한다.

개발에는 약 700명의 동의한 참가자로부터 얻은 35만 개가 넘는 동영상 클립이 사용됐다. Monk Skin Tone 척도를 기준으로 밝은 피부와 중간 피부 참가자는 각각 25% 이상, 어두운 피부 참가자는 33% 이상이 되도록 했다. 또한 각 집단 간 MAPE 차이가 5포인트 미만이어야 한다는 비열등성 기준도 설정했다.

실험실 연구에서는 365명의 데이터로 학습하고 별도의 104명 테스트 세트로 평가했다. 공개된 주요 rPPG 모델 15개를 웃돌았으며, 모든 피부색에서 MAPE 10% 미만을 달성한 유일한 모델이었다. 실환경 연구에서는 231명이 8일 동안 개인 스마트폰에서 전용 앱을 사용했으며, ECG 흉부 스트랩과 Fitbit Charge 6을 함께 착용했다. 101명의 검증 하위 집단에서는 신뢰도 기반 게이팅 후 전체 MAPE가 6.09%였고, 그룹 1~3은 각각 5.04%, 5.12%, 7.84%였다.

RHR은 하루 20회 이상 HR 측정이 있는 90명을 대상으로 평가했다. 참가자 일수의 73.6%에서 추정에 성공했으며, Fitbit Charge 6과 비교한 MAE는 4.39 bpm이었다. 그룹 3의 MAE는 칼만 필터가 수렴한 3일차 이후 5 bpm을 크게 밑돌았다. PHRM으로 추정한 RHR이 높은 참가자일수록 BMI가 높고 VO2max가 낮은 경향도 확인됐다.

과제로는 그룹 2에서 측정 성공률이 낮고 그룹 3에서 가장 낮은 점, 발화나 머리 움직임에 따른 이상치 오차가 있는 점이 꼽혔다. 향후 개선 방안으로는 카메라 노출 최적화, 추가 샘플링, 영상 안정화, 가속도 센서 기반 게이팅이 제시됐다. 데이터셋은 비상업적 연구로 한정되며, IRB 승인을 받은 연구자가 신청할 수 있다. 개인 재식별과 원본 영상의 공개는 금지된다.