Google Research, 증상 평가 대화형 AI 에이전트 'SymptomAI' 연구

SymptomAI, 13,917명 대상 연구서 임상의보다 감별진단 선호도·정확도 높아

연구에는 동의한 참가자 13,917명이 참여했다. 참가자는 무작위로 배정된 5종의 SymptomAI 에이전트 중 하나에 증상을 설명했다. 에이전트는 추가 질문을 한 뒤 최종 감별진단(DDx)과 다음 행동에 대한 권고를 내놓았다. 참가자들은 2주 후 진료 결과를 설문으로 보고했다. 전문의 3명은 대화 기록을 읽고 각자 독자적인 DDx를 작성했으며, SymptomAI와 다른 의사의 DDx를 블라인드 방식으로 순위 매겼다.

그 결과 임상의는 50%를 넘는 사례에서 SymptomAI의 DDx를 다른 임상의의 DDx보다 선호했다. top-5 정확도에서도 SymptomAI의 DDx가 다른 임상의의 DDx보다 정확하다고 평가되는 빈도가 높았다. 차이가 가장 큰 것은 임상의 자신이 자신의 DDx에 가장 확신하지 못한 사례였다.

5개 시험군은 자유롭게 추가 질문을 할 수 있는 Dynamic Live와 Dynamic Final, 의학 교육에서 배우는 표준 문진 항목을 사용하는 Fixed Canonical과 Flexible Canonical, 프롬프트가 없는 Base로 나뉜다. 능동적으로 질문하는 방식은 모두 Base를 크게 웃돌아, 정보를 이끌어내는 것의 가치가 확인되었다.

또한 참가자의 Fitbit 데이터를 대화 최대 30일 전까지 수집하고, SymptomAI의 top-1 진단이 호흡기 감염증으로 분류된 집단과 대조했다. 증상 보고일에 가까워질수록 생체 신호의 변화가 나타났으며, 심혈관 기능, 호흡, 피부 온도, 수면의 질에 변화가 있었다. 저자들은 이를 보고된 증상과 일치하는 관찰적 생리학적 근거로 보고 있다.

한계로는 감별진단 자체가 모호하며 시간이 지나며 바뀔 수 있다는 점, 증상 보고 시기를 통제하지 못했다는 점이 꼽힌다. 또한 임상의는 정적인 대화 기록만 보고 직접 질문할 수 없었으며, AI에는 표정이나 진료 기록 같은 정보가 없다. 연구 중의 진단과 라벨은 모두 연구 목적의 AI 산출물이며 확정적인 임상 진단이 아니라고 명시되어 있다.