Google Research, 실시간 영상 진료를 지원하는 AMIE (Video) 발표
Advancing AMIE towards expert-level audio-visual clinical consultations
Google Research는 Gemini와 Project Astra를 기반으로 실시간 영상 진찰을 수행하는 연구용 AI 시스템 AMIE (Video)를 공개했다. 100개 시나리오, 300건의 모의 진료를 대상으로 한 무작위 배정 연구에서 핵심 임상 역량이 일차 진료의(PCP)와 동등하다고 평가됐다. 다만 평가는 모의 환자를 활용한 환경으로 제한되어 있어, 실제 환자를 대상으로 한 검증이 다음 과제로 꼽힌다.
AMIE (Video)는 말로 하는 대화에 더해 환자의 걸음걸이, 고통의 징후, 호흡 등 시각·청각적 단서를 다룬다. 가상의 신체 진찰 절차를 환자 역할자에게 안내하면서 진단 추론도 실시간으로 진행한다. 기존 텍스트 버전에서는 환자가 신체 증상을 글로 옮겨야 해서 진단에 유용한 정보가 사라지는 점이 한계였다고 한다.
구조는 비동기 다중 에이전트 방식으로, 세 개의 에이전트가 병렬로 작동한다. Talker는 낮은 지연 시간으로 환자와 대화하고, Planner는 감별 진단과 관리 계획을 갱신하며 부족한 정보를 백그라운드에서 파악한다. Perception은 음성과 영상 스트림을 모니터링하고, 임상적으로 의미 있는 비언어적 단서를 대화 맥락에 연결한다. 자동 평가에서는 각 에이전트가 문진, 임상 추론, 치료 제안, 응답 지연 등의 지표 개선에 기여한 것으로 나타났다.
개발 과정에서는 원격의료와 관련된 시청각 임상 역량을 문헌에서 분류하고, 이에 따른 자동 평가 세트를 만들었다. 좌우 혼동이나 호흡 곤란 징후 인식을 묻는 단일 평가와, 시각적 단서를 텍스트 묘사로 주입하는 다턴 방식의 모의 음성 진료를 결합했다.
사람이 참여한 평가에서는 다섯 개 신체 계통에 걸친 100개 시나리오에서 훈련된 환자 역할자 15명이 300건의 표준화 진료를 실시했다. 비교 대상은 AMIE (Video), 텍스트 버전인 AMIE (Text), 같은 영상 인터페이스를 사용하는 공인 PCP 10명이다. 독립된 PCP 20명이 평가한 결과, 문진의 포괄성, 진단 정확도, 관리의 적절성, 소통의 질에서 AMIE (Video)는 PCP와 동등했다. 신체 소견 수집과 가상 진찰의 유도에서는 PCP와 AMIE (Text) 모두를 유의미하게 앞섰다. 환자 역할자들은 영상 인터페이스를 선호했고, 공감과 신뢰감 평가도 좋았다.
한계도 명시되어 있다. 연구는 전문 환자 역할자가 참여한 모의 환경에서 수행되었으며, 연기로 재현할 수 있는 증상으로 제한되었다. 자동 평가에서는 지각이나 추론의 오류가 간혹 발견되었고, Project Astra가 프로토타입이라는 점에서 비롯된 기술적 결함도 남아 있다. 실제 유용성을 논하려면 실제 환자를 대상으로 한 검증이 필수적이라고 밝혔다.
출처: Google Research Blog · research.google