Microsoft AI, 진단 시스템 MAI-DxO와 순차 진단 벤치마크 SDBench를 Science에 발표
Building Medical Superintelligence
Microsoft AI가 AI 진단 시스템 MAI-DxO와 순차 진단 벤치마크 SDBench에 관한 논문을 Science에 발표했다. NEJM의 복잡한 증례에서 MAI-DxO의 진단 정확도는 83%로, 외부 자료가 없는 경우 22%, 있는 경우 36%였던 의사들을 웃돌았다. MIMIC-IV-ED의 응급 증례에서는 80% 대 47%였으며, SDBench는 일부 NEJM 증례를 대상으로 오픈소스로 공개된다.
SDBench는 모든 정보를 처음에 제시하고 단일 답을 고르게 하는 의사 면허시험형 평가와 달리, 제한된 정보에서 무엇을 묻고 어떤 검사를 의뢰할지 고르게 하는 대화형 벤치마크다. NEJM 증례 기록에서 추출한 304건의 복잡한 증례와 MIMIC-IV-ED의 전형적인 응급 증례 두 종류를 사용해 진단 정확도, 의뢰한 근거, 추정 검사 비용을 측정한다. 답뿐 아니라 거기에 이르는 과정도 평가 대상이 된다.
MAI-DxO는 단일 모델이 즉답하는 방식이 아니라 가상의 의사단처럼 움직인다. 각 구성원이 진단을 제안하고, 유용한 질문이나 검사를 고르며, 떠오른 가설에 이의를 제기한다. 이 토론을 여러 라운드 진행하고, 근거가 도착할 때마다 평가를 갱신하며, 각 검사의 가치를 비용과 비교한다.
결과적으로 NEJM 증례에서 MAI-DxO는 83%였고, 의사는 외부 자료가 없으면 22%, 있으면 36%였다. 비용을 중시해 최적화한 구성에서는 비교 대상 시스템 비용의 절반 미만으로 81%의 정확도를 달성했다. 두 데이터셋 모두에서 MAI-DxO보다 정확하면서 저렴한 인간이나 AI 방법은 없었다고 한다. GPT-5.5를 포함한 최신 모델로 오케스트레이션 방식을 바꾸지 않고 재평가해도 성과가 유지되었고, 오히려 향상되었다고 밝혔다.
향후에는 Beth Israel Deaconess Medical Center와의 새로운 제휴를 통해 병원 환경이 다른 현장에서 임상 추론 능력을 평가한다. 전향적 연구에서는 환자가 시스템과 직접 상호작용하고, 그 결과를 의사의 독립적 평가와 비교한다. 아울러 Microsoft Research, Dragon Copilot, PowerScribe 팀을 Microsoft AI의 통합 프로젝트로 모은다는 계획도 제시되었다. Mayo Clinic과의 협업과, BMJ Digital Health and AI에 공개된 의료 초지능 구상 논문도 소개되어 있다.
순차적 진단을 측정하는 SDBench와 여러 가상 의사가 토론하는 MAI-DxO의 설계, 그리고 정확도와 비용 양면의 비교가 제시되어 있어 의료 AI 평가의 사고방식을 파악하기 쉽다.
출처: Microsoft AI (MAI) News · microsoft.ai