OpenAI, 실험실 분석 벤치마크 BioBasicsBench 발표

BioBasicsBench는 젤 이미지, 콜로니 플레이트, 현미경 이미지, 장비 출력 등 원시 데이터를 사용하는 100개 과제로 구성된다. 분야는 단백질 기법, 이미징 및 사이토메트리, 정량 및 분석법, 핵산 기법, 분자 클로닝의 다섯 가지다. 과제는 과학자가 자신의 실험 데이터로 만들었으며, 전문가가 작성한 채점 기준이 붙어 있다. Ligo의 다른 과학자, 외부의 박사급 과학자, 최종 내부 검토의 세 단계 확인을 거쳤다. 응답은 기준별로 부분 점수를 받는다. 평가에서는 GPT-5.2부터 GPT-6 Astra까지 7개 모델을 37개의 모델과 추론 강도 설정으로 실행했으며, 과제마다 5회씩 시도해 총 18,500건의 결과를 얻었다. xhigh 설정에서 GPT-6 Astra는 66.7%, GPT-6.1 Sol은 62.0%, GPT-5.6 Sol은 43.8%, GPT-6 Luna는 38.3%, GPT-5.5는 35.4%, GPT-5.4는 33.2%, GPT-5.2는 31.2%를 기록했다. Astra의 과제당 출력 토큰은 4,704개로, GPT-5.6 Sol의 9,099개보다 적었다. 개선 사례로는 색소 신호가 겹치는 검출 채널에서 죽은 세포라고 단정하지 않고 추가 대조군을 요구한 점, 음성 대조 플레이트 가장자리에 잘못된 항생제 표시가 있음을 알아챈 점, 현미경 연속 이미지를 z-stack으로 인식한 점이 꼽힌다. OpenAI는 네이티브 멀티모달 능력의 향상이 핵심이 될 수 있다고 시사했다. 남은 과제도 제시됐다. Astra는 기존의 가정이 대조군이 보여주는 해석보다 우선해, 클로닝에서 잘못된 콜로니를 선택했다. 액포의 모습을 볼 때는 같은 이미지 안의 상충되는 관찰을 결론에 반영하지 않았다. 콜로니 계수에서는 약 12%의 과다 계수가 발생했다. OpenAI는 점수가 높더라도 실험실에서 신뢰할 수 있는 판단을 할 수 있다고 아직 말하기는 이르다고 밝혔다.

OpenAI News 발췌

추이를 그릴 만큼 연속 관측 데이터가 아직 부족합니다.