본문 바로가기

#벤치마크

오늘 1건
5월 16일토
  1. Google DeepMind Blog40

    Google DeepMind의 Co-Scientist, Calico 노화 연구에서 새로운 길을 열다

    Calico Life Sciences는 Co-Scientist를 활용해 통합 스트레스 반응(ISR)이 대사에 의해 조절된다는 새로운 가설을 세웠다. 연구자들은 Co-Scientist와 대화하며 검증 실험의 설계를 다듬었고, 결과가 나올 때마다 새로운 정보를 입력했다. 그 결과 ISR이 건강과 질병에서 맡는 역할에 중요한 시사점을 주는 새로운 발견을 얻었으며, 연구팀은 향후 이 성과를 발표할 예정이다.

4월 30일목
  1. Google Research Blog40

    Google Research, Empirical Research Assistance(ERA)의 과학 연구 활용 사례 소개

    Google Research 과학자들이 전문가 수준의 실증 소프트웨어를 생성하는 AI 도구 「Empirical Research Assistance(ERA)」를 공중보건, 우주론, 기후 등의 분야에서 활용하고 있다고 밝혔다. 공중보건 분야에서는 인플루엔자, COVID-19, RSV의 입원 예측치를 매주 실시간으로 제출하고 있으며, 인플루엔자와 COVID-19의 공개 리더보드에서 상위 또는 그에 준하는 성적을 기록했다. 우주론 분야에서는 ERA와 Gemini Deep Thinking을 결합해 우주 끈(cosmic string)에서 방출되는 중력 에너지에 관한 일반해 6개와 점근 극한의 간결한 식을 도출했다.

4월 1일수
  1. Google Research Blog40

    Google Research, AI 벤치마크에 필요한 평가자 수 검증

    Google Research는 AI 평가에서 항목 수와 항목별 평가자 수 중 어느 쪽을 우선해야 하는지 검증했다. 다수결과의 일치를 살펴볼 때는 항목 수를 늘리는 편이 효과적이며, 의견의 폭을 포착하려면 평가자 수를 늘려야 한다. 기존의 1~5명이라는 기준은 불충분한 경우가 많으며, 총 약 1,000건 규모의 어노테이션이라도 적절히 배분하면 재현성이 높은 결과를 얻을 수 있다고 밝혔다.