CWE-bench v2, 커버리지·품질·투명성 강화
Collinear AI의 사이버보안 평가 벤치마크 「CWE-bench v2」는 실제 오픈소스 리포지토리에서 기존 기능을 깨뜨리지 않고 보안 취약점을 수정하는 과제를 91종의 CWE에 걸쳐 100건 공개했다고 밝혔다.
Collinear AI의 사이버보안 평가 벤치마크 「CWE-bench v2」는 실제 오픈소스 리포지토리에서 기존 기능을 깨뜨리지 않고 보안 취약점을 수정하는 과제를 91종의 CWE에 걸쳐 100건 공개했다고 밝혔다.
ML4 is now open-weight! Frontier capabilities on code agents & cyber, way more efficient and compact than its Preview version three weeks ago (!) and cherry on the cake: technical report telling its epic backstory. Check it out: https://huggingface.co/mistralai/Mistral-Large-4-1T-A52B/blob/main/assets/technical_report.pdf
Property Finder는 평가 라벨의 96.8%가 기존 모델의 예측에서 이어받은 것이었으며, 평가가 현행 모델 쪽으로 치우쳐 있었다고 밝혔다. 전문가가 독립적인 정답 데이터를 새로 만들고 진화적 프롬프트 최적화를 수행한 결과, Amazon Bedrock에서 정확도를 높이면서 비용을 86% 줄이는 모델을 선정했다. 평가에는 356장의 이미지를 사용했으며, 주요 지표로 Micro F1을 채택했다.
Microsoft의 진단 AI 시스템 'MAI-DxO'는 New England Journal of Medicine의 복잡한 증례를 활용한 시뮬레이션에서 정답률 83%를 기록해, 참고 자료를 이용해 단독으로 진단한 일반 내과의 및 1차 진료의의 36%를 웃돌았다. 최고 성적은 OpenAI의 GPT-5 및 GPT-5.5와 결합했을 때 나왔다. GPT-5.5에서는 복잡한 증례의 정답률이 72%에서 약 87%로 올랐으나, 응급의학과 증례에서는 개선이 나타나지 않았다.
NVIDIA는 시계열 예측 모델 「Kumo Forecast」(구 NV-Tesseract Forecasting)를 공개했다. 사전 학습된 Transformer와 이력 패턴 검색(DARR)을 결합해, 직접 예측과 검색 결과를 섞어 예측한다. 기반은 MOMENT-1-large이며, 약 3억 4000만 파라미터의 인코더를 사용하고 라이선스는 Apache 2.0이다. 해석 기능도 갖추고 있다.
OpenAI는 COBOL, Fortran, Visual Basic 등 저자원 프로그래밍 언어에서의 구축 및 마이그레이션 능력이 향상되었다고 발표했다. MultiLangBench에서 GPT-6 Astra는 20개 언어 평균 통과율 87.4%를 기록해, GPT-5.6 Sol의 26.8%를 웃돌았다. COBOL 마이그레이션 평가에서는 GPT-6.1 Sol이 낮은 추론 부하에서 86.6%, 높은 추론 부하에서 97.9%에 도달했다.
Microsoft AI가 활성 파라미터 80B, 총 2.8T 파라미터 규모의 MoE 기반 모델 MAI-Base-2의 사전학습을 완료했다. 보류 평가에서는 테스트한 모든 오픈 웨이트 모델을 웃돌았으며, DeepSeek-V4-Pro-Base 대비 사전학습 FLOPs 효율은 4~12배다. 16k GB200 GPU로 38일간 학습했으며, 현재 사후학습 중이다. 가중치는 Foundry를 통해 신뢰할 수 있는 파트너에게 라이선스 제공할 방침이다.
Gemini 4 Argon은 양자 컴퓨팅, 핵융합, 단백질 설계 등의 분야에서 이미 새로운 과학적 돌파구를 열고 있다. 🧵
Hugging Face가 260M과 800M 두 가지 크기로 구성된 다국어 멀티모달 인코더 「NeoMME」를 발표했다. 사전 학습된 비전 타워를 사용하지 않고, 단일 양방향 Transformer로 텍스트 토큰과 이미지 패치를 동시에 처리한다.
Google Research는 Gemini와 Project Astra를 기반으로 실시간 영상 진찰을 수행하는 연구용 AI 시스템 AMIE (Video)를 공개했다. 100개 시나리오, 300건의 모의 진료를 대상으로 한 무작위 배정 연구에서 핵심 임상 역량이 일차 진료의(PCP)와 동등하다고 평가됐다. 다만 평가는 모의 환자를 활용한 환경으로 제한되어 있어, 실제 환자를 대상으로 한 검증이 다음 과제로 꼽힌다.
Microsoft Research와 Paige(현 Tempus 산하)는 조직 이미지와 병리 보고서에서 얻은 언어로 학습한 병리 기반 모델 PRISM2를 개발해 Nature Medicine에 발표했다. 전립선암, 유방암, 유방 림프절 전이 검출 등 여러 벤치마크에서 전용 암 검출 시스템과 대등하거나 이를 웃도는 성능을 보였다. 모델 가중치는 연구 목적으로 Hugging Face에 공개됐다.