SecurityScorecard, AI가 공급망을 지키고 공격을 견딜 수 있는지 시험하는 세계 최초의 TPRM 벤치마크 발표
SecurityScorecard가 AI가 공급망을 방어하고 공격을 견딜 수 있는지 검증하는 세계 최초의 TPRM 벤치마크를 발표했다. 본문을 가져오지 못해 벤치마크의 구성이나 결과 등 세부 내용은 확인할 수 없다.
#벤치마크
#벤치마크
오늘 0건Search: AI launchesAI 점수1212 TechCrunch AIAI 점수3333 Palantir 출신 창업자들의 Dream, 건설용 AI 세계 모델로 1,700만 달러 조달
Palantir 출신의 Andy Elder와 Arjun Mathur가 설립한 Dream은 Andreessen Horowitz가 주도한 시드 자금 1,700만 달러를 조달했으며, 건축·엔지니어링·건설(AEC)을 위한 세계 모델을 개발하고 있다고 발표했다. 이 회사의 모델은 미국 전역의 건축 허가 신청 기록에서 수집한 1억 제곱피트 이상의 건물 데이터로 학습되었으며, 구조적으로 타당한 설계를 생성할 수 있다고 밝혔다. 현재 텍사스주와 캘리포니아주의 10개 프로젝트에 제품이 도입되어 있다.
The DecoderAI 점수4242 Artificial Analysis, 새 Intelligence Index에서 오픈 모델과 클로즈드 모델의 격차 확대
Artificial Analysis가 Intelligence Index를 version 5로 개편했으며, 오픈 모델 상위권과 전체 1위의 격차는 종전 3포인트에서 12포인트로 벌어졌다. Kimi K3.1 Pro는 출시 당시 4위에서 9위로 밀려났고, Grok 4.7도 12포인트 하락했다. 지수의 60%가 비공개 테스트 세트로 구성되어 벤치마크 대비 학습(benchmaxxing)을 막으려는 목적이 있다.
Search: AI launchesAI 점수55 Protege, 실환경 조건에서 의료 AI를 검증하는 독립 평가 시작
Protege는 의료 AI가 실제 환경에서 얼마나 제대로 작동하는지 검증하기 위한 독립 평가를 시작했다. 본문 페이지를 가져오지 못해 평가의 구체적인 방법, 대상, 결과는 확인되지 않는다.
Google DeepMind BlogAI 점수3535 Google DeepMind, 세계 최초 이중 맹검 AI 평가 시범 운영
Google DeepMind는 Singapore AI Safety Institute, OpenMined, AVERI, MLCommons와 함께 Gemini Flash Lite를 비공개 벤치마크로 평가하는 이중 맹검 방식의 AI 평가를 시범 운영하고 있다고 밝혔다. 외부 평가 문항은 암호 기술로 만든 '상자' 안에 가둬져, 모델이 사전에 문항을 보고 성능을 최적화하는 것을 막는다. 프라이버시를 보호하는 환경에서 평가의 완전성을 높이기 위한 조치다.