본문 바로가기

#안전성

오늘 4건
6월 10일수
  1. Google DeepMind Blog43

    Google DeepMind, 멀티에이전트 AI 안전성 연구 대상 최대 1,000만 달러 규모 연구 지원금 공모

    Google DeepMind는 Schmidt Sciences, Cooperative AI Foundation, ARIA, Google.org와 공동으로 멀티에이전트 AI 안전성 연구를 대상으로 최대 1,000만 달러 규모의 연구 지원금 공모를 발표했다. 공모 분야는 샌드박스와 테스트베드, 에이전트 네트워크 과학, 에이전트 기반 강화, 모니터링과 제어의 4가지다. 응모 마감은 2026년 8월 8일이며, 선정 결과는 2026년 가을에 발표될 예정이다.

6월 9일화
  1. Claude Platform release notes67

    Anthropic, Claude Fable 5 및 Claude Mythos 5 발표… Claude Platform 릴리스 노트

    Anthropic은 전체 고객 대상의 최고 성능 모델 Claude Fable 5(claude-fable-5)와 Project Glasswing 참여자 대상의 Claude Mythos 5(claude-mythos-5)를 공개했다. 두 모델 모두 컨텍스트 윈도우는 기본 1M 토큰, 최대 출력은 128k 토큰이며, 적응형 사고가 상시 활성화되어 있다. Claude Opus 4.7 이전 모델과 비교하면 같은 텍스트에서 토큰 수가 약 30% 늘어난다.

    선정 이유: 모델 사양과 함께, 토크나이저 변경에 따른 약 30% 토큰 증가 및 사고 모드 제약 등 마이그레이션 시 확인해야 할 조건이 정리되어 있다.

5월 28일목
  1. Google Research Blog40

    구글의 제로 트러스트 집계 기반 프라이빗 분석

    구글은 제로 트러스트 원칙에 따라 암호 기술을 이용한 안전한 집계와 TEE(신뢰 실행 환경)를 결합한 새로운 프라이빗 분석 체계를 도입했다고 밝혔다. 새로운 암호 프로토콜은 단말이 한 번의 메시지로 정보를 보낼 수 있어, 여러 라운드에 걸쳐 단말을 온라인 상태로 유지할 필요가 없다. TEE의 어테스테이션을 통해 참가자는 공개된 코드가 의도대로 실행되고 있는지 검증할 수 있다.

5월 18일월
  1. Import AI38

    Import AI 457: fast16 악성코드, Muon 옵티마이저의 뉴런 사멸, Aurora

    Tilde Research는 Muon 옵티마이저의 업데이트 규칙 때문에 MLP 층의 일부 뉴런이 영구적으로 죽는 문제를 지적하고, 대안으로 「Aurora」를 공개했다. 원문에 따르면 Muon에서는 학습률 워밍업 중 많은 뉴런이 죽었고, 500 스텝 시점에 4분의 1 이상이 사실상 죽은 상태였다. 약 100B 토큰으로 1.1B 파라미터 트랜스포머를 학습한 소규모 실험에서 Aurora의 최종 손실은 2.26으로, Muon(2.31)과 NorMuon(2.33)보다 낮았다.

5월 17일일
  1. Google DeepMind Blog52

    Google, SynthID·C2PA 기반 콘텐츠 검증을 Search·Gemini·Chrome 등으로 확대

    Google은 AI 생성 콘텐츠의 출처와 편집 여부를 확인할 수 있는 투명성·검증 도구를 Search, Gemini, Chrome, Pixel, Cloud로 확대한다고 발표했다. SynthID 검증은 Gemini 앱에 이어 Search에서 제공을 시작하며, Chrome에도 수 주 안에 대응한다. Google Cloud에서는 새롭게 AI Content Detection API도 선보인다.

4월 3일금
  1. Google Research Blog45

    LLM 행동 성향의 정렬을 평가하는 프레임워크

    Google Research는 LLM의 행동 성향(behavioral dispositions)이 사람들의 합의와 얼마나 맞아떨어지는지 평가하는 프레임워크를 공개했다. 25개 LLM을 상황판단테스트(SJT)로 평가한 결과, 사람 주석자들의 의견이 전원 일치하는 경우에는 소형 모델과 프론티어 클로즈드 웨이트 모델 모두 거의 완벽하게 정렬됐다. 반면 합의율이 90% 미만으로 떨어지자 정렬률은 80%대 중반에서 더 오르지 못했고, 합의가 없는 상황에서는 사람들의 의견 폭을 제대로 포착하지 못했다.

7월 23일수
  1. Mistral AI News57

    Mistral AI, Mistral Large 2의 수명주기 분석 결과 공개… AI용 환경 기준 제안

    Mistral AI는 Carbone 4 및 ADEME과 공동으로 대규모 언어 모델(LLM)의 환경 영향을 측정하는 수명주기 분석(LCA)을 실시했다. Mistral Large 2의 학습과 18개월간의 이용으로 20,4 ktCO₂e의 온실가스 배출, 281 000 m3의 물 소비, 660 kg Sb eq의 영향이 발생했다. Le Chat의 400토큰 응답 1회당은 1.14 gCO₂e, 45 mL, 0.16 mg Sb eq였다.