본문 바로가기

#Meta

오늘 0건
10월 29일목
10월 21일수
  1. Google Developers Blog57

    구글, TorchTPU를 TorchTitan에 통합한 TorchTitan TPU 공개… PyTorch 모델의 TPU 최적화 기법도 해설

    구글은 Meta의 TorchTitan을 포크한 TorchTitan TPU를 공개했다. TorchTPU의 네이티브 백엔드(torch.device("tpu")) 위에서 PyTorch 모델 정의를 그대로 유지한 채 Cloud TPU에서 대규모 학습을 수행할 수 있다. Llama 3 405B는 128~1,024칩에서 약 57% MFU를, Qwen3 235B는 1,024칩 단일 슬라이스에서 32.42% MFU를 기록했다.

10월 20일화
  1. AWS Machine Learning Blog34

    Amazon SageMaker JumpStart, 2026년 1~9월 모델 추가 돌아보기

    Amazon SageMaker JumpStart는 2026년 1~9월에 30개 프로바이더의 100개가 넘는 신규 모델을 추가했다. 가장 많은 것은 Alibaba(Qwen)의 29개 모델이며, 이어서 NVIDIA가 17개, Mistral이 7개, Google이 6개 모델을 추가했다. 추론, 멀티모달, 양자화 모델 등 폭넓은 모델을 포함하며, 원클릭 배포를 지원한다.

  2. AI at Meta40

    Meta는 오하이오주 New Albany의 기가와트급 슈퍼클러스터 「Prometheus」에서 Muse Wonder를 포함한 Muse 기반 모델을 학습했다고 밝혔다. Muse Wonder 학습에서 사전 학습의 goodput은 85% 이상, 강화 학습은 90% 이상이며, 평균 중단 간격은 약 47K GPU 시간이다. 수십만 개 규모의 GPU에서는 일부 호스트의 성능 저하가 전체 학습을 지연시키므로, 대규모에서의 내결함성을 중시하여 설계했다고 한다.

10월 16일금
  1. AI at Meta29

    Meta의 Omnilingual ASR이 TIME의 'Best Inventions of 2026' 중 하나로 선정되었다. 1,600개 이상의 언어를 지원하는 ASR 모델 제품군으로, 기존 어떤 ASR 시스템도 지원하지 못했던 저커버리지 언어 500개를 포함한다. 대부분의 ASR은 온라인에 자료가 많은 일부 언어에 집중되어 있었으며, 이번 공개는 보편적인 전사 시스템을 향한 큰 진전으로 평가된다.

  2. AWS Machine Learning Blog36

    Meta, Amazon SageMaker JumpStart에서 Muse Spark Open 제공 시작

    Meta의 코딩 특화 오픈 웨이트 모델 「Muse Spark Open」이 Amazon SageMaker JumpStart에서 이용 가능해졌다. MoE 아키텍처로 총 파라미터 816B, 활성 파라미터 42B, 컨텍스트 윈도우는 1M 토큰이다. BF16 버전은 ml.p6-b300.48xlarge, NVFP4 양자화 버전은 ml.p5e.48xlarge에서 동작하며, SageMaker Studio 또는 SageMaker Python SDK를 통해 자신의 AWS 계정 엔드포인트에 배포할 수 있다.

10월 15일목
  1. AI at Meta58

    AI at Meta는 Muse Spark 1.3과 Muse Wonder를 활용한 인간 주도 연구 스캐폴드로 AI가 의료 연구를 어떻게 가속할 수 있는지 검증하고, 연구 원고 10편을 공개했다. 시스템은 익명화된 500만 건의 후향적 전자 의무기록과 공개 데이터에 접근할 수 있었으며, 연구는 의료 전문가가 수행했다. 자세한 내용은 연구 블로그 https://go.meta.me/3U06wvD 에서 확인할 수 있다.

10월 13일화
  1. NVIDIA Blog35

    NVIDIA, OCP Global Summit에서 Vera Rubin 아키텍처 공개… AI 팩토리 확대에 박차

    NVIDIA는 OCP Global Summit에서 Vera Rubin 랙과 컴퓨트 트레이 설계를 개방형 NVIDIA MGX 아키텍처를 통해 OCP에 기증했다고 밝혔다. MGX 1.2 사양은 수냉식 5,000A 버스바와 19인치 장비 지원을 추가했으며, 랙 배포 용량을 최대 250kW까지 지원한다. 아울러 DSX AI Factory용 Config Manager, Cluster Readiness Engine 등 오픈소스 컴포넌트도 함께 공개됐다.

10월 12일월
  1. Apple Machine Learning Research42

    SELFCOMPACT, 언어 모델 에이전트가 스스로 문맥을 압축하는 기법

    SELFCOMPACT는 모델 스스로 문맥을 언제, 어떻게 압축할지 결정하는 에이전트용 스캐폴드다. 압축 도구와 압축해야 할 때와 억제해야 할 때를 정하는 경량 루브릭을 결합해, 파인튜닝 없이 적응형 압축을 구현한다. 6개 벤치마크(경쟁 수학과 에이전트형 검색)와 7개 모델로 평가한 결과, 고정 간격 요약과 같거나 그 이상의 성능을 더 적은 토큰 비용으로 달성했다. 수학에서는 요약을 하지 않은 베이스라인보다 최대 18.1포인트, 에이전트형 검색에서는 5~9포인트 높았으며, 문제당 비용은 30~70% 낮았다.

8월 10일월
  1. Hugging Face Blog72

    Meta, 로컬 에이전트 지원 멀티모달 모델 Muse Glimmer 공개… Apache 2.0으로 제공

    Meta가 Muse에서 30B 파라미터로 증류한 멀티모달 모델 Muse Glimmer를 Apache 2.0 라이선스로 공개했다. 로컬 환경의 에이전트 용도를 염두에 둔 모델이며, transformers, llama.cpp, vLLM, Inference Endpoints가 day-0부터 지원한다. Hugging Face Hub에서 내려받을 수 있다.

    선정 이유: 30B 로컬 모델에 대해 아키텍처, 각 추론 기반에서의 사용법, 파인튜닝 요건이 한꺼번에 정리되어 있다.