본문 바로가기

#배포·인프라

오늘 12건
10월 20일화
  1. TechCrunch AI32

    Nscale, Anthropic과 450억 달러 규모 신규 컴퓨팅 자원 계약 협의 중

    Bloomberg는 Nscale과 Anthropic이 450억 달러 규모의 컴퓨팅 자원 계약을 곧 발표할 단계에 와 있다고 보도했다. 관계자에 따르면 협의는 계속 진행 중이며 조건이 바뀔 가능성도 있다. 성사되면 Anthropic이 지난 1년간 체결한 대규모 컴퓨팅 자원 계약 중 가장 최근 사례가 된다. 두 회사는 IPO를 준비 중이며, Nscale은 300억 달러 기업가치를 두고 투자자들의 반발에 직면해 있다고 한다.

  2. AWS Machine Learning Blog56

    Amazon Bedrock, 모든 Anthropic Claude 모델에서 구조화된 출력 지원

    Amazon Bedrock는 bedrock-runtime과 bedrock-mantle 두 엔드포인트에서 모든 Anthropic Claude 모델의 구조화된 출력을 지원하게 되었다. JSON 스키마를 따르는 응답을 받을 수 있어 별도의 파싱 처리나 재시도 처리가 필요 없어진다. JSON Schema 출력 형식과 strict tool use 두 가지 방식을 사용할 수 있으며, 일반 제공(GA) 중이다.

  3. AWS Machine Learning Blog48

    개발자, 새로운 AWS 로그인 방식으로 Amazon SageMaker Studio 이용 가능

    Amazon SageMaker AI의 신규 고객은 Google, GitHub, Apple, Amazon 계정 또는 이메일 주소로 2~3단계의 가입 절차만 거치면 설정이 완료된 SageMaker Studio 환경을 이용할 수 있게 됐다. 신규 고객에게는 $100의 AWS 프리 티어 크레딧이 제공되며, 추가로 $100을 더 받을 기회도 있다. 기존 AWS 계정의 로그인 방식은 변경되지 않았다.

  4. AWS Machine Learning Blog34

    Amazon SageMaker JumpStart, 2026년 1~9월 모델 추가 돌아보기

    Amazon SageMaker JumpStart는 2026년 1~9월에 30개 프로바이더의 100개가 넘는 신규 모델을 추가했다. 가장 많은 것은 Alibaba(Qwen)의 29개 모델이며, 이어서 NVIDIA가 17개, Mistral이 7개, Google이 6개 모델을 추가했다. 추론, 멀티모달, 양자화 모델 등 폭넓은 모델을 포함하며, 원클릭 배포를 지원한다.

  5. Search: AI launches59

    Amazon, PyTorch 코드 수정 없이 AWS Trainium에서 실행하는 TorchNeuron 발표

    아마존은 PyTorch 코드를 수정하지 않고 AWS Trainium 칩에서 실행할 수 있는 TorchNeuron을 발표했다. 설정 변경만으로 동작하며 Trainium2와 Trainium3를 지원한다. 10월 20일 PyTorch Conference North America에서 Apache 2.0 라이선스의 오픈소스로 공개될 예정이다.

  6. Hugging Face Daily Papers29

    Specter, 양자화 기반 추측 디코딩으로 MoE 추론 가속

    Specter는 양자화된 추측 디코딩과 expert offloading을 결합해 단일 GPU에서 MoE 모델 추론을 가속하는 추론 시스템이다. 단일 요청 추론에서 최신 시스템과 비교해 TPOT가 평균 1.50배(최대 1.88배) 향상된 것으로 보고됐다. 메모리가 제한된 단일 GPU 환경에서 일반적인 하드웨어 기반 MoE 추론을 보다 실용적으로 만드는 것이 목표다.

  7. Hugging Face Blog42

    TorchNeuron, AWS Trainium에서 HF 모델 실행이 그 어느 때보다 쉬워져

    TorchNeuron은 AWS Trainium용 새로운 네이티브 백엔드를 제공하는 PyTorch 플러그인으로, Transformers, Diffusers, Kernels가 이를 네이티브로 지원한다. Transformers의 텍스트 생성에서는 사용 빈도가 높은 상위 100개 텍스트 생성 모델 아키텍처 중 89%가 별도 수정 없이 동작하며, 이는 Optimum Neuron v0.4.5의 46%에서 크게 확대된 수치다.

  8. NVIDIA Blog42

    독일, 산업 AI 분야 세계 선도 목표… NVIDIA가 지원

    NVIDIA와 독일 연방정부는 산업용 AI 추진에 관한 공동 의향선언(Joint Declaration of Intent)에 서명했다. 피지컬 AI를 위한 선진 AI 모델을 공동으로 추진하여 산업 AI의 보급과 유럽 생태계 구축을 목표로 한다. 같은 날 Jensen Huang은 Agile Robots, Avelios Medical, Mirelo, Reflex Aerospace 등 4개 사에 대한 신규 투자를 발표했다. 이는 유럽 전역에 약 100억 달러 규모로 이루어지는 NVIDIA의 투자 약속의 일부다.

  9. AI at Meta40

    Meta는 오하이오주 New Albany의 기가와트급 슈퍼클러스터 「Prometheus」에서 Muse Wonder를 포함한 Muse 기반 모델을 학습했다고 밝혔다. Muse Wonder 학습에서 사전 학습의 goodput은 85% 이상, 강화 학습은 90% 이상이며, 평균 중단 간격은 약 47K GPU 시간이다. 수십만 개 규모의 GPU에서는 일부 호스트의 성능 저하가 전체 학습을 지연시키므로, 대규모에서의 내결함성을 중시하여 설계했다고 한다.

  10. TechCrunch AI33

    Tenstorrent, 기업가치 62억 달러 도달…오픈웨이트 AI 칩 확대 추진

    Tenstorrent는 15억 달러를 조달했으며 기업가치는 62억 달러가 됐다. Trace Capital과 Innovation X가 주도했으며, 기업가치는 2024년 말의 26억 달러에서 두 배 이상 늘었다. 조달 자금은 오픈웨이트 AI 모델과 동영상 생성용 칩의 확대에 투입된다. CEO Jim Keller는 Galaxy 서버에서 DeepSeek 모델을 구동할 수 있었던 것을 계기로 독립성을 유지하면서 추가 조달을 결정했다고 Bloomberg에 밝혔다.

  11. AWS Machine Learning Blog24

    Deepgram, AWS Trainium에서 음성 AI 추론을 대규모로 최적화한 방법

    Deepgram은 음성 인식 모델 Nova-3를 AWS Trainium2로 옮겨, 오프라인 배치 처리에서 기존 컴퓨팅 기반보다 달러당 처리 음성량을 11~70% 늘렸다고 밝혔다. 최종 구성에서는 단일 Amazon EC2 trn2.3xlarge 인스턴스에서 8개의 모델 레플리카를 동작시킨다. 커널 튜닝에서는 FFN 레이어가 배치 크기 96에서 레퍼런스 커널 대비 지연 시간을 2.0배 줄였고, depthwise conv1d는 1.5배 빨라졌다.

  12. AWS Machine Learning Blog38

    TwelveLabs、Pegasus 1.5를 Amazon Bedrock에서 제공 시작

    TwelveLabs의 동영상 언어 모델 Pegasus 1.5가 Amazon Bedrock에서 이용 가능해졌다. 긴 동영상을 분석해 지정한 조건에 맞는 구간을 타임스탬프가 포함된 구조화된 JSON으로 반환한다. Amazon S3의 URI 또는 base64 문자열로부터 사전 인덱스 작업 없이 동영상을 분석할 수 있으며, 동영상 처리 능력은 요청 1건당 최대 2시간까지 확대됐다(Pegasus 1.2는 1시간).

  13. NVIDIA Blog28

    NVIDIA, 유럽 공영방송용 주권형 에이전트 기반 확충

    NVIDIA는 유럽방송연맹(EBU)과 협업해 유럽 공영방송국을 위한 주권형 프레임워크를 확충한다고 밝혔다. 주권형 클라우드 사업자와 오픈 모델 개발 기업 등을 새로 참여시키고, 방송국이 데이터와 모델을 직접 관리하면서 에이전트를 도입할 수 있도록 참조 아키텍처를 정했다. Adobe Frame.io는 NVIDIA GPU로 동영상 검색을 가속해 임베딩 생성 속도가 약 5배, 처리량은 최대 4배 향상됐다고 전했다.

  14. TechCrunch AI45

    Nvidia, 에이전트용 오픈 웨이트 모델 「Nemotron 3.5」 발표

    Nvidia는 상시 가동 에이전트와 엣지 컴퓨팅을 위한 오픈 웨이트 모델을 발표했다. 기업용 「Nemotron 3.5 Super VL」은 120B 파라미터로, 지시 따르기와 도구 활용 작업에서 Nemotron 3 Ultra에 가까운 정확도를 보인다고 한다. PC용으로는 경량 모델 「Nemotron 3.5 Bolt 74B-A9B 24GB」와 「Bolt E4B」를 내놓았다. Super VL과 Bolt 74B-A9B는 이미 제공을 시작했으며, Bolt E4B는 이번 달 후반에 제공될 예정이다.

10월 19일월
  1. xAI News62

    SpaceXSI, Anthropic에 Colossus 1 이용 제공 계약 체결

    SpaceXSI는 Anthropic과 AI 슈퍼컴퓨터 Colossus 1에 대한 접근을 제공하는 계약을 체결했다. Colossus 1에는 H100, H200, 차세대 GB200을 포함한 22만 개 이상의 NVIDIA GPU가 탑재되어 있다. Anthropic은 이 컴퓨팅 자원을 Claude Pro와 Claude Max 구독자를 위한 용량 개선에 활용할 계획이며, 복수 기가와트 규모의 궤도상 AI 컴퓨팅 공동 개발에도 관심을 보였다.

    선정 이유: Colossus 1의 규모와 Claude Pro, Claude Max의 용량 개선이라는 용도, 궤도상 컴퓨팅에 대한 관심이 한 건에 정리되어 있어 컴퓨팅 자원 확보 동향을 파악하기 쉽다.

  2. xAI News59

    xAI, 코딩 에이전트 겸 TUI인 Grok Build를 GitHub에서 오픈소스로 공개

    xAI는 SpaceXSI의 코딩 에이전트이자 TUI인 Grok Build의 소스 코드를 GitHub에 공개했다. 컨텍스트 구성부터 도구 호출 디스패치까지의 구현을 직접 읽어볼 수 있다. 직접 컴파일해 자체 로컬 추론 환경에 연결할 수 있고, config.toml로 조작하는 로컬 우선(local-first) 운용도 지원한다.

  3. xAI News58

    xAI, 장시간 에이전트용 Grok 4.6 공개… Cursor와 Grok Build에서 이용 가능

    xAI는 Grok 4.5를 기반으로, 장시간 동작하는 에이전트와 대화형·시각적 작업에 중점을 둔 Grok 4.6을 공개했다. Artificial Analysis Intelligence Index에서는 GPT-5.6 Sol과 같은 61점이다. Cursor와 Grok Build에서 이용할 수 있으며, API 요금은 입력 100만 토큰당 $2, 출력 100만 토큰당 $6부터다.

  4. Google Developers Blog46

    클라이언트 SDK 생성은 왜 오픈되어야 하는가: Google GenAI SDK 사례에서

    Google과 Speakeasy가 OpenAPI 클라이언트 생성 스위트를 AGPLv3 라이선스로 오픈소스화한다. 배경에는 2026년 5월 Google이 이용하던 SDK 생성 제공업체가 인수되어 서비스 종료가 갑자기 발표된 일이 있다. 공개되는 것은 7개 언어용 SDK 생성기, 에이전트용 CLI 생성기, 그리고 OpenAPI와 Markdown 문서에서 MCP 서버를 생성하는 생성기다. Google은 이 구조를 통해 약 1명의 엔지니어가 6개 타깃을 유지보수하고 있다고 밝혔다.

  5. Google Developers Blog43

    Antigravity SDK, 로컬 AI 모델 지원 추가

    Antigravity SDK가 로컬 모델 기반 에이전트 처리를 지원하게 되었으며, Google AI Edge의 LiteRT를 이용해 Gemma 4 26B A4B를 초기 지원 모델로 사용할 수 있게 되었다. 네트워크 연결 없이도 완전 오프라인으로 동작하며, 로컬 GPU와 RAM을 효율적으로 활용한다. 하이브리드 구성 데모에서는 클라우드의 Gemini 3.8 Flash가 계획을 수립하고 로컬의 Gemma 4 26B가 처리를 담당했으며, 기록된 실행에서는 전체 토큰의 97.2%(3,322토큰)가 로컬에서 처리되었다.

  6. Google Developers Blog56

    Google, MaxText와 TPU로 Olmo 3 7B 사전 학습 재현 사례 공개

    Google 팀이 Ai2의 Olmo 3 7B를 MaxText 기반 Google Cloud TPU에서 1단계 사전학습과 2단계 mid-training annealing까지 재현했다. 홀드아웃 C4 손실과 8개 태스크 정확도는 Ai2의 참조 실행과 거의 동등했으며, 실행 간 노이즈 범위 내라고 보고했다. Ironwood에서는 44.5% MFU, v5p에서는 57.4% MFU를 기록했다.

  7. Google Developers Blog33

    TPU에서 비디오 확산 모델의 Spatio-Temporal Attention을 고속화

    Sparse VideoGen(SVG)의 공간·시간 마스크로 얻는 이론상의 스파스성을 TPU에서 실제 엔드투엔드 고속화로 연결하는 기법을 해설한다. 81프레임 720p 동영상의 시퀀스 길이는 인기 오픈소스 동영상 생성 모델에서 50K에서 400K에 이르며, 720p에서 1440p로 해상도를 높이면 단일 레이어 Attention의 지연 시간이 차지하는 비중은 55.5%에서 88.2%로 증가한다. 스파스 버전은 단일 TPU v6e에서 커널을 측정한 결과 쿼리·키 쌍의 약 38.87%만 보존하여 계산한다.

  8. Google Developers Blog42

    AQuA, 운영 중인 에이전트 품질을 24시간 모니터링하고 실패 원인을 진단하는 Google의 앰비언트 품질 에이전트

    Google은 운영 환경의 AI 에이전트를 지속적으로 감시하는 품질 에이전트 「AQuA(Ambient Quality Agent)」를 오픈 빌딩 블록으로 공개했다. Google Cloud에서 Cloud Trace, Cloud Logging, BigQuery로부터 세션을 주기적으로 추출하고, 최대 1,000개 세션을 평가해 실패 패턴을 클러스터링한다. AQuA는 요청 경로 밖에서 동작하며 에이전트에 결과를 다시 써넣지 않는다.

  9. Google Developers Blog53

    Google, 온디바이스 GPU 추론 엔진 ML Drift를 Apache 2.0으로 오픈소스화

    Google AI Edge 팀이 온디바이스 AI 추론용 GPU 연산 엔진 ML Drift를 Apache 2.0 라이선스로 공개했다. OpenGL ES, OpenCL, Metal, WebGPU를 지원하며, LiteRT의 GPU 가속 핵심 요소이면서 단독 라이브러리로도 사용할 수 있다. YouTube Shorts에서는 Google 발표 기준으로 프레임 지연 시간이 최대 40% 줄었다.

  10. Google Developers Blog49

    Apigee hybrid에 MCP 지원 발표, 에이전트형 도구를 자체 클러스터 안에서 실행

    Apigee hybrid 1.17.0에서 MCP 지원이 가능해져, MCP 데이터 플레인을 고객 자체 Kubernetes 클러스터 안에서 실행할 수 있게 되었다. MCP 요청 트래픽은 요청 시점에 클러스터 밖의 Google Cloud로 전송되지 않는다. 설정은 클러스터 측이 컨트롤 플레인에서 주기적으로 가져오는 방식이다. MCP는 기본적으로 비활성화된 선택 기능이며, overrides.yaml에 enableMcpServer: true를 설정해 활성화한다.

10월 18일일
  1. Search: AI launches55

    BVIO Technology, 마우스와 키보드를 조작하는 AI 박스 'Violoop'을 킥스타터에서 399달러에 선판매

    BVIO Technology는 PC에 연결해 화면을 읽고 마우스와 키보드를 대신 조작하는 AI 박스 'Violoop'을 킥스타터에서 선판매하고 있다. 가격은 399달러이며 예상 소매가는 699달러이다. 캠페인은 2026년 10월 30일에 종료되며, 로컬 모델로는 Qwen 8B의 4비트 양자화 버전을 사용한다.

  2. NVIDIA Blog40

    NVIDIA RTX Spark 탑재 Windows PC 출시, ASUS·Dell·HP·Lenovo·Microsoft·MSI 제품

    NVIDIA RTX Spark를 탑재한 Windows PC 노트북 제품이 출시됐다. ASUS, Dell, HP, Lenovo, Microsoft, MSI의 노트북이 2,399달러부터 판매되며, NVIDIA Blackwell RTX GPU와 NVIDIA Grace CPU를 결합한 단일 슈퍼칩으로 최대 1 petaflop의 AI 연산 성능과 최대 128GB의 통합 메모리를 갖췄다. 앞으로 더 많은 시스템이 나올 예정이다.

10월 17일토
  1. AWS Machine Learning Blog49

    Reflection Beam 출시, AWS에서 제공되는 에이전트형 코딩용 오픈 웨이트 모델

    Reflection AI가 에이전트형 코딩과 장기 작업을 위한 오픈 웨이트 모델 Beam을 공개했다. 총 파라미터 501B, 활성 파라미터 23B의 희소 MoE(Mixture of Experts) 구조이며, 회사 측은 실효 컨텍스트 길이가 1M 토큰이라고 밝혔다. 가중치는 Apache 2.0 라이선스로 Hugging Face에서 제공되며, 발표 시점에는 Amazon SageMaker JumpStart의 미국 동부(버지니아 북부, 오하이오) 리전에서 이용할 수 있다.

10월 16일금
  1. NVIDIA28

    아이디어는 이를 검증할 연산 능력이 없으면 다음 단계로 나아갈 수 없다. Wallenberg Investments의 Marcus Wallenberg, Spotify의 Fredrik Eldsjål(@eldsjal), Sferical AI의 Jenny Nordlöwl과 함께 Jensen Huang이 NVIDIA 기반 공유 AI 슈퍼컴퓨터 'Sferical One'의 가동 시작을 축하했다. 연구자와 기업이 아이디어를 돌파구로 바꿀 수 있도록 연산 능력을 더 제공한다. 🇸🇪

10월 15일목
  1. Latent Space62

    Modal、ARR 10억 달러 돌파 및 시리즈 D에서 7억 5천만 달러 조달, 기업가치 157억 5천만 달러

    Modal은 연간 환산 매출(ARR)이 10억 달러를 넘었다고 밝혔다. Accel이 주도한 시리즈 D에서 7억 5천만 달러를 조달했으며, 기업가치는 157억 5천만 달러다. 사용량은 전년 대비 15배 이상 늘었다. 같은 호에서는 Gemini 4 Argon의 확대와 평가, 각사의 신규 모델, 추론 인프라 벤치마크도 다뤘다.

  2. NVIDIA Blog42

    NVIDIA, 유럽 과학계를 위해 공개 학습 자료·협업·컴퓨팅 자원 제공 확대

    NVIDIA는 유럽연합 집행위원회가 더블린에서 시작한 AI in Science Enablers Initiative에 참여해 유럽 연구자들을 위한 오픈 모델, 학습 자료, 컴퓨팅 자원 접근을 넓힌다고 발표했다. 현재 250개 이상의 오픈 모델과 250개의 오픈 데이터셋을 공개하고 있으며, NVIDIA Deep Learning Institute는 무료 오픈소스 교육 자료 허브를 열었다. 유럽에서는 35대의 슈퍼컴퓨터가 개발 중이며, 300만 명이 넘는 연구자가 이를 이용할 수 있게 된다.

  3. NVIDIA Blog40

    NVIDIA와 북유럽, 지역 차원에서 추진하는 첨단 컴퓨팅 프로젝트

    북유럽에서는 NVIDIA의 인프라와 Nemotron 오픈 모델을 중심으로 AI의 실용화가 진행되고 있다. 스웨덴에서는 Ericsson, AstraZeneca, Saab 등으로 구성된 컨소시엄이 DGX GB300 시스템 16랙과 1,152개의 GPU를 갖춘 공유 슈퍼컴퓨터 Sferical One을 출범시켰다. AI 클라우드 용량은 2027년 말까지 지역 전체에서 1기가와트에 이를 것으로 예상된다.

  4. Apple Machine Learning Research50

    MLX와 RDMA로 Mac Studio에서 대규모 LLM을 로컬·분산 추론

    Apple Machine Learning Research는 MLX와 RDMA over Thunderbolt를 활용해 Mac Studio 4대로 816B 파라미터의 Muse Spark Open을 초당 36토큰 이상으로 생성할 수 있음을 보였다고 밝혔다. M5 Ultra는 M3 Ultra 대비 TTFT가 최대 4.6배, 토큰 생성 속도가 1.6배 빠르다. Qwen 3.8 27B와 Mistral Medium 3.5 128B는 512GB 메모리를 탑재한 Mac Studio 단독으로 동작한다.