본문 바로가기

#배포·인프라

오늘 3건
10월 19일월
  1. Google Developers Blog46

    클라이언트 SDK 생성은 왜 오픈되어야 하는가: Google GenAI SDK 사례에서

    Google과 Speakeasy가 OpenAPI 클라이언트 생성 스위트를 AGPLv3 라이선스로 오픈소스화한다. 배경에는 2026년 5월 Google이 이용하던 SDK 생성 제공업체가 인수되어 서비스 종료가 갑자기 발표된 일이 있다. 공개되는 것은 7개 언어용 SDK 생성기, 에이전트용 CLI 생성기, 그리고 OpenAPI와 Markdown 문서에서 MCP 서버를 생성하는 생성기다. Google은 이 구조를 통해 약 1명의 엔지니어가 6개 타깃을 유지보수하고 있다고 밝혔다.

  2. Google Developers Blog43

    Antigravity SDK, 로컬 AI 모델 지원 추가

    Antigravity SDK가 로컬 모델 기반 에이전트 처리를 지원하게 되었으며, Google AI Edge의 LiteRT를 이용해 Gemma 4 26B A4B를 초기 지원 모델로 사용할 수 있게 되었다. 네트워크 연결 없이도 완전 오프라인으로 동작하며, 로컬 GPU와 RAM을 효율적으로 활용한다. 하이브리드 구성 데모에서는 클라우드의 Gemini 3.8 Flash가 계획을 수립하고 로컬의 Gemma 4 26B가 처리를 담당했으며, 기록된 실행에서는 전체 토큰의 97.2%(3,322토큰)가 로컬에서 처리되었다.

  3. Google Developers Blog56

    Google, MaxText와 TPU로 Olmo 3 7B 사전 학습 재현 사례 공개

    Google 팀이 Ai2의 Olmo 3 7B를 MaxText 기반 Google Cloud TPU에서 1단계 사전학습과 2단계 mid-training annealing까지 재현했다. 홀드아웃 C4 손실과 8개 태스크 정확도는 Ai2의 참조 실행과 거의 동등했으며, 실행 간 노이즈 범위 내라고 보고했다. Ironwood에서는 44.5% MFU, v5p에서는 57.4% MFU를 기록했다.

  4. Google Developers Blog33

    TPU에서 비디오 확산 모델의 Spatio-Temporal Attention을 고속화

    Sparse VideoGen(SVG)의 공간·시간 마스크로 얻는 이론상의 스파스성을 TPU에서 실제 엔드투엔드 고속화로 연결하는 기법을 해설한다. 81프레임 720p 동영상의 시퀀스 길이는 인기 오픈소스 동영상 생성 모델에서 50K에서 400K에 이르며, 720p에서 1440p로 해상도를 높이면 단일 레이어 Attention의 지연 시간이 차지하는 비중은 55.5%에서 88.2%로 증가한다. 스파스 버전은 단일 TPU v6e에서 커널을 측정한 결과 쿼리·키 쌍의 약 38.87%만 보존하여 계산한다.

  5. Google Developers Blog42

    AQuA, 운영 중인 에이전트 품질을 24시간 모니터링하고 실패 원인을 진단하는 Google의 앰비언트 품질 에이전트

    Google은 운영 환경의 AI 에이전트를 지속적으로 감시하는 품질 에이전트 「AQuA(Ambient Quality Agent)」를 오픈 빌딩 블록으로 공개했다. Google Cloud에서 Cloud Trace, Cloud Logging, BigQuery로부터 세션을 주기적으로 추출하고, 최대 1,000개 세션을 평가해 실패 패턴을 클러스터링한다. AQuA는 요청 경로 밖에서 동작하며 에이전트에 결과를 다시 써넣지 않는다.

  6. Google Developers Blog53

    Google, 온디바이스 GPU 추론 엔진 ML Drift를 Apache 2.0으로 오픈소스화

    Google AI Edge 팀이 온디바이스 AI 추론용 GPU 연산 엔진 ML Drift를 Apache 2.0 라이선스로 공개했다. OpenGL ES, OpenCL, Metal, WebGPU를 지원하며, LiteRT의 GPU 가속 핵심 요소이면서 단독 라이브러리로도 사용할 수 있다. YouTube Shorts에서는 Google 발표 기준으로 프레임 지연 시간이 최대 40% 줄었다.

  7. Google Developers Blog49

    Apigee hybrid에 MCP 지원 발표, 에이전트형 도구를 자체 클러스터 안에서 실행

    Apigee hybrid 1.17.0에서 MCP 지원이 가능해져, MCP 데이터 플레인을 고객 자체 Kubernetes 클러스터 안에서 실행할 수 있게 되었다. MCP 요청 트래픽은 요청 시점에 클러스터 밖의 Google Cloud로 전송되지 않는다. 설정은 클러스터 측이 컨트롤 플레인에서 주기적으로 가져오는 방식이다. MCP는 기본적으로 비활성화된 선택 기능이며, overrides.yaml에 enableMcpServer: true를 설정해 활성화한다.

10월 18일일
  1. NVIDIA Blog40

    NVIDIA RTX Spark 탑재 Windows PC 출시, ASUS·Dell·HP·Lenovo·Microsoft·MSI 제품

    NVIDIA RTX Spark를 탑재한 Windows PC 노트북 제품이 출시됐다. ASUS, Dell, HP, Lenovo, Microsoft, MSI의 노트북이 2,399달러부터 판매되며, NVIDIA Blackwell RTX GPU와 NVIDIA Grace CPU를 결합한 단일 슈퍼칩으로 최대 1 petaflop의 AI 연산 성능과 최대 128GB의 통합 메모리를 갖췄다. 앞으로 더 많은 시스템이 나올 예정이다.

10월 17일토
  1. AWS Machine Learning Blog49

    Reflection Beam 출시, AWS에서 제공되는 에이전트형 코딩용 오픈 웨이트 모델

    Reflection AI가 에이전트형 코딩과 장기 작업을 위한 오픈 웨이트 모델 Beam을 공개했다. 총 파라미터 501B, 활성 파라미터 23B의 희소 MoE(Mixture of Experts) 구조이며, 회사 측은 실효 컨텍스트 길이가 1M 토큰이라고 밝혔다. 가중치는 Apache 2.0 라이선스로 Hugging Face에서 제공되며, 발표 시점에는 Amazon SageMaker JumpStart의 미국 동부(버지니아 북부, 오하이오) 리전에서 이용할 수 있다.

10월 16일금
  1. NVIDIA28

    아이디어는 이를 검증할 연산 능력이 없으면 다음 단계로 나아갈 수 없다. Wallenberg Investments의 Marcus Wallenberg, Spotify의 Fredrik Eldsjål(@eldsjal), Sferical AI의 Jenny Nordlöwl과 함께 Jensen Huang이 NVIDIA 기반 공유 AI 슈퍼컴퓨터 'Sferical One'의 가동 시작을 축하했다. 연구자와 기업이 아이디어를 돌파구로 바꿀 수 있도록 연산 능력을 더 제공한다. 🇸🇪

10월 15일목
  1. NVIDIA Blog42

    NVIDIA, 유럽 과학계를 위해 공개 학습 자료·협업·컴퓨팅 자원 제공 확대

    NVIDIA는 유럽연합 집행위원회가 더블린에서 시작한 AI in Science Enablers Initiative에 참여해 유럽 연구자들을 위한 오픈 모델, 학습 자료, 컴퓨팅 자원 접근을 넓힌다고 발표했다. 현재 250개 이상의 오픈 모델과 250개의 오픈 데이터셋을 공개하고 있으며, NVIDIA Deep Learning Institute는 무료 오픈소스 교육 자료 허브를 열었다. 유럽에서는 35대의 슈퍼컴퓨터가 개발 중이며, 300만 명이 넘는 연구자가 이를 이용할 수 있게 된다.

  2. NVIDIA Blog40

    NVIDIA와 북유럽, 지역 차원에서 추진하는 첨단 컴퓨팅 프로젝트

    북유럽에서는 NVIDIA의 인프라와 Nemotron 오픈 모델을 중심으로 AI의 실용화가 진행되고 있다. 스웨덴에서는 Ericsson, AstraZeneca, Saab 등으로 구성된 컨소시엄이 DGX GB300 시스템 16랙과 1,152개의 GPU를 갖춘 공유 슈퍼컴퓨터 Sferical One을 출범시켰다. AI 클라우드 용량은 2027년 말까지 지역 전체에서 1기가와트에 이를 것으로 예상된다.

  3. Apple Machine Learning Research50

    MLX와 RDMA로 Mac Studio에서 대규모 LLM을 로컬·분산 추론

    Apple Machine Learning Research는 MLX와 RDMA over Thunderbolt를 활용해 Mac Studio 4대로 816B 파라미터의 Muse Spark Open을 초당 36토큰 이상으로 생성할 수 있음을 보였다고 밝혔다. M5 Ultra는 M3 Ultra 대비 TTFT가 최대 4.6배, 토큰 생성 속도가 1.6배 빠르다. Qwen 3.8 27B와 Mistral Medium 3.5 128B는 512GB 메모리를 탑재한 Mac Studio 단독으로 동작한다.

  4. AWS Machine Learning Blog40

    Amazon Bedrock AgentCore로 자기 개선형 문서 처리를 구축하는 방법

    Amazon Bedrock AgentCore와 Strands Agents를 활용해 양식 문서의 분류, 추출, 검증, 학습을 최소한의 사람 개입으로 수행하는 에이전트형 IDP 시스템 구축 방법을 설명합니다. 8개의 전문 에이전트가 식별, 학습, 자동화라는 두 개의 그래프 기반 워크플로에서 협업하며, 새로운 문서 형식에 대해서는 추출 지침을 생성해 이후 재사용합니다. 대부분의 경우 20분 미만으로 배포할 수 있으며, 수동 템플릿 설정은 필요하지 않습니다.

10월 14일수
  1. AWS Machine Learning Blog38

    Amazon Bedrock AgentCore로 프레젠테이션 자료 자동 생성하기

    Amazon Bedrock AgentCore의 runtime 위에 Strands Agents 프레임워크로 슈퍼바이저 에이전트를 구축해, 사내 문서로부터 PowerPoint 자료를 생성하는 구조를 설명한다. 사내 테스트에서는 90초 미만에 완료되었다고 한다. 콘텐츠 생성에는 Claude Sonnet 4.6, 벡터 검색에는 Amazon Titan Text Embeddings v2, 슬라이드 이미지에는 Stability AI Stable Image Inpaint를 사용하며, 코드는 공개 리포지토리에서 제공된다.

  2. AWS Machine Learning Blog33

    Tamnoon이 Amazon Bedrock으로 에이전트형 클라우드 보안 자동 복구 시스템 'Tami'를 구축한 방법

    Tamnoon은 Amazon Bedrock 기반으로 에이전트형 클라우드 복구 오케스트레이터 'Tami'를 구축했다. CNAPP 등의 탐지 결과를 자율적으로 조사해 복구의 안전성을 평가하고, 가드레일을 적용한 상태에서 수정 사항을 생성한다. 이 방식으로 90일 동안 심각한 클라우드 노출을 90% 넘게 줄였으며, 운영 환경에서 발생한 문제는 없었다.

  3. AWS Machine Learning Blog31

    Amazon SageMaker JumpStart에서 모델을 배포하고 평가하는 방법

    Amazon SageMaker JumpStart의 모델을 배포하고, SageMaker Python SDK로 가볍고 재현 가능한 성능 테스트를 실행한 뒤, 종료 후 엔드포인트를 삭제하는 절차를 설명합니다. 스크립트는 모델 탐색 및 배포, 지연 시간과 출력량, 단일 요청 생성 속도 측정, 정리의 세 단계로 구성됩니다. 여러 호환 모델에 사용할 수 있지만, 페이로드 형식, 인스턴스 타입, EULA, 응답 파싱은 모델마다 조정이 필요한 경우가 있습니다.

  4. NVIDIA Blog32

    유럽 도시, NVIDIA 기반 AI 에이전트 도입으로 도시 운영 고도화

    EMEA 지역의 도시와 소프트웨어 파트너들이 NVIDIA 가속 컴퓨팅으로 물리 AI 에이전트와 디지털 트윈을 구축해 도시 운영에 활용하고 있다. 프랑스 Côte-d’Or 도(県)에서는 500개 이상의 공공 건물에서 에이전트가 가동되고 있으며, 문서 검색 시간이 수 주에서 몇 분으로 줄었고 총운영비는 10% 절감됐다. Cosmos, Nemotron, Omniverse 등을 사용하는 이 프로젝트는 영국, 이탈리아, 벨기에, 스웨덴 등으로 확산되고 있다.

  5. Claude Blog55

    Claude Platform, Managed Agents 및 Messages API에서 OpenTelemetry 트레이스 전송 가능해져

    Anthropic은 Claude Platform의 Claude Managed Agents, Messages API, Claude SDKs에서 OpenTelemetry(OTel) 트레이스를 원하는 OTel 도구로 전송할 수 있도록 했다고 밝혔다. 퍼블릭 베타로 제공되며, Managed Agents와 Messages API는 Claude Console에서 전송 대상을 추가해야 하고, Claude SDKs는 자동으로 내보낸다.

  6. Anthropic47

    Engineering blog 신규 게시: 사내용 소스 코드 관리 구축 5월에는 하루 약 2,500건의 코드 변경을 병합하고 있었습니다. 9월에는 하루 3만 건 이상을 병합하고 있습니다. 그 결과 에이전트가 아닌 사람의 규모를 전제로 만들어진 개발자용 인프라가 병목이 되었습니다. 여기서는 새로운 버전 관리 시스템을 구축하고, 5개월 만에 모노레포를 git에서 완전히 이전한 경위를 소개합니다. https://www.anthropic.com/engineering/redesigning-source-control

  7. AWS Machine Learning Blog33

    ShipStation Global, Amazon Bedrock AgentCore로 AI IT 헬프데스크를 구축한 방법

    ShipStation Global은 Amazon Bedrock AgentCore 위에 Slack용 AI IT 헬프데스크 에이전트 「Deckhand」를 구축해 채널에 들어오는 문의의 97.5%를 해결했다고 밝혔다. 직원들의 긍정적 평가는 96%다. Deckhand는 지식 베이스를 바탕으로 정형화된 IT 및 사내 질문에 답변하고, 오류 메시지 스크린샷을 판독하며, Jira Service Management 티켓을 생성·업데이트한다.

  8. AWS Machine Learning Blog38

    Amazon Bedrock에서 Grok 4.7로 장기 작업형 에이전트 구축

    AWS는 Amazon Bedrock의 Grok 4.7로 도구 호출 에이전트를 구축하고, 추론 노력 수준별로 검색형 작업에서 평가했다고 밝혔다. 세 가지 작업, 총 72회 실행에서 67회 정답을 맞혔으며, xhigh는 18회 모두 정답, low는 18회 중 15회 정답이었고 출력 토큰은 약 8분의 1이었다. Grok 4.7은 크로스 리전 추론 프로파일을 통해 이용할 수 있으며, SpaceXAI가 공개한 컨텍스트 윈도우는 500K 토큰이다.

10월 13일화
  1. Mistral AI35

    하늘을 올려다보자! Mistral의 모델이 궤도 위에 🌍. @NVIDIAAIInfra, @orbitworksspace, @LoftOrbital와 함께 세계 최초의 AI 위성 군집에 참여하게 되어 자랑스럽다.

    인용Loft@LoftOrbital

    Just a few weeks ago, @orbitworksspace launched Altair, the first of a 50-satellite AI constellation that will enable users to receive AI-generated alerts within minutes. @NVIDIAAIInfra solutions is making this possible, supporting models like Mistral’s Ministral 3 to deliver fast, reliable answers for users' critical questions. Read more: https://lnkd.in/gGYA9hpD #SpaceMadeSimple #AIInfrastructure #AIforSpace

  2. AWS Machine Learning Blog32

    llama.cpp로 의사결정 모델을 Amazon SageMaker AI에 배포하기

    llama.cpp의 AWS DLC와 SemIf용 하위 이미지를 사용해, 선언된 선택지별 확률을 반환하는 의사결정 모델을 SageMaker AI에 배포하는 방법을 소개한다. JevBench의 231개 작업으로 검증한 결과, Qwen3.5-4B(Q4_K_M)의 정답률은 CPU 구성이 77.5%, GPU 구성이 77.9%였다. p50 지연 시간은 GPU 구성의 0.352초가 CPU 구성의 1.715초보다 4.9배 빠르다.

  3. AWS Machine Learning Blog42

    Ray LLM Deep Learning Containers로 멀티노드 추론 실행

    AWS는 Amazon EKS의 GPU 노드 2대에 대규모 언어 모델 하나를 배포하고, prefill과 decode를 서로 다른 노드로 나눠 OpenAI 호환 엔드포인트 뒤에서 구동하는 방법을 설명했다. prefill을 담당하는 노드가 긴 프롬프트를 처리하고 decode를 담당하는 노드가 토큰을 생성함으로써, 계산 부하가 큰 prefill이 토큰 생성을 지연시키는 것을 막는다.

  4. NVIDIA Blog35

    NVIDIA, OCP Global Summit에서 Vera Rubin 아키텍처 공개… AI 팩토리 확대에 박차

    NVIDIA는 OCP Global Summit에서 Vera Rubin 랙과 컴퓨트 트레이 설계를 개방형 NVIDIA MGX 아키텍처를 통해 OCP에 기증했다고 밝혔다. MGX 1.2 사양은 수냉식 5,000A 버스바와 19인치 장비 지원을 추가했으며, 랙 배포 용량을 최대 250kW까지 지원한다. 아울러 DSX AI Factory용 Config Manager, Cluster Readiness Engine 등 오픈소스 컴포넌트도 함께 공개됐다.

10월 12일월
10월 9일금
  1. OpenAI News43

    Asana, GPT-6.1 Sol 브라우저 테스트에서 모델 비용 76배 절감

    Asana는 Codex에서 GPT-6 Astra를 활용해 브라우저 에이전트 워크플로를 최적화했으며, 테스트에서 GPT-6.1 Sol의 프로덕션 구성보다 76배 저렴하고 5배 빠르게 실행되도록 만들었다고 밝혔다. 144회 검증에서 최적화된 워크플로의 추정 모델 비용은 1회 평균 0.47달러, 실행 시간은 약 4분이었다. GPT-6 Astra는 에이전트의 기록이 계속 늘어나는데도 캐시되지 않은 채 매번 전액을 다시 전송하고 있었다는 점을 찾아냈다.

  2. AWS Machine Learning Blog45

    BlockRun과 Incarna, Amazon Bedrock AgentCore payments로 AI 에이전트의 추론 건별 결제를 구현한 방법

    Incarna는 Amazon Bedrock AgentCore payments를 활용해 에이전트가 BlockRun의 모델 추론을 요청할 때마다 대금을 지불하는 구조를 실서비스 환경에 도입했다. BlockRun은 x402를 통해 15개 이상의 프로바이더가 제공하는 90개 이상의 모델을 제공하는 종량제 추론 라우터다. 결제는 Base 네트워크의 USDC로 이루어지며, 지출 한도는 모델이 아닌 인프라 계층에서 강제된다.

10월 8일목
  1. NVIDIA Blog51

    NVIDIA·Microsoft, Windows에서 AI 에이전트를 구동하는 RTX Spark 등 발표

    NVIDIA와 Microsoft는 샌프란시스코에서 열린 행사에서 Windows에서 AI 에이전트를 구동하기 위한 하드웨어와 소프트웨어를 공동 개발했다고 발표했다. RTX Spark를 탑재한 노트북 PC는 사전 주문 접수를 시작했으며 10월 16일(금)에 출시된다. 소형 데스크톱은 11월 출시 예정이다.

10월 7일수
10월 6일화
10월 5일월
  1. NVIDIA Blog27

    NVIDIA Inception 기업, AI로 유방암 진료의 검사부터 치료 계획까지 공백 메운다

    NVIDIA Inception의 신생 기업들이 유방암 진료의 검사에서 치료 예측에 이르는 각 단계를 AI로 지원하고 있다. iSono Health의 웨어러블형 3D 초음파 시스템 ATUSA는 한쪽 유방을 약 2분 만에 촬영할 수 있으며, 회사에 따르면 손으로 잡는 2D 초음파보다 감도가 28% 높다고 한다. 미국의 제휴 클리닉에서 상용 제공되고 있다. Ataraxis AI는 일반 병리 슬라이드 등 디지털 데이터로부터 치료 반응과 재발 위험을 예측하는 AI를 개발하고 있다.