본문 바로가기

#오픈소스 생태계

오늘 2건
10월 21일수
  1. Mistral AI News35

    Mistral, NVIDIA와 엔지니어링용 AI 확대

    Mistral과 NVIDIA는 Mistral의 모델을 NVIDIA의 가속 컴퓨팅 및 물리 모델링 도구에 통합해, 시뮬레이션과 AI 설계를 폐루프로 연결하는 엔지니어링 워크플로를 개발하고 있다고 밝혔다. 두 회사는 CAE 및 EDA 분야에서 물리 AI와 에이전트형 AI를 평가하기 위한 공개 벤치마크와 오픈 데이터셋도 마련한다. Mistral은 총 파라미터 약 1조 개, 활성 파라미터 490억 개의 멀티모달 모델 'Mistral Large 4'의 공개 프리뷰를 발표했으며, 가중치는 10월 말 공개될 예정이라고 전했다.

  2. NVIDIA Blog45

    유럽 산업 대기업, NVIDIA로 설계·제조 혁신

    유럽 산업 기업들이 설계부터 제조까지 전 생애주기에 걸쳐 NVIDIA CUDA-X, Omniverse, Cosmos, Nemotron을 활용하고 있다. 공장용 「NVIDIA Factory Operations Blueprint(FOX)」는 GitHub에서 얼리 액세스로 제공되며, 개발자는 이를 이용해 공장 관리 에이전트 등을 구축할 수 있다. Siemens는 자사의 Intelligence Center X에 탑재한 에이전트를 통해 20%의 비용 절감 효과를 기대하고 있다.

  3. NVIDIA Blog42

    NVIDIA 클라우드 파트너, 유럽에서 AI 컴퓨팅 기반 확대… 주권성·개방성·안전한 에이전트 대응 중시

    NVIDIA의 클라우드 파트너들이 유럽, 북유럽, 아프리카, 중앙아시아에서 지역 AI 클라우드의 연산 능력을 확대하고 있다. Nscale은 GB300 NVL72 시스템에서 진행한 테스트에서 NVIDIA DSX MaxLPS를 적용하면 같은 공급 전력 안에서 GPU를 37% 더 많이 쓸 수 있고, 집계 추론 처리량은 거의 50% 향상됐다고 밝혔다. CodeRabbit은 Baseten이 개발한 Nemotron 3.5 Lightning 기반 코드 리뷰용 라우팅 모델로, 라우팅 일치율을 75.8%에서 80.7%로 높이고 추정 추론 비용을 50% 줄였다고 밝혔다.

  4. 카카오 보도자료42

    카카오, 비전 인코더 ‘Kanana-2-vision-encoder’ 오픈소스 공개

    카카오가 자체 개발한 비전 인코더 ‘Kanana-2-vision-encoder’ 2종을 허깅페이스에 오픈소스로 공개했다. 4억 2,600만 파라미터의 ‘medium’과 9,800만 파라미터의 ‘tiny’로, 9개 평가 영역 총 42개 벤치마크에서 SigLIP 2, Perception Encoder, AIMv2, Qwen3.5-ViT 등 글로벌 비전 인코더를 상회하는 성능을 기록했다고 밝혔다. 두 모델은 상업적 활용이 가능한 ‘카나나 오픈 라이선스’로 제공된다.

  5. AWS Machine Learning Blog38

    Amazon SageMaker HyperPod에서 GPT-OSS-20B를 다국어 추론용으로 파인튜닝

    AWS는 Amazon SageMaker HyperPod에서 SFT와 GRPO를 활용해 GPT-OSS-20B를 다국어 추론용으로 파인튜닝하는 절차를 공개했다. 베이스 모델은 50개 테스트에서 지정 언어로 추론한 비율이 22%에 그쳤으며, 영어는 100%였던 반면 프랑스어·스페인어·이탈리아어는 0%였다. AWS는 개선의 대부분은 SFT가 담당했고, GRPO는 개선 여지가 있는 경우에 추가 효과를 보였다고 밝혔다.

  6. Hugging Face Blog62

    Hugging Face, 네이티브 PyTorch 백엔드 TorchTPU로 Transformers와 Diffusers를 TPU 지원

    Hugging Face는 네이티브 PyTorch 백엔드 TorchTPU를 통해 Transformers, Diffusers, Kernels가 TPU에서 그대로 동작한다고 발표했다. `device_map="tpu"`나 `pipe.to("tpu")`를 지정하기만 하면 사용할 수 있으며, `pip install torch-tpu --extra-index-url https://download.pytorch.org/whl/cpu`로 설치할 수 있다.

    선정 이유: TPU를 장치 지정만으로 사용하는 절차와 배치 64에서의 가속 수치, CI 통과율을 함께 제시하고 있어 도입 가능 여부를 판단하기 쉽다.

  7. GitHub Blog: AI & ML38

    Java Champion 3명이 GitHub Copilot으로 생산성을 높이는 방법

    Java Champion 3명이 GitHub Copilot을 실무와 OSS 개발에서 어떻게 활용해 AI 생성물을 믿을 수 있는 소프트웨어로 만들고 있는지 소개했다. Vlad Mihalcea는 Hypersistence Optimizer의 이벤트 이력을 보여주는 웹 앱을 원래 수 주가 걸릴 것으로 예상했던 작업을 2일 만에 구현했다고 밝혔다. 또한 복잡한 작업에는 100만 컨텍스트 윈도우와 Extra High 또는 Max 추론 설정으로 Opus를 사용하고, 보고서 작성 등에는 경량 모델을 구분해 쓰고 있다고 전했다.

  8. Google Developers Blog62

    Google, TPU용 PyTorch 네이티브 vLLM·SGLang 추론 엔진 발표

    Google가 PyTorch를 TPU에서 네이티브로 실행하는 TorchTPU를 기반으로 vLLM-TorchTPU와 SGLang-TorchTPU 두 가지 추론 엔진을 발표했다. Qwen 3.5를 Ironwood TPU(TPU 7x)에서 돌린 공개 벤치마크에서는 고동시성 구성 기준 백만 토큰당 2.01센트를 기록했다고 밝혔다. vLLM은 Inferact, SGLang은 RadixArk와 공동 개발했으며, GitHub에서 공개되어 있다.

    선정 이유: TPU에서 PyTorch 네이티브로 vLLM과 SGLang을 구동하는 구성과 지원 기능, 공개된 벤치마크 수치가 정리되어 있어 추론 기반 선택을 위한 비교 자료로 활용할 수 있다.

10월 20일화
  1. Google Developers Blog52

    Google, Coral NPU의 32비트 아키텍처 완성하고 Coral Compiler v1.0 공개

    Google는 Coral NPU의 32비트 아키텍처(Milestone 1~4)를 완성하고, IREE/MLIR 기반의 Coral Compiler v1.0을 공개했다. 새로운 Matrix Execution Unit은 최대 1 TOPS로 설정할 수 있으며, 추론 시 평균 소비 전력 10mW를 목표로 한다. Synaptics Astra SR200 시리즈(400 GOPS)와 DigiKey에서 일반 판매되는 Coralboard SL(1 TOPS)도 발표됐다.

  2. AWS Machine Learning Blog34

    Amazon SageMaker JumpStart, 2026년 1~9월 모델 추가 돌아보기

    Amazon SageMaker JumpStart는 2026년 1~9월에 30개 프로바이더의 100개가 넘는 신규 모델을 추가했다. 가장 많은 것은 Alibaba(Qwen)의 29개 모델이며, 이어서 NVIDIA가 17개, Mistral이 7개, Google이 6개 모델을 추가했다. 추론, 멀티모달, 양자화 모델 등 폭넓은 모델을 포함하며, 원클릭 배포를 지원한다.

  3. NVIDIA Blog28

    NVIDIA, 유럽 공영방송용 주권형 에이전트 기반 확충

    NVIDIA는 유럽방송연맹(EBU)과 협업해 유럽 공영방송국을 위한 주권형 프레임워크를 확충한다고 밝혔다. 주권형 클라우드 사업자와 오픈 모델 개발 기업 등을 새로 참여시키고, 방송국이 데이터와 모델을 직접 관리하면서 에이전트를 도입할 수 있도록 참조 아키텍처를 정했다. Adobe Frame.io는 NVIDIA GPU로 동영상 검색을 가속해 임베딩 생성 속도가 약 5배, 처리량은 최대 4배 향상됐다고 전했다.

10월 19일월
  1. xAI News47

    xAI, SuperGrok·X Premium 구독으로 OpenClaw에서 Grok 이용 가능해져

    xAI는 SuperGrok 또는 X Premium 구독을 이용해 오픈소스 로컬 우선(local-first) AI 에이전트 「OpenClaw」 안에서 Grok 모델을 사용할 수 있도록 했다고 밝혔다. 이 연결은 모든 요금제에서 이용할 수 있다고 한다. OpenClaw는 Mac Mini, 노트북, 서버, VPS, Raspberry Pi 등 다양한 하드웨어에서 동작하며, 세션을 넘나드는 영구 메모리를 유지한다.

  2. xAI News42

    Kilo Code에서 Grok 사용 가능, SuperGrok 및 X Premium+ 구독으로 추가 API 키 불필요

    xAI의 Grok 구독(SuperGrok 또는 X Premium+)을 오픈소스 에이전트형 코딩 플랫폼 Kilo Code에서 바로 사용할 수 있게 됐다. 연결하면 Grok Build를 포함한 최신 Grok 모델을 별도의 API 키 없이 쓸 수 있다. VS Code, JetBrains IDE, 터미널(CLI)을 지원하며, VS Code에서는 설정의 Providers 탭에서 xAI Grok OAuth(SuperGrok Subscription)를 선택해 로그인하면 된다.

  3. xAI News44

    Grok 4.6, Gemini Enterprise Agent Platform에서 이용 가능

    xAI의 Grok 4.6이 Gemini Enterprise Agent Platform의 Model Garden에서 이용할 수 있게 됐다. Grok 4.6은 장시간 실행되는 에이전트와 대화형·시각적 작업을 위한 플래그십 모델로, 500k 컨텍스트 윈도우를 갖추고 있으며 추론 수준을 low, medium, high, xhigh 중에서 설정할 수 있다. 요금은 입력이 100만 토큰당 2달러, 캐시 입력이 같은 기준 0.50달러, 출력이 같은 기준 6달러다.

  4. Microsoft AI (MAI) News35

    Microsoft AI, 인간 중심 초지능(HSI) 실현을 향해

    Microsoft AI는 항상 인간을 위해 일하는 '인간 중심 초지능(HSI)'의 실현을 목표로 한다고 밝혔다. 문제 중심이고 분야 특화된, 제약 속에서 신중하게 조정된 AI를 상정하며, 자율적이고 무제한적인 존재와는 구별한다고 설명했다. MAI Superintelligence Team을 설립했으며, AGI 경쟁론이나 붐이냐 파멸이냐는 이분법적 논리는 배격한다는 입장이다.

  5. Google Developers Blog46

    클라이언트 SDK 생성은 왜 오픈되어야 하는가: Google GenAI SDK 사례에서

    Google과 Speakeasy가 OpenAPI 클라이언트 생성 스위트를 AGPLv3 라이선스로 오픈소스화한다. 배경에는 2026년 5월 Google이 이용하던 SDK 생성 제공업체가 인수되어 서비스 종료가 갑자기 발표된 일이 있다. 공개되는 것은 7개 언어용 SDK 생성기, 에이전트용 CLI 생성기, 그리고 OpenAPI와 Markdown 문서에서 MCP 서버를 생성하는 생성기다. Google은 이 구조를 통해 약 1명의 엔지니어가 6개 타깃을 유지보수하고 있다고 밝혔다.

  6. Google Developers Blog43

    Antigravity SDK, 로컬 AI 모델 지원 추가

    Antigravity SDK가 로컬 모델 기반 에이전트 처리를 지원하게 되었으며, Google AI Edge의 LiteRT를 이용해 Gemma 4 26B A4B를 초기 지원 모델로 사용할 수 있게 되었다. 네트워크 연결 없이도 완전 오프라인으로 동작하며, 로컬 GPU와 RAM을 효율적으로 활용한다. 하이브리드 구성 데모에서는 클라우드의 Gemini 3.8 Flash가 계획을 수립하고 로컬의 Gemma 4 26B가 처리를 담당했으며, 기록된 실행에서는 전체 토큰의 97.2%(3,322토큰)가 로컬에서 처리되었다.

  7. Google Developers Blog38

    google/adk-recipes의 전체 구조, 3계층으로 정리된 단일 리포지토리

    Google이 google/adk-samples를 재구성한 후속 리포지토리 google/adk-recipes의 구성을 해설했다. core/, plugins/, contrib/의 3개 계층으로 나뉘며, Agents CLI, Agent Garden, Gemini Enterprise app이 같은 소스 트리를 참조한다. plugins/에는 Agent Plugins v1.0.0 사양을 준수하는 스킬이, contrib/에는 5개 언어로 된 배포 가능한 서비스가 수록되어 있다.

10월 16일금
  1. AI at Meta29

    Meta의 Omnilingual ASR이 TIME의 'Best Inventions of 2026' 중 하나로 선정되었다. 1,600개 이상의 언어를 지원하는 ASR 모델 제품군으로, 기존 어떤 ASR 시스템도 지원하지 못했던 저커버리지 언어 500개를 포함한다. 대부분의 ASR은 온라인에 자료가 많은 일부 언어에 집중되어 있었으며, 이번 공개는 보편적인 전사 시스템을 향한 큰 진전으로 평가된다.

  2. Microsoft AI (MAI) News50

    Microsoft AI, MAI-Base-2 사전학습 해설

    Microsoft AI가 활성 파라미터 80B, 총 2.8T 파라미터 규모의 MoE 기반 모델 MAI-Base-2의 사전학습을 완료했다. 보류 평가에서는 테스트한 모든 오픈 웨이트 모델을 웃돌았으며, DeepSeek-V4-Pro-Base 대비 사전학습 FLOPs 효율은 4~12배다. 16k GB200 GPU로 38일간 학습했으며, 현재 사후학습 중이다. 가중치는 Foundry를 통해 신뢰할 수 있는 파트너에게 라이선스 제공할 방침이다.

  3. NVIDIA Blog60

    NVIDIA, 오픈 모델 Nemotron 3.5 Super VL과 Bolt 2종 발표

    NVIDIA는 120B 파라미터의 오픈 모델 Nemotron 3.5 Super VL과 엣지용 Nemotron 3.5 Bolt 74B-A9B 24GB, Bolt E4B 4GB를 발표했다. Super VL과 Bolt 74B-A9B는 현재 제공 중이며, Bolt E4B는 Oct. 23에 제공될 예정이다. NVIDIA는 Super VL이 같은 급의 차점 모델보다 최대 5배의 처리량을 보였다고 밝혔으며, 가중치와 데이터셋도 공개했다.

    선정 이유: 서버용과 엣지용 3개 모델을 메모리 용량 및 배포 대상과 함께 정리하고 있어, 자사 환경에 맞는 규모를 비교해 고르기 쉽다.

10월 15일목
  1. Mistral AI News47

    Mistral AI, 시계열 기반 모델 'Timestral' 공개

    Mistral AI가 시계열 기반 모델 패밀리 「Timestral」을 공개했다. 가장 큰 209M 파라미터 모델은 GIFT-Eval, TIME, fev-bench 등 3대 주요 벤치마크에서 1위를 차지했으며, 기존 최첨단 모델보다 파라미터 수를 3분의 2 적게 쓰고도 성능에서 앞섰다. 5M부터 209M까지 4가지 크기로 제공되며, 추론에 GPU는 필요하지 않다. 표준 서버 CPU(8스레드) 기준으로 하루 뒤 예측에 5M 모델은 10ms, 209M 모델은 140ms가 소요되는 것으로 알려졌다.

  2. NVIDIA Blog42

    NVIDIA, 유럽 과학계를 위해 공개 학습 자료·협업·컴퓨팅 자원 제공 확대

    NVIDIA는 유럽연합 집행위원회가 더블린에서 시작한 AI in Science Enablers Initiative에 참여해 유럽 연구자들을 위한 오픈 모델, 학습 자료, 컴퓨팅 자원 접근을 넓힌다고 발표했다. 현재 250개 이상의 오픈 모델과 250개의 오픈 데이터셋을 공개하고 있으며, NVIDIA Deep Learning Institute는 무료 오픈소스 교육 자료 허브를 열었다. 유럽에서는 35대의 슈퍼컴퓨터가 개발 중이며, 300만 명이 넘는 연구자가 이를 이용할 수 있게 된다.

  3. Hugging Face Blog41

    Apertus 1.5, 이미지·음성 이해와 사고 모드 추가

    Apertus 1.5는 Apertus 1.0의 8B 및 70B 모델을 확장한 최신 버전으로, 이미지와 음성 이해, 선택적으로 사용할 수 있는 사고 모드, 4배인 262,144토큰의 컨텍스트 윈도우를 갖췄다. 8B와 70B의 가중치는 2026년 7월 24일 Hugging Face에서 Apache 2.0 라이선스로 공개되었다. 학습 데이터는 8B 모델에 4조 토큰, 70B 모델에 2조 토큰의 지속 사전학습을 추가했으며, 합계는 각각 19T와 17T이다.

  4. NVIDIA22

    NVIDIA는 북유럽 국가들이 NVIDIA 기술을 활용해 AI를 개발하고 활용하는 사례를 소개했다. Spotify는 팟캐스트 추천을 효율화하고 있으며, ABB Robotics는 시뮬레이션 상에서 엔지니어가 로봇을 훈련하고 테스트하는 작업을 지원하고 있다. 스타트업들도 스웨덴어 문자 변환부터 특허 조사까지 오픈 모델을 다양한 업무에 맞게 적용하고 있다. GTC Berlin에 앞서 북유럽 테크 생태계를 해설하는 블로그도 공개됐다.

  5. Hugging Face Blog60

    Black Forest Labs, FLUX.3 Image Klein 공개… Diffusers에서 출시 첫날부터 사용 가능

    Black Forest Labs의 FLUX.3 Image Klein이 공개되었으며, Diffusers에서 출시 첫날부터 작동한다. 하나의 모델로 text-to-image, 여러 참조 이미지를 이용한 image-to-image, 바운딩 박스를 통한 레이아웃 제어를 지원한다. 증류 버전은 16스텝, CFG 없이 H100에서 1024 × 1024 이미지를 약 2초 만에 생성한다. NVFP4와 FP8 가중치, LoRA 학습 스크립트, Modular Diffusers 파이프라인도 함께 제공된다.

    선정 이유: 프롬프트에 bbox를 적어 배치와 이동을 지정하는 방법과 H100에서의 속도 및 메모리 실측치가 함께 제시되어 있어, 도입 부담을 가늠하기 쉽다.

10월 14일수
  1. NVIDIA42

    NVIDIA는 영국의 AI 에이전트 안전성 및 보안 연구에 5년간 2억 5천만 달러 규모의 컴퓨팅 자원을 제공한다고 발표했다. 영국에서는 기업, 의료, 은행, 공공 서비스 등에서 AI 도입이 진행되고 있으며, NVIDIA는 더 많은 컴퓨팅 성능과 오픈 모델로 이를 뒷받침하고 있다. 또한 NVIDIA는 The Earthshot Prize의 Global Alliance Founding Partner로 참여해, 기후 및 지속 가능성 과제에 도전하는 혁신가들에게 컴퓨팅 성능과 기술 전문성을 제공한다.

  2. NVIDIA Blog33

    NVIDIA, 영국 스타트업 생태계에 신규 투자 발표

    NVIDIA는 영국의 Boltz, Foresight, Hiverge, Prima Mente, Riverlane 등 5개 기업에 대한 투자 계획을 발표했다. 아울러 영국의 에이전트형 AI 안전성 및 보안 연구를 강화하기 위해 5년간 2억 5000만 달러 규모의 컴퓨팅 자원 제공을 약속했다. 또한 Earthshot Prize에는 Global Alliance Founding Partner로 참여한다.

  3. Qwen38

    @lightseekorg의 TokenSpeed가 거둔 뛰어난 성과를 축하합니다! 🚀 Qwen3.8-Flash-Next가 Nvidia GPU에서 사용자당 685 output tokens/s에 도달해 기쁩니다. 커뮤니티가 Qwen의 추론 성능을 더욱 끌어내 주시길 기대합니다!

    인용LightSeek Foundation@lightseekorg

    685 output tokens/s per user on @Alibaba_Qwen Qwen3.8-Flash-Next. Running TokenSpeed on 4× NVIDIA GB300 with NVFP4. A look at the kernel and serving optimizations behind the results: 👉 https://lightseek.org/blog/tokenspeed-qwen3-8-flash-next.html ⭐ https://github.com/lightseekorg/tokenspeed

  4. NVIDIA42

    마크롱 대통령의 인용 게시물에 따르면, NVIDIA는 프랑스 기업에 투자하고, 유럽에서 개방형 연구를 추진하는 프랑스·독일 이니셔티브를 지원한다. 양측은 개방적이고 안전하며 주권에 기여하는 AI라는 목표를 공유하고 있는 것으로 알려졌다. 🤝

    인용Emmanuel Macron@EmmanuelMacron

    Jensen Huang le sait : la France est le pays le plus attractif d’Europe pour l’intelligence artificielle, grâce à nos talents, nos infrastructures et nos entreprises qui nous permettent de rester à l’avant-garde. Depuis Choose France, notre coopération avec NVIDIA s’accélère, des startups aux grands acteurs industriels, en passant par les infrastructures de calcul et la recherche. Avec une nouvelle étape aujourd’hui : NVIDIA investit dans des entreprises françaises et s’engage à soutenir notre initiative franco-allemande pour développer la recherche ouverte en Europe. Cela a d’autant plus de valeur que nous partageons et portons la même exigence d’une intelligence artificielle ouverte, sûre et au service de notre souveraineté. Merci cher Jensen pour votre confiance et votre soutien.

  5. Hugging Face Blog39

    LiquidAI, 온디바이스용 에이전트 모델 「LFM2.5-24B-A2B」 공개

    LiquidAI는 총 파라미터 24B, 활성 파라미터 2B 규모의 추론 모델 「LFM2.5-24B-A2B」를 공개했다. 도구 호출과 다단계 작업을 지원하며, 로컬 하드웨어에서 에이전트를 지속적으로 실행할 수 있다고 한다. 에이전트 벤치마크 LiveClaw에서는 48.09점을 기록해 Qwen3.6-35B-A3B의 38.19점을 웃돌았다. 추론 속도는 Apple M5 Max에서 184 tok/s, 단일 NVIDIA B300 GPU에서 최대 21K output tok/s를 나타냈다.

10월 13일화
  1. NVIDIA Blog43

    NVIDIA RTX Spark, 글로벌 PC 앱 생태계 지원 완료

    NVIDIA는 Microsoft와 함께 10월 16일 출시되는 RTX Spark 노트북을 위해 GitHub Copilot, Perplexity 등 에이전트 앱과 Adobe, 개발 도구의 지원을 발표했다. RTX Spark는 최대 128GB의 통합 메모리와 1 petaflop의 AI 연산 성능을 갖췄다. 에이전트용 74B(활성 9B) MoE 모델 Nemotron 3.5 Bolt 74B는 10월 15일 공개된다.

  2. NVIDIA Blog35

    NVIDIA, 프랑스 스타트업에 신규 투자 발표

    NVIDIA는 Doctolib, Entalpic, Genesis AI, Pigment 등 4개 회사에 투자할 계획이라고 발표했다. 투자 대상 분야는 헬스케어, 소재 탐색, 피지컬 AI, 사업 계획이다. NVIDIA는 유럽 전역의 기술 생태계에 약 100억 달러를 투입하고 있으며, 프랑스에서는 Nemotron 오픈 모델을 활용한 소버린 AI 도입도 진행되고 있다.

  3. Perplexity24

    이는 Perplexity Projects를 뒷받침하는 파일 시스템을 에이전트용 Git forge로 구축한 방법이다. 각 에이전트는 전용 샌드박스에서 작업하고 공유 리포지토리에 커밋한다. 사람과 다른 에이전트는 세션이 바뀌어도 그 결과물을 토대로 작업을 이어갈 수 있다. 자세한 내용: https://www.perplexity.ai/hub/blog/building-shared-workspaces-for-people-and-agents

  4. AWS Machine Learning Blog32

    llama.cpp로 의사결정 모델을 Amazon SageMaker AI에 배포하기

    llama.cpp의 AWS DLC와 SemIf용 하위 이미지를 사용해, 선언된 선택지별 확률을 반환하는 의사결정 모델을 SageMaker AI에 배포하는 방법을 소개한다. JevBench의 231개 작업으로 검증한 결과, Qwen3.5-4B(Q4_K_M)의 정답률은 CPU 구성이 77.5%, GPU 구성이 77.9%였다. p50 지연 시간은 GPU 구성의 0.352초가 CPU 구성의 1.715초보다 4.9배 빠르다.

  5. AWS Machine Learning Blog42

    Ray LLM Deep Learning Containers로 멀티노드 추론 실행

    AWS는 Amazon EKS의 GPU 노드 2대에 대규모 언어 모델 하나를 배포하고, prefill과 decode를 서로 다른 노드로 나눠 OpenAI 호환 엔드포인트 뒤에서 구동하는 방법을 설명했다. prefill을 담당하는 노드가 긴 프롬프트를 처리하고 decode를 담당하는 노드가 토큰을 생성함으로써, 계산 부하가 큰 prefill이 토큰 생성을 지연시키는 것을 막는다.