본문 바로가기

#배포·인프라

오늘 12건
10월 15일목
  1. AWS Machine Learning Blog40

    Amazon Bedrock AgentCore로 자기 개선형 문서 처리를 구축하는 방법

    Amazon Bedrock AgentCore와 Strands Agents를 활용해 양식 문서의 분류, 추출, 검증, 학습을 최소한의 사람 개입으로 수행하는 에이전트형 IDP 시스템 구축 방법을 설명합니다. 8개의 전문 에이전트가 식별, 학습, 자동화라는 두 개의 그래프 기반 워크플로에서 협업하며, 새로운 문서 형식에 대해서는 추출 지침을 생성해 이후 재사용합니다. 대부분의 경우 20분 미만으로 배포할 수 있으며, 수동 템플릿 설정은 필요하지 않습니다.

10월 14일수
  1. AWS Machine Learning Blog38

    Amazon Bedrock AgentCore로 프레젠테이션 자료 자동 생성하기

    Amazon Bedrock AgentCore의 runtime 위에 Strands Agents 프레임워크로 슈퍼바이저 에이전트를 구축해, 사내 문서로부터 PowerPoint 자료를 생성하는 구조를 설명한다. 사내 테스트에서는 90초 미만에 완료되었다고 한다. 콘텐츠 생성에는 Claude Sonnet 4.6, 벡터 검색에는 Amazon Titan Text Embeddings v2, 슬라이드 이미지에는 Stability AI Stable Image Inpaint를 사용하며, 코드는 공개 리포지토리에서 제공된다.

  2. AWS Machine Learning Blog33

    Tamnoon이 Amazon Bedrock으로 에이전트형 클라우드 보안 자동 복구 시스템 'Tami'를 구축한 방법

    Tamnoon은 Amazon Bedrock 기반으로 에이전트형 클라우드 복구 오케스트레이터 'Tami'를 구축했다. CNAPP 등의 탐지 결과를 자율적으로 조사해 복구의 안전성을 평가하고, 가드레일을 적용한 상태에서 수정 사항을 생성한다. 이 방식으로 90일 동안 심각한 클라우드 노출을 90% 넘게 줄였으며, 운영 환경에서 발생한 문제는 없었다.

  3. AWS Machine Learning Blog31

    Amazon SageMaker JumpStart에서 모델을 배포하고 평가하는 방법

    Amazon SageMaker JumpStart의 모델을 배포하고, SageMaker Python SDK로 가볍고 재현 가능한 성능 테스트를 실행한 뒤, 종료 후 엔드포인트를 삭제하는 절차를 설명합니다. 스크립트는 모델 탐색 및 배포, 지연 시간과 출력량, 단일 요청 생성 속도 측정, 정리의 세 단계로 구성됩니다. 여러 호환 모델에 사용할 수 있지만, 페이로드 형식, 인스턴스 타입, EULA, 응답 파싱은 모델마다 조정이 필요한 경우가 있습니다.

  4. NVIDIA Blog32

    유럽 도시, NVIDIA 기반 AI 에이전트 도입으로 도시 운영 고도화

    EMEA 지역의 도시와 소프트웨어 파트너들이 NVIDIA 가속 컴퓨팅으로 물리 AI 에이전트와 디지털 트윈을 구축해 도시 운영에 활용하고 있다. 프랑스 Côte-d’Or 도(県)에서는 500개 이상의 공공 건물에서 에이전트가 가동되고 있으며, 문서 검색 시간이 수 주에서 몇 분으로 줄었고 총운영비는 10% 절감됐다. Cosmos, Nemotron, Omniverse 등을 사용하는 이 프로젝트는 영국, 이탈리아, 벨기에, 스웨덴 등으로 확산되고 있다.

  5. Claude Blog55

    Claude Platform, Managed Agents 및 Messages API에서 OpenTelemetry 트레이스 전송 가능해져

    Anthropic은 Claude Platform의 Claude Managed Agents, Messages API, Claude SDKs에서 OpenTelemetry(OTel) 트레이스를 원하는 OTel 도구로 전송할 수 있도록 했다고 밝혔다. 퍼블릭 베타로 제공되며, Managed Agents와 Messages API는 Claude Console에서 전송 대상을 추가해야 하고, Claude SDKs는 자동으로 내보낸다.

  6. Hugging Face Daily Papers38

    BizBench: 실무에서 장기간 에이전트를 운영할 때 드러나지 않는 과제를 검증하는 벤치마크

    BizBench는 결제 기업의 실제 업무 절차를 바탕으로, 장기간 과업을 수행하는 에이전트의 중간 실행이 타당한지 평가하는 멀티턴 방식의 벤치마크다. 프런티어 모델도 목표를 부분적으로 달성하는 데 비해 제약 위반이 많아, Claude Opus 5와 GPT-6 Sol의 엄격한 성공률은 각각 64.0%, 61.3%에 그쳤다. Qwen3.8-27B는 목표 달성률이 42.0%이지만 엄격한 성공률은 32.7%로 떨어져, 결과만 평가하면 무효한 실행이 드러나지 않음을 보여준다.

  7. Anthropic47

    Engineering blog 신규 게시: 사내용 소스 코드 관리 구축 5월에는 하루 약 2,500건의 코드 변경을 병합하고 있었습니다. 9월에는 하루 3만 건 이상을 병합하고 있습니다. 그 결과 에이전트가 아닌 사람의 규모를 전제로 만들어진 개발자용 인프라가 병목이 되었습니다. 여기서는 새로운 버전 관리 시스템을 구축하고, 5개월 만에 모노레포를 git에서 완전히 이전한 경위를 소개합니다. https://www.anthropic.com/engineering/redesigning-source-control

  8. AWS Machine Learning Blog33

    ShipStation Global, Amazon Bedrock AgentCore로 AI IT 헬프데스크를 구축한 방법

    ShipStation Global은 Amazon Bedrock AgentCore 위에 Slack용 AI IT 헬프데스크 에이전트 「Deckhand」를 구축해 채널에 들어오는 문의의 97.5%를 해결했다고 밝혔다. 직원들의 긍정적 평가는 96%다. Deckhand는 지식 베이스를 바탕으로 정형화된 IT 및 사내 질문에 답변하고, 오류 메시지 스크린샷을 판독하며, Jira Service Management 티켓을 생성·업데이트한다.

  9. AWS Machine Learning Blog38

    Amazon Bedrock에서 Grok 4.7로 장기 작업형 에이전트 구축

    AWS는 Amazon Bedrock의 Grok 4.7로 도구 호출 에이전트를 구축하고, 추론 노력 수준별로 검색형 작업에서 평가했다고 밝혔다. 세 가지 작업, 총 72회 실행에서 67회 정답을 맞혔으며, xhigh는 18회 모두 정답, low는 18회 중 15회 정답이었고 출력 토큰은 약 8분의 1이었다. Grok 4.7은 크로스 리전 추론 프로파일을 통해 이용할 수 있으며, SpaceXAI가 공개한 컨텍스트 윈도우는 500K 토큰이다.

10월 13일화
  1. Mistral AI35

    하늘을 올려다보자! Mistral의 모델이 궤도 위에 🌍. @NVIDIAAIInfra, @orbitworksspace, @LoftOrbital와 함께 세계 최초의 AI 위성 군집에 참여하게 되어 자랑스럽다.

    인용Loft@LoftOrbital

    Just a few weeks ago, @orbitworksspace launched Altair, the first of a 50-satellite AI constellation that will enable users to receive AI-generated alerts within minutes. @NVIDIAAIInfra solutions is making this possible, supporting models like Mistral’s Ministral 3 to deliver fast, reliable answers for users' critical questions. Read more: https://lnkd.in/gGYA9hpD #SpaceMadeSimple #AIInfrastructure #AIforSpace

  2. Latent Space60

    Anthropic의 Dynamic Workflows, Claude 에이전트를 조율하는 구조

    Anthropic은 AI Engineer NYC에서 Claude Managed Agents의 새 기능인 dynamic workflows(플로우)를 소개했다. Claude가 스스로 멀티 에이전트 구성을 결정하고, 오케스트레이션용 프로그램을 작성해 실행한다. 기존처럼 조정 역할과 서브 에이전트 목록을 수동으로 설정하는 방식과 달리, Claude Console에서 이용할 수 있다.

  3. Simon Willison30

    Python 3.15의 web-edit 프로파일링: 플레임 그래프와 소스 히트맵으로 분석

    편집 부하가 큰 작업을 Python 3.15의 내장 프로파일러 profiling.sampling으로 측정한 결과, 혼합된 줄바꿈 보존 처리인 preserve_endings가 15,296개의 CPU 스택 중 64.8%에 나타나 큰 비중을 차지했다. 리프 샘플에서는 SequenceMatcher.find_longest_match가 38.3%를 차지했다. 스택의 95.1%는 AnyIO 워커 스레드에서 발생했으며, 모든 스레드를 샘플링하는 것이 필수적이었다. 메인 스레드만 프로파일링했을 때는 이 부분이 누락됐다고 한다.

  4. AWS Machine Learning Blog32

    llama.cpp로 의사결정 모델을 Amazon SageMaker AI에 배포하기

    llama.cpp의 AWS DLC와 SemIf용 하위 이미지를 사용해, 선언된 선택지별 확률을 반환하는 의사결정 모델을 SageMaker AI에 배포하는 방법을 소개한다. JevBench의 231개 작업으로 검증한 결과, Qwen3.5-4B(Q4_K_M)의 정답률은 CPU 구성이 77.5%, GPU 구성이 77.9%였다. p50 지연 시간은 GPU 구성의 0.352초가 CPU 구성의 1.715초보다 4.9배 빠르다.

  5. AWS Machine Learning Blog42

    Ray LLM Deep Learning Containers로 멀티노드 추론 실행

    AWS는 Amazon EKS의 GPU 노드 2대에 대규모 언어 모델 하나를 배포하고, prefill과 decode를 서로 다른 노드로 나눠 OpenAI 호환 엔드포인트 뒤에서 구동하는 방법을 설명했다. prefill을 담당하는 노드가 긴 프롬프트를 처리하고 decode를 담당하는 노드가 토큰을 생성함으로써, 계산 부하가 큰 prefill이 토큰 생성을 지연시키는 것을 막는다.

  6. NVIDIA Blog35

    NVIDIA, OCP Global Summit에서 Vera Rubin 아키텍처 공개… AI 팩토리 확대에 박차

    NVIDIA는 OCP Global Summit에서 Vera Rubin 랙과 컴퓨트 트레이 설계를 개방형 NVIDIA MGX 아키텍처를 통해 OCP에 기증했다고 밝혔다. MGX 1.2 사양은 수냉식 5,000A 버스바와 19인치 장비 지원을 추가했으며, 랙 배포 용량을 최대 250kW까지 지원한다. 아울러 DSX AI Factory용 Config Manager, Cluster Readiness Engine 등 오픈소스 컴포넌트도 함께 공개됐다.

10월 12일월
10월 10일토
  1. Latent Space38

    Standard Bots, 산업용 로봇에서 신뢰할 수 있는 실행을 담당하는 AI를 구축하며 얻은 교훈

    Standard Bots는 산업용 로봇 팔을 위한 공유 베이스 모델을 구축하고, 고객이 시연과 파인튜닝으로 이를 적응시키는 방식을 채택하고 있다. 가장 큰 모델은 수십억 파라미터 규모이며, 학습은 클라우드에서, 추론은 현장에서 로컬로 실행한다. 회사는 시리즈 C에서 2억 달러를 조달해 기업가치 10억 달러에 이르렀다.

10월 9일금
  1. OpenAI News43

    Asana, GPT-6.1 Sol 브라우저 테스트에서 모델 비용 76배 절감

    Asana는 Codex에서 GPT-6 Astra를 활용해 브라우저 에이전트 워크플로를 최적화했으며, 테스트에서 GPT-6.1 Sol의 프로덕션 구성보다 76배 저렴하고 5배 빠르게 실행되도록 만들었다고 밝혔다. 144회 검증에서 최적화된 워크플로의 추정 모델 비용은 1회 평균 0.47달러, 실행 시간은 약 4분이었다. GPT-6 Astra는 에이전트의 기록이 계속 늘어나는데도 캐시되지 않은 채 매번 전액을 다시 전송하고 있었다는 점을 찾아냈다.

  2. AWS Machine Learning Blog45

    BlockRun과 Incarna, Amazon Bedrock AgentCore payments로 AI 에이전트의 추론 건별 결제를 구현한 방법

    Incarna는 Amazon Bedrock AgentCore payments를 활용해 에이전트가 BlockRun의 모델 추론을 요청할 때마다 대금을 지불하는 구조를 실서비스 환경에 도입했다. BlockRun은 x402를 통해 15개 이상의 프로바이더가 제공하는 90개 이상의 모델을 제공하는 종량제 추론 라우터다. 결제는 Base 네트워크의 USDC로 이루어지며, 지출 한도는 모델이 아닌 인프라 계층에서 강제된다.

10월 8일목
  1. Simon Willison61

    Claude Haiku 5.5, GPT-6 Luna와 같은 가격으로 등장…토크나이저 변경으로 실질 인상도

    Anthropic이 고속·저가 모델 Claude Haiku 5.5를 공개했다. 가격은 100,000토큰까지 입력 $0.10, 출력 $0.50으로, GPT-6 Luna와 같은 금액이다. 100,000토큰을 넘으면 $0.50, $2.50으로 오른다. Simon Willison은 새 토크나이저에서는 같은 장문 프롬프트의 토큰 수가 약 1.25배가 된다고 보고했다.

  2. NVIDIA Blog51

    NVIDIA·Microsoft, Windows에서 AI 에이전트를 구동하는 RTX Spark 등 발표

    NVIDIA와 Microsoft는 샌프란시스코에서 열린 행사에서 Windows에서 AI 에이전트를 구동하기 위한 하드웨어와 소프트웨어를 공동 개발했다고 발표했다. RTX Spark를 탑재한 노트북 PC는 사전 주문 접수를 시작했으며 10월 16일(금)에 출시된다. 소형 데스크톱은 11월 출시 예정이다.

10월 7일수
  1. Latent Space36

    Stacklok, 클라우드 네이티브 에이전트 하네스 「Mecatl」 발표

    Stacklok은 에이전트 실행 기반을 데스크톱에서 클라우드로 옮기기 위한 오픈소스 클라우드 네이티브 하네스 「Mecatl」을 개발하고 있다고 밝혔다. Mecatl은 에이전트 루프를 클라이언트, 모델 제공자, 상태 저장소, 실행 환경으로부터 분리하고, 도구 호출이나 bash 등 민감도가 높은 작업과도 격리한다. 세션 관리와 메모리 역시 디스크상의 JSONL 파일이 아니라 관리 가능한 시스템에 두는 설계다.

10월 6일화
10월 5일월
  1. NVIDIA Blog27

    NVIDIA Inception 기업, AI로 유방암 진료의 검사부터 치료 계획까지 공백 메운다

    NVIDIA Inception의 신생 기업들이 유방암 진료의 검사에서 치료 예측에 이르는 각 단계를 AI로 지원하고 있다. iSono Health의 웨어러블형 3D 초음파 시스템 ATUSA는 한쪽 유방을 약 2분 만에 촬영할 수 있으며, 회사에 따르면 손으로 잡는 2D 초음파보다 감도가 28% 높다고 한다. 미국의 제휴 클리닉에서 상용 제공되고 있다. Ataraxis AI는 일반 병리 슬라이드 등 디지털 데이터로부터 치료 반응과 재발 위험을 예측하는 AI를 개발하고 있다.

  2. Claude Platform release notes62

    Claude Platform 릴리스 노트, Claude Haiku 5.5 추가와 OpenTelemetry 출력 베타 등 게시

    Anthropic의 Claude Platform 릴리스 노트가 갱신되어 10월 7일 Claude Haiku 5.5(claude-haiku-5-5)가 공개됐다. 100만 토큰 컨텍스트 윈도우와 128k 최대 출력 토큰을 갖췄다. 10월 14일에는 OpenTelemetry 출력이 베타로 추가됐으며, Claude Sonnet 5.5의 캐시 읽기 가격은 100만 토큰당 $0.10으로 내려갔다.

    선정 이유: 모델 추가, 가격 개정, 호환성 깨지는 변경, Managed Agents의 새 기능이 날짜순으로 정리되어 있어 마이그레이션 시 확인해야 할 변경 사항을 쉽게 따라갈 수 있다.

10월 2일금
  1. NVIDIA Blog40

    NVIDIA, DGX Spark 64GB 구성 제공 시작… 로컬 AI 구축과 확장 지원

    NVIDIA의 DGX Spark 64GB 구성이 Acer, ASUS, Dell, Gigabyte, HP, MSI를 통해 10월 23일 출시되며, 가격은 4,999달러부터다. 128GB 모델과 동일한 GB10 Grace Blackwell Superchip을 탑재해 최대 1,000억 개 파라미터 모델을 기기에서 직접 실행할 수 있다. 두 대를 클러스터로 연결하면 메모리가 128GB로 확장되어 최대 2,000억 개 파라미터까지 지원한다.

9월 30일수
  1. Qwen38

    Qwen3.8-27B가 @nebiustf를 통해 이용 가능해졌다. 에이전트 구축이든 딥 리서치든, 이 27B dense 모델은 다단계 워크플로에 대응할 수 있다. 🥳

    인용Nebius Token Factory@nebiustf

    Qwen3.8-27B is now live on Nebius Token Factory. A compact 27B dense model for coding, research, and agent workflows, with a focus on planning and completing tasks across multiple steps. Start building: https://tokenfactory.nebius.com/endpoints?modals=endpoint-details&model-id=Qwen/Qwen3.8-27B

  2. Claude Platform release notes62

    Claude Platform 릴리스 노트, Claude Haiku 5.5·Sonnet 5.5·Opus 5.5 등 업데이트 게재

    Anthropic의 Claude Platform 릴리스 노트는 Claude API, 클라이언트 SDK, Claude Console의 변경 사항을 최신순으로 정리하고 있다. Claude Opus 5.5, Sonnet 5.5, Haiku 5.5의 제공 시작을 비롯해 요금, Managed Agents, Compliance API 관련 업데이트도 포함된다.

    선정 이유: 모델 추가, 요금 개정, 호환성을 깨는 변경, 지원 종료 예정 항목이 날짜순으로 정리되어 있어 API 이전 시 확인해야 할 사항을 한눈에 파악하기 좋다.

9월 28일월
  1. Claude Platform release notes62

    Anthropic, Claude Sonnet 5.5(claude-sonnet-5-5) 공개

    Anthropic이 Claude Sonnet 5.5(claude-sonnet-5-5)를 공개했다. Claude API, Amazon Bedrock, Google Cloud, Microsoft Foundry 등에서 이용할 수 있으며, Claude Sonnet 5용 코드는 5개 지점에서 작동하지 않을 가능성이 있다.

    선정 이유: Claude Sonnet 5에서 이전할 때 깨질 수 있는 5개 지점이 구체적으로 나열되어 있어, 기존 코드의 영향 범위를 확인하는 실마리가 된다.

9월 24일목
  1. GitHub Blog: AI & ML42

    GitHub Copilot 앱에서 거대한 풀 리퀘스트를 렌더링하는 방식

    GitHub Copilot 앱의 풀 리퀘스트 화면을 새로 만들어, 2,200개 파일, 100만 줄 이상의 변경, 400개 이상의 인라인 리뷰 댓글을 가진 거대한 풀 리퀘스트도 빠르게 렌더링할 수 있도록 했다. 댓글은 렌더링하기 전까지 높이를 알 수 없으므로, 코드 줄의 높이를 확정하는 방식과 댓글 등 동적 블록의 높이를 따로 다루는 방식의 두 가지 레이아웃 구성을 채택했다.

  2. Google DeepMind Blog38

    Google, Private AI Compute에 기기 간 유지되는 서버 측 메모리 추가

    Google은 Private AI Compute 플랫폼에 기기를 넘나들며 유지되는 서버 측 비공개 메모리를 추가한다고 발표했다. 메모리는 암호화된 전용 스토리지에 저장되며, 복호화 키는 사용자의 기기만 보관하기 때문에 Google을 포함한 제3자도 데이터에 접근할 수 없다고 밝혔다. 또한 서버 소프트웨어의 변조 방지 공개 기록과 제3자 사이버보안 기업의 감사 결과도 공개할 예정이다.

  3. Google DeepMind Blog57

    Google DeepMind、Gemini 3.8 Flash TTS와 Flash-Lite TTS 발표

    Google DeepMind는 음성 생성 모델 Gemini 3.8 Flash TTS와 Gemini 3.8 Flash-Lite TTS를 발표했다. Flash TTS는 자연어 프롬프트로 목소리를 새로 만들고 줄 단위 연기 지시를 지원하며, Flash-Lite TTS는 대량 처리와 비용 효율에 특화되어 있다. 두 모델은 오늘부터 Gemini API와 Google AI Studio에서 제공되고 있다.