본문 바로가기

#튜토리얼

오늘 2건
오늘11월 5일목
  1. AWS Machine Learning Blog38

    Amazon Bedrock AgentCore Evaluations에서 결정 모델을 사용하는 방법

    Amazon Bedrock AgentCore Evaluations의 코드 기반 evaluator에 TypeSafe의 호스팅 결정 모델 Jev와, 직접 구동하는 오픈소스 결정 모델 Strands Decider 2B를 연결하는 방법을 소개한다. 결정 모델은 고정된 선택지에 대해 보정된 확률을 반환하는 소형 특화 모델로, 예/아니요 질문, 최대 255개 선택지 중 고르기, 2~10단계 점수 매기기의 세 가지 유형을 지원한다. 내장 evaluator 앞단에서 합격 여부를 걸러내는 스크리닝 용도로 활용할 수 있다.

  2. AWS Machine Learning Blog44

    Deep Insight로 살펴보는 프로덕션 AI 에이전트의 컨텍스트 엔지니어링 4계층 구현

    AWS Machine Learning Blog는 프로덕션 AI 에이전트를 위한 컨텍스트 엔지니어링 4계층을 오픈소스 멀티 에이전트 데이터 분석 솔루션 'Deep Insight'의 구현 코드와 함께 해설했다(Part 2). 단일 쓰기·실행 도구로 스크립트가 컨텍스트에 추가하는 토큰을 약 95% 줄였고, 스킬을 필요할 때만 읽어 들이도록 하여 시스템 프롬프트를 약 97% 축소했다. Deep Insight는 Strands Agents SDK와 Amazon Bedrock AgentCore 위에 구축되어 있다.

11월 4일수
  1. Google DeepMind Blog40

    Google Antigravity를 활용한 에이전트형 케모인포매틱스

    Google Antigravity에 새로운 Cheminformatics Skills를 도입하면 에이전트가 폐암 치료제의 실제 사례를 바탕으로 수천 개의 화합물을 검색하고, 매치드 분자 쌍 분석을 수행해 합성 경로가 포함된 새로운 강직화 매크로사이클을 약 1시간 만에 제안할 수 있다고 한다. 분자 계산은 RDKit 등 결정론적 도구가 담당하며, 언어 모델은 워크플로 전체를 총괄하고 ChEMBL, PubChem 등 데이터베이스 탐색을 맡는다. 매크로사이클인 lorlatinib은 회전 가능한 결합이 적고 효력이 높은 경향이 있는 것으로 나타났다고 밝혔다.

  2. AWS Machine Learning Blog40

    EDB Postgres AI와 Amazon Bedrock AgentCore로 에이전트 AI용 시맨틱 레이어 구축

    EDB Postgres AI는 Postgres 내부의 AIDB 확장으로 시맨틱 레이어(SemKB)를 구현하며, 업무 정의는 COMMENT 문으로, 조인 관계는 외래 키로, 접근 제어는 GRANT와 행 수준 보안(RLS)으로 관리한다. 이 글에서는 Amazon Bedrock AgentCore 위에서 동작하는 Strands Agents 에이전트가 이 레이어를 거쳐 고객 360(C360) 질문에 답하는 구성을 보여준다. MCP 엔드포인트는 Application Load Balancer를 통해 AgentCore Gateway에 등록된다.

  3. AWS Machine Learning Blog26

    Gen Digital, Amazon Bedrock AgentCore Web Search로 Norton Revamp의 AI 큐레이션 뉴스 엔진 구축

    Gen Digital은 전문직 대상 평판 관리 플랫폼 「Norton Revamp」의 AI 큐레이션 뉴스 엔진을 Amazon Bedrock AgentCore Web Search를 사용해 구축했다고 밝혔다. AgentCore Web Search는 완전 관리형 서비스이며 AWS 환경 안에서 완결되고, 인용 원본 URL과 공개일을 반환하므로 콘텐츠 제안을 최신 출처가 명시된 정보에 기반하게 할 수 있다. 뉴스 엔진에서는 Amazon Nova Lite가 순위가 매겨진 검색 결과를 바탕으로 게시물 초안을 생성한다.

  4. AWS Machine Learning Blog38

    Bedrock AgentCore Gateway에서 ServiceNow로의 on-behalf-of 토큰 교환 구성

    Amazon Bedrock AgentCore Gateway는 Microsoft Entra ID와의 on-behalf-of(OBO) 토큰 교환을 통해 AI 에이전트가 사용자의 신원을 유지한 채 ServiceNow REST API를 호출할 수 있게 한다. 토큰 교환은 게이트웨이의 타겟에 설정되며, AgentCore Gateway가 각 요청마다 실행한다. 같은 패턴은 OAuth로 보호되는 다른 REST API에도 적용할 수 있다.

  5. AWS Machine Learning Blog25

    Amazon Quick, 정형 데이터와 비정형 데이터를 통합 처리하는 솔루션 해설

    Amazon Quick에서 Amazon S3에 있는 문서(비정형 데이터)를 지식 베이스로 삼고, 강화(enrich)된 데이터셋(정형 데이터)과 함께 하나의 Space에 모아 단일 AI 에이전트가 두 데이터를 가로질러 질문에 답할 수 있도록 하는 구성을 해설한다. 구성은 데이터 계층, 워크스페이스 계층(Space), 에이전트 계층의 3계층으로 이루어진다. Enterprise 구독 등 사전 요건도 함께 제시된다.

  6. Google Developers Blog45

    저렴한 분류기로 Gemini 모델과 사고 수준을 배분해 작업 단위 비용을 낮춘다

    저렴한 분류기로 작업마다 가장 적합한 Gemini 모델과 사고 수준을 배분해 작업 단위 비용을 낮추는 방법을 검증했다. 50문제 테스트에서 TypeSafe의 Jev 분류기는 48문제(96.0%)를 올바르게 배분했다. maxOutputTokens를 300으로 제한해도 간단한 작업의 사고 토큰은 줄지 않았고, 어려운 작업 25문제 중 7문제에서는 정답을 내지 못했다.

11월 3일화
  1. Hugging Face Blog37

    Transformers, 모델 통합 테스트 표준 「Model Integration Contracts」 제안

    Hugging Face는 Transformers의 모델 통합 테스트를 표준화하기 위한 제안 「Model Integration Contracts(transformers-mic)」를 공개했다. 각 계약은 축소한 픽스처, 사용 예, 사람이 확인한 기준 출력의 세 부분으로 구성되며 CPU에서 실행할 수 있다. UMT5 사례에서는 SDPA를 사용했을 때 디코더가 미래의 토큰을 참조하던 결함을 2026년 7월 30일부터 9월 28일까지 픽스처가 검출하고 있었다. 픽스처의 가중치는 66MB이며, 원래 체크포인트는 1,227MB다.

  2. AWS Machine Learning Blog40

    Crawl4AI로 웹 콘텐츠를 전처리해 Amazon Bedrock Knowledge Bases에 적재하는 방법

    Crawl4AI로 수집한 웹 페이지를 Markdown 본문과 메타데이터 사이드카 파일로 준비한 뒤, Amazon S3 데이터 소스를 거쳐 Amazon Bedrock Knowledge Bases에 적재하는 절차를 설명한다. 표준 Amazon Bedrock Web Crawler로는 처리하기 어려운 불필요한 영역 제거, CSS 셀렉터를 이용한 영역 추출, 사용자 정의 메타데이터 부여가 필요한 경우에 쓰는 경로다. 샘플 구현은 aws-samples 리포지토리에서 제공된다.

  3. AWS Machine Learning Blog42

    Amazon Nova Multimodal Embeddings와 Amazon Bedrock AgentCore를 활용한 에이전트형 엔지니어링 지원

    AWS는 Amazon Bedrock AgentCore와 Amazon Nova Multimodal Embeddings를 사용해 항공우주 부품의 대체 평가를 지원하는 멀티 에이전트형 어시스턴트를 구축하는 방법을 소개했다. 계획 담당이 세 개의 전문 에이전트에 작업을 분배하고, 결정론적 허용오차 규칙으로 후보 부품을 채점한다. 대체 승인은 하지 않으며, 최종 판단은 엔지니어가 맡는다.

  4. AWS Machine Learning Blog42

    Amazon SageMaker AI에서 지식 증류로 효율적인 에이전트를 구축하는 방법

    Amazon SageMaker AI에서 프런티어 모델을 교사로 삼아 시퀀스 수준 지식 증류(SeqKD)로 쇼핑 에이전트를 소형 학생 모델에 파인튜닝하는 방법을 해설한다. 에이전트는 검색과 검증을 반복하므로 한 과제에서 여러 번 호출이 발생하지만, 소형 모델로 대체하면 비용과 응답 속도를 줄일 수 있다. SeqKD는 교사 모델의 텍스트 출력만 사용하기 때문에 API로만 이용할 수 있는 모델에도 적용할 수 있으며, 과제를 해결한 궤적만 학습 데이터로 남긴다.

10월 31일토
  1. AWS Machine Learning Blog42

    Amazon Bedrock 비용을 처음부터 끝까지 관리하는 가이드: FinOps 및 플랫폼 팀 대상

    Amazon Bedrock의 비용을 귀속, 가시성, 예산 기반 통제, 플랫폼 기본값 최적화, 정기 검토의 다섯 단계로 관리하는 운영 모델을 제시했다. 추론 비용은 IAM 프린시펄 단위로 CUR 2.0의 line_item_iam_principal 열에 귀속되며, 태그를 활성화하면 24~48시간 이내에 Cost Explorer에서 확인할 수 있다. 공유 역할을 사용하는 게이트웨이에서도 사용자마다 AssumeRole로 세션을 발급하고 자격 증명을 최대 1시간 캐시하면 사용자별 귀속을 유지할 수 있다고 밝혔다.

  2. AWS Machine Learning Blog40

    Amazon Bedrock AgentCore, 코딩 에이전트가 만드는 웹 앱을 라이브 미리보기로 제공

    Amazon Bedrock AgentCore runtime의 Session endpoint를 사용하면 코딩 에이전트가 개발 중인 웹 앱을 배포하지 않고도 브라우저에서 열어 변경 사항을 즉시 확인할 수 있다. Session endpoint는 인증이 적용된 URL로, 허용된 포트에 대한 HTTP 및 WebSocket 통신을 전달한다. URL은 세션 동안에만 유효하며, 이용자에게 공개하려면 별도의 배포가 필요하다.

  3. Hugging Face Blog32

    NVIDIA Nemotron으로 구축한 할로윈용 대화형 유령의 집 「MonsterHouse」

    NVIDIA Nemotron Voice Agent를 활용해 할로윈용 대화형 캐릭터 「MonsterHouse」를 단일 워크스테이션에서 구동했다. 응답 생성에는 LoRA 어댑터를 탑재한 Nemotron 3.5 Bolt E4B 4GB를 사용했으며, 어댑터 학습에는 5000건 이상의 다중 턴 대화 데이터셋을 활용했다. 음성은 Magpie TTS Zeroshot, 입 모양은 Audio2Face-3D로 생성하고, Unreal Engine 5에서 렌더링했다.

10월 30일금
  1. AWS Machine Learning Blog37

    Kiro로 PHP에서 Java로의 재현 가능한 마이그레이션 엔진 구축

    AWS Machine Learning Blog는 AI IDE인 Kiro를 활용해 PHP 애플리케이션을 Java로 마이그레이션하는 재현 가능한 엔진을 구축하는 방법을 소개했다. 이 엔진은 공유 방법론, 기계적 탐지 스캐너, 8단계 워크플로로 구성되며, PHP 애플리케이션을 사양으로 취급하고 패리티 하네스로 검증되기 전까지는 Java 마이그레이션이 올바르다고 판정하지 않는다. Kiro뿐 아니라 대규모 마이그레이션용 AWS Transform에서도 동일한 스킬 파일을 사용해 실행할 수 있다.

  2. AWS Machine Learning Blog35

    Epsilon, Amazon Nova Act로 구축한 UI 테스트 관리형 서비스

    Epsilon의 플랫폼 팀은 Amazon Nova Act와 Amazon Bedrock AgentCore Browser Tool을 결합해, 각 제품 팀을 위한 intent-driven UI 테스트를 멀티테넌트 서비스로 제공하고 있다. 기존 Playwright 기반 회귀 테스트 스위트는 그대로 유지하고, 그 위에 자연어로 작성한 테스트 단계를 추가하는 구조다. 테스트 단계는 평이한 영어 지시문으로 Nova Act가 실행하며, 이를 통해 셀렉터 의존도를 줄이고 있다.

  3. Google Developers Blog51

    A2UI와 CopilotKit 에이전트로 만드는 Generative UI 앱 구축 방법

    Google Developers Blog는 Google의 오픈 표준 A2UI와 CopilotKit을 결합해 에이전트가 실행 시점에 UI를 생성하는 Generative UI 앱을 구축하는 방법을 설명했다. A2UI는 UI를 데이터로 기술하고, 앱 측의 기존 컴포넌트로 렌더링한다. Google ADK를 예로 든 설정 절차와 양방향 UI 서피스를 만드는 방법도 소개하고 있다.

  4. Google Blog: Gemini31

    Gemini로 이력서를 업데이트하는 방법

    Gemini에 과거 경력을 자유롭게 말해 주고, 그 메모를 바탕으로 이력서용 글머리 기호를 만드는 절차를 소개한다. 구체적으로는 “professional resume writer”로 행동하게 하고, 직무에 맞춘 네 가지 핵심 사항을 강한 동사로 시작하는 프롬프트를 사용한다. 이후에는 대화를 통해 세부 내용과 어조를 조정하고, 완성된 내용을 이력서에 붙여 넣는다.

  5. AWS Machine Learning Blog41

    NVIDIA Nemotron 모델을 Amazon EKS 및 SageMaker HyperPod EKS에서 구동해 에이전트형 AI를 가속

    NVIDIA Nemotron 3.5 Super VL을 Amazon EKS, EKS Auto Mode, SageMaker HyperPod EKS에 배포하는 방법을 설명한다. 총 파라미터 120B, 토큰당 12B가 활성화되는 MoE 모델로, 최대 1M 토큰의 컨텍스트를 지원하며 텍스트, 이미지, 문서, 동영상을 입력할 수 있다.

10월 29일목
  1. AWS Machine Learning Blog31

    Ray Train DLC와 EFA로 EKS에서 분산 학습하는 방법

    Ray Train DLC는 PyTorch, CUDA, NCCL, EFA 네트워크 스택, Ray를 하나로 묶어 검증된 컨테이너 이미지로, 빌드 없이 여러 노드에 걸친 분산 학습에 사용할 수 있다. 본 샘플에서는 이 공개 이미지를 그대로 사용해, g6.12xlarge 인스턴스 2대의 NVIDIA L4 GPU 8기로 Qwen2.5-1.5B를 PyTorch FSDP로 파인튜닝한다. 클러스터 구성은 RayCluster 매니페스트와 변수 파일만으로 정의되며, EFA는 Pod가 요청하면 노드 간 통신에 사용된다.

10월 28일수
  1. Claude Blog40

    Google Cloud에서 Claude Code 비용을 관리하고 ROI를 입증하는 방법

    Anthropic은 Google Cloud의 Claude Code 비용을 '관리(control)', '추적(track)', '효과 입증(prove)'의 세 단계로 정리하는 방법을 설명했다. Claude apps gateway에서는 사용자, IdP 그룹, 조직 단위별로 일·주·월 단위 사용 한도를 설정할 수 있으며, 한도의 75%와 95%를 넘으면 개발자에게 경고가 표시된다. 한도에 도달하면 gateway는 429 응답을 반환한다. 또한 비용을 평가할 때 가장 중요한 지표는 작업당 비용이라고 밝혔다.

  2. Google Developers Blog36

    GCP 기반 멀티 에이전트 스웜을 활용한 대화형 커머스: 작동하는 프로토타입 구축

    Google Developers Blog는 LangGraph, Gemini, FastAPI, Google Cloud를 활용해 대화형 커머스 프로토타입 「HappyDelivery」를 구축하고, 멀티 에이전트 스웜 기반 주문 처리 구조를 코드와 함께 공개했다. 인제스트 계층은 서명을 검증한 뒤 이벤트를 Cloud Pub/Sub에 적재했으며, Run 2~5에서는 약 295~302밀리초 만에 HTTP 200을 반환했다. Cloud Run 내에서 Pub/Sub으로 발행하는 데 걸리는 오버헤드는 약 95밀리초로 알려져 있다.

10월 27일화
  1. AWS Machine Learning Blog35

    SageMaker SDK v3 기반 엣지 플릿 전체의 컴퓨터 비전 모델 라이프사이클

    AWS는 SageMaker Python SDK v3를 활용해 엣지 환경에서 카메라별 외관 검사 모델을 학습, 평가, 등록하는 샘플을 공개했다. 카메라마다 이상 탐지 모델과 결함 분류 모델을 학습하며, 품질 게이트를 통과한 모델만 SageMaker Neo로 컴파일해 등록한다. 합성 데이터로 파이프라인을 한 번 실행하는 데 드는 계산 비용은 약 $0.07이다.

  2. AWS Machine Learning Blog42

    AWS CDK로 Managed Amazon Bedrock Knowledge Base 위에 에이전트형 검색 구축하기

    AWS CDK(Python)로 Managed Amazon Bedrock Knowledge Base 위에 에이전트형 검색을 구축하는 방법을 해설한다. 에이전트는 두 개의 Knowledge Base를 용도에 따라 구분해 사용하며, AgentCore Gateway를 거쳐 검색하고 출처를 포함한 답변을 반환하는 구성이다. 명령어 한 번으로 배포할 수 있으며, CloudWatch 대시보드 2종(7개 계층의 텔레메트리)과 온디맨드·연속 방식의 평가 2종도 같은 배포에 포함된다.

  3. Google Blog: Gemini22

    대학생 15명이 꼽은 Gemini 활용법: 학습, 노트 정리, 이미지 생성까지

    Google Student Ambassadors 15명이 저마다 좋아하는 Gemini의 기능과 활용법을 소개했다. 소개된 기능은 Study notebooks, Gemini Live, Guided Learning, Study guides, Quizzes, Unlimited uploads, Audio Overviews, Nano Banana(이미지 생성), Gemini in Chrome 등이다. Guided Learning에서는 정답을 바로 알려주는 대신 학생에게 질문을 던져 스스로 생각하며 이해하도록 돕는 사용법이 소개되었다.

10월 24일토
  1. AWS Machine Learning Blog41

    Amazon SageMaker AI에서의 멀티턴 강화학습 실전 가이드

    AWS가 Amazon SageMaker AI의 멀티턴 강화학습(MTRL)을 활용해 gpt-oss-20b를 Wordle로 훈련하는 절차를 설명했다. 보류한 단어에서의 정답률은 기본 추론 강도에서 61%에서 84%로, 훈련에 사용한 낮은 추론 강도에서 15%에서 69%로 향상됐다. 학습에 사용된 토큰 비용은 약 339달러였으며, 에이전트는 Amazon Bedrock AgentCore에서 호스팅된다.

  2. AWS Machine Learning Blog38

    AWS CDK로 SageMaker AI 엔드포인트의 오토스케일링을 자동 연동하는 방법

    엔드포인트 구성을 변경할 때 CloudFormation이나 AWS CDK 배포가 실패하는 문제를 재사용 가능한 CDK 컨스트럭트로 해결하는 방법을 소개한다. CDK 컨스트럭트는 AWS CloudFormation 커스텀 리소스를 이용해 엔드포인트 업데이트 전후에 오토스케일링 등록 해제와 재등록을 자동으로 수행한다. 이를 통해 인스턴스 타입이나 인스턴스 수 등의 변경과 오토스케일링 파라미터 변경을 수작업 없이 한 번의 배포로 실행할 수 있다.

10월 23일금
  1. AWS Machine Learning Blog38

    Amazon SageMaker AI의 Kokoro TTS로 AI 에이전트 음성을 저지연 스트리밍

    AWS Machine Learning Blog는 AI 에이전트가 문장을 생성할 때마다 그 문장을 Kokoro-82M TTS 모델로 보내, 전체 텍스트 생성을 기다리지 않고 음성 합성을 시작하는 방법을 소개했다. Kokoro-82M(8,200만 파라미터)은 SageMaker AI 실시간 엔드포인트에서 ml.g5.xlarge GPU 인스턴스로 동작하며, 컨테이너는 POST /invocations와 WS /invocations-bidirectional-stream 두 가지 라우트를 제공한다.

  2. AWS Machine Learning Blog38

    Amazon Quick에서 HIPAA 대상 환경에 AI를 배포하는 방법

    Amazon Quick은 HIPAA 대상 서비스이며, 서명된 AWS BAA에 따라 PHI를 처리하는 워크플로에 사용할 수 있다. 다만 대상 서비스라는 것만으로 HIPAA를 준수하게 되는 것은 아니며, BAA 체결, 데이터 분류, 설정, 거버넌스, 관리적·물리적 안전 조치는 이용자의 책임이다. 본 기사는 브라우저에서 이용하는 웹 버전의 기능에 초점을 맞춘다.

  3. Claude Blog62

    에이전트 구축, 서브 에이전트를 메인 에이전트 루프에 통합해야 할 상황

    Anthropic는 Claude Platform에서 여러 서브에이전트를 사용하는 에이전트에 대해, 라우터·플래너·도메인별 서브에이전트를 메인 루프에 통합하는 설계 지침과 마이그레이션 키트를 공개했다. 여러 기업 도입 사례를 비교한 결과, 스킬을 갖춘 단일 에이전트가 품질 면에서 우위였고 작업당 비용과 레이턴시도 대개 더 낮았다고 한다. 다만 컨텍스트 과다로 인한 성능 저하나 병렬 처리가 필요한 경우 등에서는 서브에이전트가 여전히 효과적이라고 밝혔다.

    선정 이유: 서브 에이전트를 남기는 조건과 스킬·도구로 단계적으로 통합하는 절차가 평가 방법과 함께 제시되어 있어, 설계를 재검토할 때 기준으로 삼기 좋다.

  4. AWS Machine Learning Blog25

    Rescale, Strands Agents와 AI-DLC로 AI 트리아지 에이전트를 구축한 방법

    Rescale은 야간 End-to-End 테스트 실패를 분류해 담당 팀에 배정하는 AI 트리아지 에이전트를 AI-DLC를 활용해 구축했다. Amazon Bedrock의 Claude Opus 4.8이 실패를 infrastructure issue, code bug, flaky test, environment problem 중 하나로 분류하고, MCP를 통해 파드 로그를 가져와 엔지니어 검토용 수정 제안 보고서를 생성한다. 문제 정의부터 검증 환경 배포까지 5일이 걸렸으며, 운영 환경에는 수 주 만에 도달했다.

  5. AWS Machine Learning Blog38

    TTS용 Amazon SageMaker AI Auto Scaling 목표값을 추측으로 정하지 않는다

    Amazon SageMaker AI에서 TTS 엔드포인트의 Auto Scaling 목표값을 추측이 아닌 실측으로 정하는 방법을 Kokoro-82M 커스텀 컨테이너 배포를 예로 보여준다. SLO를 충족하는 인스턴스당 최대 동시 실행 수 Q_max와 스케일아웃 소요 시간 T_total을 실제 환경에서 측정하고, 이를 바탕으로 스케일아웃·스케일인 임계값과 쿨다운을 산출한다. 스케일링 지표로는 SageMaker AI가 공개하는 ConcurrentRequestsPerModel을 사용한다.

10월 22일목
  1. AWS Machine Learning Blog38

    AWS PrivateLink를 이용해 퍼블릭 인터넷을 거치지 않고 Amazon Quick에서 온프레미스 데이터에 연결하는 방법

    AWS Machine Learning Blog는 기업 네트워크 내 데이터에 Amazon Quick으로 비공개 연결하는 절차를 해설했다. Direct Connect 또는 Site-to-Site VPN으로 기존 온프레미스 환경과 VPC가 이미 연결되어 있다는 전제에서, VPC 엔드포인트와 AWS PrivateLink를 구성해 트래픽을 AWS 백본 네트워크 안에 유지하는 방식이다.

  2. AWS Machine Learning Blog40

    AWS, 멀티 에이전트의 프로덕션 운영 과제 5가지와 Deep Insight를 통한 해결책

    AWS Solutions Architecture 팀이 개발한 멀티 에이전트 시스템 「Deep Insight」를 소재로, 프로덕션 운영에서 직면하는 5가지 과제와 그 해결 방법을 해설한다. Deep Insight는 CSV 데이터와 자연어 프롬프트를 바탕으로 Coordinator, Planner, Supervisor, Coder, Validator, Reporter, Tracker 등 7개의 전문 에이전트가 분석을 수행하여 .docx 형식의 보고서를 생성하는 오픈소스 시스템이다.

  3. AWS Machine Learning Blog38

    Strands Agents로 구축한 적응형 에이전트 지능 프레임워크(AAIF)

    AAIF는 Strands Agents로 구축된 프레임워크로, 라우팅을 담당하는 소형 언어 모델(SLM)이 정형화된 작업을 분류하고 복잡한 분석은 Amazon Bedrock의 클라우드 모델에 맡긴다. 정형화된 작업은 Ollama 위에서 돌아가는 로컬 SLM이 처리하며, 클라우드에 의존하지 않고 낮은 지연 시간으로 완료된다. 엣지 기기인 Raspberry Pi(8 GB)부터 풀 클라우드 구성, 하이브리드 구성까지 지원한다.

  4. AWS Machine Learning Blog38

    AWS Trainium에서 torchtitan으로 Qwen3를 학습하는 방법

    단일 trn2.48xlarge 인스턴스에서 torchtitan을 사용해 Qwen3를 학습하는 세 가지 구성이 제시됐다. 첫째는 Transformers v5를 모델링 백엔드로 사용하는 방법, 둘째는 torchtitan 네이티브 Qwen3로 전환하는 방법, 셋째는 NKI MoE 커널과 override registry를 결합하는 방법이다. Qwen3-4B-Instruct-2507의 경우 공개 가중치에서 시작하면 1스텝 손실이 6.54, 랜덤 초기화에서는 12.43으로 보고됐다.