AWS, SageMaker AI 서버리스 모델 커스터마이징에 학습 세션 일반 제공 시작
Announcing new ways to customize models with SageMaker AI, without managing GPUs
AWS가 Amazon SageMaker AI의 서버리스 모델 커스터마이징에 학습 세션을 추가해 일반 제공(GA)을 시작했다. 손실 함수와 보상 신호를 포함한 학습 루프는 사용자가 직접 작성하며, GPU 할당, 분산 실행, 장애 복구, 체크포인트 저장은 SageMaker AI가 담당한다. 지원 모델은 gpt-oss-20b, gemma-4-31B-it, Qwen3.6-27B, Qwen3.8-27B이다.
학습 세션에서는 사용자의 코드가 자신의 환경에서 학습 루프와 보상 함수를 실행하며, 에이전트를 도구나 시뮬레이터에 연결한다. GPU 사용량이 많은 처리는 응답을 생성하는 sampler와 기울기 계산 및 모델 가중치 업데이트를 담당하는 trainer가 맡는다. 인스턴스 타입 선택, 클러스터 관리, 분산 학습 설정은 필요하지 않다.
GRPO 구현 예시에서 한 번의 루프는 4단계로 진행된다. 현재 모델로 각 프롬프트에 대해 여러 응답을 샘플링하고, 검증기나 보상 모델, 테스트 하네스로 각 응답을 채점한다. 채점 결과를 trainer에 전달해 forward_backward()로 기울기를 계산하고 optim_step()으로 가중치를 업데이트한다. 그다음 업데이트된 가중치로 sampler를 갱신하고 다음 배치로 넘어간다.
배경으로 AWS는 멀티턴 강화학습이 복잡해지기 쉽다는 점을 들었다. 학습용과 추론용으로 인프라가 나뉘고, 응답을 채점해 그 결과를 다음 업데이트에 반영하는 과정에서 각 단계마다 서로 다른 컴퓨팅 자원이 필요하기 때문이다. SageMaker AI에는 이미 멀티턴 RL의 관리형 버전이 있지만, 독자적인 손실 함수와 보상 설계, RL의 각 단계를 하나의 루프로 묶고 싶다는 요구가 있었다고 한다.
사용 가능한 방법은 SFT, DPO, RLVR, RLAIF, 멀티턴 RL이며, LoRA와 전체 파인튜닝 중에서 선택할 수 있다. 요금은 SageMaker AI가 처리하는 토큰을 기준으로 부과되며, 보상 함수가 환경 측에서 배치를 채점하는 동안에는 과금이 멈춘다. 용량 예약은 필요하지 않다.
데이터와 모델 관리 측면에서는 사용자가 만든 IAM 실행 역할을 사용하며, 자체 AWS KMS 키와 VPC 설정을 추가할 수 있다. 데이터와 체크포인트는 선택한 리전의 사용자 Amazon S3 버킷에 저장되며, 고객 데이터와 커스터마이징 후의 가중치를 다른 모델 학습에 사용하지 않는다고 밝혔다.
시작 방법은 두 가지다. IDE에서는 SageMaker Python SDK(Linux/macOS, Python 3.10~3.12)를 설치하고 cookbook을 클론한다. SageMaker Studio에서는 Kiro, Claude Code, Codex, Copilot 같은 코딩 에이전트를 연결해 agent skills와 cookbook을 내려받아 사용한다. ImagineSoftware와 Karini AI가 도입 사례에 대한 코멘트를 보내왔다.
출처: AWS Machine Learning Blog · aws.amazon.com