AWS Machine Learning Blog· Jyothirmai Kottu·· 24일 전AI 점수32
llama.cpp로 의사결정 모델을 Amazon SageMaker AI에 배포하기
Deploy decision models with llama.cpp on Amazon SageMaker AI
AI 요약
llama.cpp의 AWS DLC와 SemIf용 하위 이미지를 사용해, 선언된 선택지별 확률을 반환하는 의사결정 모델을 SageMaker AI에 배포하는 방법을 소개한다. JevBench의 231개 작업으로 검증한 결과, Qwen3.5-4B(Q4_K_M)의 정답률은 CPU 구성이 77.5%, GPU 구성이 77.9%였다. p50 지연 시간은 GPU 구성의 0.352초가 CPU 구성의 1.715초보다 4.9배 빠르다.
출처: AWS Machine Learning Blog · aws.amazon.com