AWS Machine Learning Blog· Giuseppe Zappia·· 2일 전AI 점수42
Amazon SageMaker AI에서 지식 증류로 효율적인 에이전트를 구축하는 방법
Build efficient agents with knowledge distillation on Amazon SageMaker AI
AI 요약
Amazon SageMaker AI에서 프런티어 모델을 교사로 삼아 시퀀스 수준 지식 증류(SeqKD)로 쇼핑 에이전트를 소형 학생 모델에 파인튜닝하는 방법을 해설한다. 에이전트는 검색과 검증을 반복하므로 한 과제에서 여러 번 호출이 발생하지만, 소형 모델로 대체하면 비용과 응답 속도를 줄일 수 있다. SeqKD는 교사 모델의 텍스트 출력만 사용하기 때문에 API로만 이용할 수 있는 모델에도 적용할 수 있으며, 과제를 해결한 궤적만 학습 데이터로 남긴다.
출처: AWS Machine Learning Blog · aws.amazon.com