SageMaker HyperPod에서 사일런트 데이터 손상을 탐지하고 복구하는 방법

AWS 머신러닝 블로그는 Amazon SageMaker HyperPod의 분산 학습에서 사일런트 데이터 손상(SDC)을 탐지하는 세 가지 검사 방법을 소개했다. 비유한 기울기 검사, 링 리플레이 감사, 가중치 지문 비교의 세 계층으로 구성되며, 하드웨어가 오류를 보고하지 않는 잘못된 계산을 학습 작업 자체가 식별하도록 한다. 검증은 ml.p5.48xlarge 인스턴스 4대(NVIDIA H100 GPU 32개)로 구성된 클러스터에서 소프트웨어로 주입한 장애를 이용해 진행됐다. 샘플 코드는 GitHub 저장소에서 공개되어 있다.