본문 바로가기
급상승 이슈진행 중

MaxText, 장문맥 학습의 병렬화 기능 제공

보도 1건출처 1곳2시간 전 업데이트

지금까지의 흐름

보도 발췌

Google Cloud의 오픈소스 학습 프레임워크 MaxText가 Cloud TPU에서의 장컨텍스트 학습을 지원한다고 밝혔다. All-gather, A2A(DeepSpeed Ulysses), P2P(Ring Attention), USP 등 4가지 컨텍스트 병렬화 전략을 제공한다. Llama 3.1 8B 벤치마크에서는 TPU 5p에서 최대 400만 토큰 구간까지 70% MFU를 달성했고, TPU 7에서는 600만 토큰 미만의 모든 시퀀스 길이에서 50% MFU를 유지했다. 이 기능은 MaxText v0.2.4에서 사용할 수 있다.

Google Developers Blog 발췌

보도 타임라인

보도를 따라가며 이슈의 여러 측면을 살펴보세요.

11월 10일
  1. Google Developers Blog
    MaxText, Cloud TPU에서 장컨텍스트 학습 지원

    Google Cloud의 오픈소스 학습 프레임워크 MaxText가 Cloud TPU에서의 장컨텍스트 학습을 지원한다고 밝혔다. All-gather, A2A(DeepSpeed Ulysses), P2P(Ring Attention), USP 등 4가지 컨텍스트 병렬화 전략을 제공한다. Llama 3.1 8B 벤치마크에서는 TPU 5p에서 최대 400만 토큰 구간까지 70% MFU를 달성했고, TPU 7에서는 600만 토큰 미만의 모든 시퀀스 길이에서 50% MFU를 유지했다. 이 기능은 MaxText v0.2.4에서 사용할 수 있다.

이 이슈의 화제도 추이

추이를 그릴 만큼 연속 관측 데이터가 아직 부족합니다.