MaxText, Cloud TPU에서 장컨텍스트 학습 지원

Google Cloud의 오픈소스 학습 프레임워크 MaxText가 Cloud TPU에서의 장컨텍스트 학습을 지원한다고 밝혔다. All-gather, A2A(DeepSpeed Ulysses), P2P(Ring Attention), USP 등 4가지 컨텍스트 병렬화 전략을 제공한다. Llama 3.1 8B 벤치마크에서는 TPU 5p에서 최대 400만 토큰 구간까지 70% MFU를 달성했고, TPU 7에서는 600만 토큰 미만의 모든 시퀀스 길이에서 50% MFU를 유지했다. 이 기능은 MaxText v0.2.4에서 사용할 수 있다.