PyTorch 프로파일링(3회), Attention을 프로파일하다

Hugging Face 블로그 연재 「Profiling in PyTorch」 3회에서는 Attention을 단순하게 구현한 모듈을 프로파일러로 분석한다. out-of-place인 masked_fill을 in-place인 masked_fill_로 바꾸면 GPU에서 Memcpy 커널이 사라지고, forward를 한 번 실행할 때마다 커널이 하나씩 줄어든다고 설명한다.