노트
이 장에서 병렬 처리를 위한 하드웨어를 설명하는데 GPU란 용어를 주로 사용합니다. 하지만 동일한 기법과 개념을 다른 하드웨어 장치에 적용할 수 있습니다. 이런 하드웨어로는 TPU(tensor processing unit)나 다른 종류의 가속기가 있으며 시스템의 구조와 요구사항에 따라 다릅니다.
SECTION 7.1 훈련 패러다임
이어지는 절에서 모델 병렬화, 데이터 병렬화, 텐서 병렬화, 시퀀스 병렬화 다중 GPU 훈련 패러다임을 설명합니다.