모델 병렬화에서는 GPU 메모리 부족을 해결하기 위해 여러 GPU에 각기 다른 층을 놓습니다. 데이터 병렬화에서는 배치를 여러 GPU에 나누어 병렬로 모델의 복사본을 훈련하고, 가중치 업데이트를 위해 그레이디언트의 평균을 계산합니다. 텐서 병렬화에서는 모델이 너무 커서 GPU 메모리에 들어가지 않을 때 행렬(입력과 가중치)을 여러 GPU에 나눕니다.