7.1.1 모델 병렬화

모델 병렬화(model parallelism) 또는 인터-옵 병렬화(inter-op parallelism)는 큰 모델의 일부분을 다른 GPU에 배치하고 중간 결과를 장치 간에 전달하면서 순서대로 계산하는 기법입니다. 단일 장치에 넣을 수 없는 모델을 훈련하고 실행할 수 있습니다. 하지만 모델의 각 부분 사이의 의존성을 관리하기 위해 복잡한 조정이 필요합니다.

모델 병렬화는 아마도 장치 간 병렬화의 가장 직관적인 형태일 것입니다. 예를 들어 은닉층과 출력층에 해당하는 2개의 층으로 구성된 간단한 신경망에서 각 층을 서로 다른 GPU에 놓습니다. 물론 이를 임의의 개수의 층과 GPU로 확장할 수 있습니다.