7.1.4 파이프라인 병렬화

파이프라인 병렬화(pipeline parallelism)에서는 모델 병렬화처럼 모델을 여러 GPU로 분할하고 정방향 계산(forward pass) 동안 활성화를 순서대로 전달합니다. 다른 점은 장치가 유휴 상태가 되는 것을 방지하기 위해 미니배치를 마이크로배치로 나누어 연속적으로 GPU에 통과시킨다는 것입니다. 어떤 면에서 파이프라인 병렬화는 데이터 병렬화와 모델 병렬화의 고급 하이브리드 버전입니다.

장치에 배치된 개별 층 사이의 병렬화를 향상시키므로 파이프라인 병렬화를 순차 계산으로 인한 병목을 최소화하는 모델 병렬화의 한 형태로 생각할 수 있습니다. 하지만 파이프라인 병렬화는 미니배치를 마이크로배치로 나누는 것과 같은 데이터 병렬화의 아이디어도 차용합니다.