상황에 따라 실용적인 조언이 다를 수 있습니다. 단일 GPU에 들어갈 수 있는 작은 모델을 훈련한다면 데이터 병렬화가 가장 효율적입니다. 파이프라인 병렬화로 얻는 성능 이득이 데이터 병렬화 같은 다른 기법과 비교해 크지 않을 수 있습니다. 특히 모델이 작거나 통신 비용이 높을 때입니다.

모델이 너무 커서 GPU 메모리에 맞지 않는다면 모델 병렬화나 텐서 병렬화를 고려해야 합니다. 텐서 병렬화가 더 효율적입니다. 왜냐하면 모델 병렬화에 있는 순차 의존성이 없으므로 GPU가 병렬로 일할 수 있기 때문입니다.

최신 다중 GPU 전략은 데이터 병렬화와 텐서 병렬화를 결합하는 것입니다.