텐서 병렬화의 단점은 행렬을 나누어 가진 GPU 간의 통신 비용이 많이 든다는 것입니다. 예를 들어 텐서 병렬화는 장치 간에 모델 파라미터를 자주 동기화해야 하므로 전체적인 훈련 속도가 느려질 수 있습니다.

그림 7-2는 모델 병렬화, 데이터 병렬화, 텐서 병렬화를 비교합니다.

▲ 그림 7-2 모델 병렬화, 데이터 병렬화, 텐서 병렬화의 비교