▲ 그림 7-1 여러 장치에 행렬 곱셈을 배분하는 텐서 병렬화

모델 병렬화처럼 텐서 병렬화는 메모리 부족 문제를 피할 수 있습니다. 동시에 데이터 병렬화처럼 연산을 병렬로 실행합니다.