7.1.3 텐서 병렬화

텐서 병렬화(tensor parallelism) 또는 인트라-옵 병렬화(intra-op parallelism)는 더 효율적인 모델 병렬화 형태입니다. 장치에 전체 층을 배치하는 것이 아니라 가중치와 활성화 행렬을 여러 장치에 나눕니다. 개별 행렬을 분할하기 때문에 각각의 행렬 곱셈을 GPU에 나눌 수 있습니다.

선형대수학(linear algebra)의 기본 원리를 사용해 텐서 병렬화를 구현할 수 있습니다. 그림 7-1에서 보듯이 행렬 곱셈을 행 또는 열을 기준으로 두 개의 GPU에 나눌 수 있습니다(이 개념을 임의의 개수의 GPU로 확장할 수 있습니다).