Note ≡ | 연산 그래프
연산 그래프는 방향성이 있으며 변수(예 텐서)를 의미하는 노드와 연산(예 곱하기, 더하기)을 담당하는 엣지로 구성됩니다. 다음 그림과 같이 노드는 변수(a, b)를 가지고 있으며 각 계산을 통해 새로운 텐서(c, d, e)를 구성할 수 있습니다.
▲ 그림 2-3 파이토치 연산 그래프
신경망은 연산 그래프를 이용하여 계산을 수행합니다. 즉, 네트워크가 학습될 때 손실 함수의 기울기가 가중치와 바이어스를 기반으로 계산되며, 이후 경사 하강법을 사용하여 가중치가 업데이트됩니다. 이때 연산 그래프를 이용하여 이 과정이 효과적으로 수행됩니다.
파이토치는 효율적인 계산, 낮은 CPU 활용, 직관적인 인터페이스와 낮은 진입 장벽 등을 장점으로 꼽을 수 있습니다.
• 단순함(효율적인 계산)
• 파이썬 환경과 쉽게 통합할 수 있습니다.
• 디버깅1이 직관적이고 간결합니다.
• 성능(낮은 CPU 활용)
• 모델 훈련을 위한 CPU 사용률이 텐서플로와 비교하여 낮습니다.
• 학습 및 추론 속도가 빠르고 다루기 쉽습니다.
• 직관적인 인터페이스
• 텐서플로처럼 잦은 API 변경(예 layers → slim → estimators → tf.keras)이 없어 배우기 쉽습니다.