딥러닝 학습 과정에서 중요한 핵심 구성 요소는 신경망과 역전파입니다. 딥러닝은 머신 러닝의 한 분야이기는 하지만, 심층 신경망(deep neural network)11을 가지고 있다는 점에서 머신 러닝과 차이가 있습니다. 심층 신경망에는 데이터셋의 어떤 특성들이 중요한지 스스로에게 가르쳐 줄 수 있는 기능이 있습니다.
▲ 그림 1-12 신경망과 심층 신경망
또한, 가중치 값을 업데이트하기 위한 역전파가 중요합니다. 특히 역전파 계산 과정에서 사용되는 미분(오차를 각 가중치로 미분)이 성능에 영향을 미치는 주요한 요소라고 할 수 있습니다.
▲ 그림 1-13 역전파 계산
하지만 텐서플로 같은 라이브러리를 이용하면 역전파 알고리즘을 자동으로 처리해 주기 때문에 딥러닝 알고리즘 구현이 굉장히 간단해집니다. 즉, 텐서플로를 이용하면 딥러닝 알고리즘 구현이 간단하고 편리합니다.
11 은닉층이 두 개 이상인 신경망입니다.