1. 머신 러닝과 인공 신경망

• 머신 러닝에는 인공 신경망을 포함하여 다양한 종류의 알고리즘이 있다.
• 인공 신경망은 입력층, 은닉층, 결과층으로 구성되어 있으며, 각 층의 노드들이 가중치가 적용되어 지도 학습 및 비지도 학습을 수행한다.
• 입력층(input layer)은 변수 X를 나타내며, 결과층(output layer)은 변수 Y를 나타낸다.
• 은닉층(hidden layer)은 입력층과 결과층 사이의 가중치가 적용되는 다양한 연결을 나타낸다.
• 인공 신경망의 핵심은 입력층과 결과층 사이 노드들을 연결하는 가중치의 최적 값을 구하는 것이다.
• 역전파 알고리즘은 인공 신경망에서 예측한 Y와 원래 Y의 오차를 사용해 가중치를 최적화한다.
• 활성화 함수는 노드 내에서 입력된 값을 조절하는 함수를 의미한다.

2. 딥러닝

• 인공 신경망을 여러 개의 은닉층을 갖는 데 이런 은닉층으로 여러 단계의 추상화를 거쳐 성능을 제고하는 기법이다.
• 다층으로 구성된 인공 신경망의 성능 문제를 해결한 방법으로, 2006년 힌턴(Hinton) 교수의 논문(「A fast learning algorithm for deep belief nets」)을 통해 제시되었다.
• 은닉층을 계산에 활용하는 방식에 따라 딥러닝을 합성곱 신경망, 심층 신뢰 신경망, 순환 신경망 등으로 다양하게 부르며 계속해서 세분화되어 발전한다.