1.3.1 신경망이 뛰어난 이유

신경망을 만들기 전에 신경망이 어떻게 머신 러닝과 인공 지능에서 중요한 진보를 이뤘는지 알아보자.

첫 번째 요인은 신경망이 거의 모든 함수를 추정할 수 있다는 점이다(이를 보편 근사 정리(Universal Approximation Theorem)라고 한다). 다시 말해 모델링하려는 함수가 아무리 복잡해도 신경망은 이 함수를 표현할 수 있다. 보편 근사 정리는 신경망과 인공 지능 연구에 큰 의미를 부여한다. 이 세상의 어떤 복잡한 문제라도 수학 함수로 설명할 수 있다면 신경망을 사용해 함수로 표현하고 효과적으로 모델링할 수 있다. 물론 신경망의 보편성을 수학적으로 증명한 것뿐이며, 세상 모든 현상을 일반화할 수 있는 거대하고 복잡한 신경망은 아직 만들어지지 않았다.

두 번째 요인은 신경망의 아키텍처가 매우 확장성이 높고 유연하다는 점이다. 1.5절에서 소개하겠지만, 신경망의 복잡도를 높이려면 단순히 레이어를 더 쌓으면 된다. 그러나 신경망의 능력은 이보다 훨씬 더 무궁무진하다. 시계열 데이터를 예측할 수 있는 RNN(Recurrent Neural Network) 신경망이 등장했으며, 최근에는 두 신경망을 서로 경쟁시켜 육안으로도 구별할 수 없는 사실적인 이미지를 생성하는 데 성공했다(이 기술은 GAN(Generative Adversarial Network)이라고 부른다).