1.1.4 왜 딥러닝인가? 왜 지금인가?

신경망의 기본 아이디어와 핵심 기술이 이미 1980년대에 존재했다면 왜 딥러닝 혁명이 2012년 이후에 시작되었을까요? 그 20년 사이에 어떤 것이 변했을까요? 일반적으로 세 가지 기술이 머신 러닝의 발전을 이끕니다.

이 요인들을 하나씩 살펴보겠습니다.

하드웨어

딥러닝은 이론보다 실험 결과를 기반으로 하는 엔지니어링 과학입니다. 새로운 아이디어를 실험하기 위해 (또는 종종 예전 아이디어를 확장하기 위해) 적절한 하드웨어를 사용할 수 있을 때만 알고리즘 발전이 가능합니다. 컴퓨터 비전이나 음성 인식에서 사용하는 전형적인 딥러닝 모델은 노트북에서 제공하는 것보다 훨씬 더 많은 계산 능력이 필요합니다.

2000년대에 NVIDIA와 AMD 같은 회사는 점점 더 사실적인 비디오 게임 그래픽을 위해 고속의 대규모 병렬 칩(chip)(GPU)을 개발하고자 수십억 달러를 투자했습니다. 이 칩은 실시간으로 화면에 복잡한 3D 장면을 렌더링하기 위해 고안된 단일 목적의 저렴한 슈퍼컴퓨터입니다. 2007년에 NIVIDA가 자사의 GPU 제품을 위한 범용 프로그래밍 인터페이스인 CUDA(Compute Unified Device Architecture)를 출시하면서 이 투자가 과학 커뮤니티에 도움을 주게 되었습니다. 적은 개수의 GPU가 물리 모델링을 비롯한 고도의 병렬 애플리케이션에서 대규모 GPU 클러스터(cluster)를 대체하기 시작했습니다. 대부분 많은 행렬 곱셈과 덧셈으로 이루어진 심층 신경망도 병렬화 가능성이 높습니다.