신경망의 층은 입력 값을 출력 값에 매핑하는 수학 함수와 비슷합니다. 하지만 신경망 층은 일반적으로 상태를 가진다는 점에서 순수한 수학 함수와 다릅니다. 다른 말로 하면, 내부에 메모리를 가지고 있습니다. 층의 메모리는 가중치(weight)에 저장됩니다. 가중치는 무엇일까요? 가중치는 단순히 층에 속한 숫자 값의 집합입니다. 입력 표현이 출력 표현으로 어떻게 변환될지를 세부적으로 제어합니다. 예를 들어 자주 사용되는 밀집(dense) 층은 입력 데이터에 한 행렬을 곱하고 이 행렬 곱셈의 결과에 한 벡터를 더합니다. 이 행렬과 벡터가 층의 가중치입니다. 신경망이 훈련 데이터를 사용해 훈련될 때 손실 함수(loss function)라 불리는 특정 값을 최소화하기 위해 체계적으로 가중치를 조정합니다. 손실 함수는 2장과 3장에서 구체적인 예제를 사용해 자세히 설명하겠습니다.

신경망이 뇌에서 영감을 받았지만, 이를 너무 사람처럼 생각해서는 안 됩니다. 신경망의 목적은 뇌의 동작 방식을 연구하거나 흉내 내는 것이 아닙니다. 이는 별도의 학문 분야인 신경과학(neuroscience)의 한 분야입니다. 신경망의 목적은 기계가 데이터로부터 학습해 실용적인 작업을 수행하도록 만드는 것입니다. 일부 신경망이 구조와 기능¹⁴적인 면에서 생물학적 뇌의 일부분과 닮았다는 사실은 정말 놀랍습니다. 이것이 우연인지는 아닌지는 이 책의 범위를 넘어섭니다. 어떤 경우에도 이런 유사성을 과장하여 받아들여서는 안 됩니다. 무엇보다도 뇌가 어떤 형태의 경사 하강법(gradient descent)을 사용해 학습한다는 증거는 없습니다. 경사 하강법은 신경망이 훈련되는 주요 방법입니다(다음 장에서 다루겠습니다). 딥러닝 혁명을 이끈 신경망의 중요한 많은 기술은 신경과학을 바탕으로 한 것이 아니라 실제 학습 문제를 더 빠르고 잘 해결하기 위해 고안되고 적용한 것입니다.