앞서 언급하였듯이 딥러닝은 신경망을 여러 계층으로 쌓아서 만들어진 구조입니다. 그러므로 딥러닝을 이해하려면 신경망에 대한 기본적인 이해가 필요합니다.

신경망의 가장 기초적인 형태는 1950년대에 개발된 퍼셉트론(perceptron) 구조입니다. 퍼셉트론 구조는 기본적으로 다수의 입력으로부터 가중합을 계산하고, 이를 이용하여 하나의 출력을 만들어 내는 구조입니다. 단순한 형태의 퍼셉트론 구조를 그림 16-2에 나타냈습니다. 그림 16-2에서 원으로 표현된 것을 노드(node) 또는 정점(vertex)이라고 하고, 노드 사이에 연결된 선을 에지(edge) 또는 간선이라고 부릅니다. 그림 16-2 왼쪽에서 x₁과 x₂로 표기된 노드는 입력 노드이고, 오른쪽 y로 표기된 노드는 출력 노드입니다. 입력 노드로 이루어진 계층을 입력층(input layer)이라고 하고, 출력 노드로 이루어진 계층을 출력층(output layer)이라고 합니다. 각각의 에지는 가중치(weight)를 가지며, 그림 16-2에서는 두 개의 에지에 각각 w₁과 w₂의 가중치가 지정되어 있습니다. 이 퍼셉트론의 출력 y는 다음 수식에 의해 결정됩니다.

앞 수식에서 b는 편향(bias)이라고 부르며, y 값 결정에 영향을 줄 수 있는 파라미터입니다.

▲ 그림 16-2 기본적인 퍼셉트론