◼︎ 입력층(input): 데이터가 입력되는 계층입니다.

◼︎ 은닉층(hidden): 입력층과 출력층 사이에 위치하여 복잡한 분류 문제에서 판별 경계를 찾는 데 사용합니다.

◼︎ 출력층(output): 활성화 함수 값을 계산하여 출력을 결정합니다.

◼︎ 가중치(weight): 각 신호가 결과에 주는 영향력을 조절하는 요소로 가중치가 클수록 해당 신호가 그만큼 더 중요하다는 의미입니다.

◼︎ 가중합(weighted sum): 입력 값(x)과 가중치(w)의 곱을 모두 더한 후 그 값에 편향(b)을 더한 값입니다.

◼︎ 편향(bias): 가중합에 더하는 상수로, 하나의 뉴런에서 활성화 함수를 거쳐 최종으로 출력되는 값을 조절하는 역할을 합니다.

◼︎ 활성화 함수(activation function): 가중합의 결과를 놓고 1 또는 0을 출력해서 다음 뉴런으로 보내는데, 이때 0과 1을 판단하는 함수가 활성화 함수입니다. 활성화 함수로는 시그모이드 함수(Sigmoid function), 렐루 함수(ReLU function) 등이 있습니다.

용어에 익숙해졌다면 미분과 인공지능 관계를 알아봅시다.

그림 7-1에서 각 원(뉴런)의 값을 구하려면 입력 데이터, 가중치, 편향, 활성화 함수만 알면 됩니다. 입력 데이터는 이미 알고 활성화 함수도 가중합으로 알 수 있는 값이기 때문에 가중치(w)와 편향(b)만 구하면 됩니다.

그렇다면 가중치와 편향은 어떻게 구할까요? 가중치와 편향은 역전파로 구하는데, 이때 미분을 사용합니다.