입력층의 뉴런의 수는 784입니다. 우리가 넣는 데이터의 모습이 784개의 데이터가 한 줄로 이루어져있기 때문입니다. 앞에서 우리는 28×28개 픽셀로 이루어진 숫자의 모습을 이렇게 바꾸었습니다. 이제 이 데이터를 딥러닝 모델에 넣을 예정이며, 첫 번째 은닉층의 노드는 512개로 해보겠습니다. 그리고 첫 번째 은닉층에서 두 번째 은닉층으로 갈 때 활성화 함수는 렐루(ReLU) 함수를 사용할 예정입니다.
TIP
렐루 함수는 활성화 함수 중 하나입니다. 0보다 작은 값이 입력되면 0을 반환하고, 0보다 큰 값이 입력되면 그 값을 그대로 반환하는 함수입니다. 시그모이드 함수에 비해 학습이 더 잘 되기 때문에 최근 많이 사용하고 있습니다.
두 번째 은닉층의 노드는 256개로 해보겠습니다. 여기에서 마지막 층으로 갈 때에도 활성화 함수는 렐루 함수를 사용할 예정입니다. 마지막 노드가 10개인 이유는 입력된 이미지를 10개로 구분하기 위해서입니다. 그리고 가장 높은 확률의 값으로 분류하기 위해서 각 노드의 최종 값을 소프트맥스(softmax) 함수를 사용하여 나타냅니다.
TIP
소프트맥스 함수는 5.2절 활성화 함수에서 다루었습니다. 소프트맥스 함수는 입력된 여러 값을 0~1 사이의 값으로 모두 정규화하며 출력하는 함수입니다. 그리고 그 출력값들의 합은 항상 1이 되는 특성이 있습니다. 그래서 분류 문제에서 어떤 범주를 가장 높은 확률로 예측하는지 살펴보는 데 주로 사용합니다.