이렇게 하나의 뉴런으로 여러 신호가 들어갈 때는 다음 그림과 같이 관문처럼 활성화 함수를 거칩니다.

그림 5-8 활성화 함수

마치 뇌에서 여러 신호를 받을 때 역치 개념을 사용하여 신호 세기를 조절해서 받듯이, 인공 신경망에서는 활성화 함수로 신호를 조절하죠.

인공 신경망의 성능을 높이기 위해 여러 과학자가 함수 모습을 고안하고 적용하면서 다양한 활성화 함수를 만들었습니다. 지금부터 여러 활성화 함수를 살펴볼 텐데, 이 내용은 앞으로 우리가 인공 신경망을 실습할 때 사용하는 개념이므로 제대로 알고 넘어가는 것이 좋습니다. 그럼 지금부터 대표적인 활성화 함수인 시그모이드, 하이퍼볼릭탄젠트, 렐루, Leaky 렐루 함수를 순서대로 살펴보겠습니다.