인공 신경망의 성능을 높이기 위해 여러 과학자가 함수의 모습을 고안하고 적용하면서 다양한 활성화 함수가 만들어졌습니다. 지금부터 우리는 여러 활성화 함수를 살펴볼 텐데, 이 내용은 앞으로 우리가 인공 신경망을 실습할 때 사용하는 개념이므로 제대로 알고 넘어가는 것이 좋습니다. 그럼 지금부터 대표적인 활성화 함수인 시그모이드, 하이퍼볼릭탄젠트, 렐루, Leaky 렐루 함수에 관해 순서대로 살펴보겠습니다.

■ 활성화 함수 ① 시그모이드 함수

첫 번째로 소개할 함수는 바로 시그모이드(Sigmoid) 함수입니다. 시그모이드 함수는 로지스틱 함수를 변형한 함수입니다. 갑자기 시그모이드, 로지스틱이라는 용어가 나와서 혼란스럽죠?

그림 5-9 | 인구 수 증가를 나타내는 로지스틱 함수

로지스틱 함수는 다양한 곳에서 사용되는데 주로 컴퓨터 과학보다는 생물 그리고 생물과 환경과의 연구를 진행하는 생태학에서 사용하기 위해 만들어졌습니다.