■ 활성화 함수③ 렐루 함수

세 번째 활성화 함수는 렐루(ReLU) 함수입니다. 이 함수는 앞에서 살펴본 시그모이드 함수와 하이퍼볼릭탄젠트 함수와는 그 모습이 다릅니다.

그림 5-12 렐루 함수, 시그모이드 함수, 하이퍼볼릭탄젠트 함수의 그래프

왼쪽 그래프가 렐루 함수입니다. 이 함수의 모양을 살펴보면 입력값이 0보다 작은 숫자일 때는 0으로 바꾸어서 내보내는 것을 볼 수 있습니다. 입력값이 0보다 클 때는 입력받는 값이 출력되는 것을 볼 수 있습니다. 5를 입력하면 그대로 5를 내보내는 것처럼 말이죠.

이 함수의 이름이 ReLU(Rectified Linear Unit)인 이유도 바로 이것입니다. ‘고르게 한다’는 뜻의 Rectified와 ‘직선으로 된’이라는 뜻의 Linear Unit이 결합된 것이죠. 시그모이드 함수, 하이퍼볼릭탄젠트 함수와는 한눈에 봐도 차이가 보입니다.