■ 활성화 함수 ② 하이퍼볼릭탄젠트 함수

두 번째 활성화 함수는 하이퍼볼릭탄젠트(Tanh) 함수입니다. 하이퍼볼릭탄젠트 함수는 시그모이드 함수와 비슷하게, 아니 거의 비슷하게 생겼습니다. 혹시 여러분은 차이점이 무엇인지 찾을 수 있겠나요?

그림 5-11 | 하이퍼볼릭탄젠트 함수와 시그모이드 함수

시그모이드 함수와의 차이점은 바로 입력값이 음수일 경우입니다. 입력값이 음수일 때 시그모이드 함수는 출력값이 0에 가까워졌지만, 하이퍼볼릭탄젠트 함수는 출력값이 -1에 가까워진다는 특징이 있습니다. 즉, 하이퍼볼릭탄젠트 함수는 값이 작은 신호를 -1에 가까운 숫자로 바꾸어서 내보냅니다.

시그모이드 함수를 사용하여 출력값이 0에 가까워지면 신경망이 잘 학습하지 못한다는 한계점이 있습니다. 하지만 하이퍼볼릭탄젠트 함수는 0이 아닌 -1의 값을 출력하기 때문에 이 한계를 넘을 수 있습니다.

TIP