■ 활성화 함수② 하이퍼볼릭탄젠트 함수

두 번째 활성화 함수는 하이퍼볼릭탄젠트(Tanh) 함수입니다. 하이퍼볼릭탄젠트 함수는 시그모이드 함수와 거의 비슷하게 생겼습니다. 혹시 여러분은 차이점이 무엇인지 찾을 수 있나요?

그림 5-11 하이퍼볼릭탄젠트 함수와 시그모이드 함수

시그모이드 함수와 차이점은 바로 입력값이 음수일 때입니다. 입력값이 음수일 때 시그모이드 함수는 출력값이 0에 가까워졌지만, 하이퍼볼릭탄젠트 함수는 출력값이 -1에 가까워진다는 특징이 있습니다. 즉, 하이퍼볼릭탄젠트 함수는 값이 작은 신호를 -1에 가까운 숫자로 바꾸어서 내보냅니다.