더북(TheBook)

활성화 함수

활성화 함수(activation function)는 입력이 뉴런에 전달된 다음 일어나는 과정이다. 함수의 결과에 따라 값이 출력 축색돌기에서 다음 뉴런으로 전달될지 정해진다.

일반적으로 시그모이드 함수(sigmoid function, 그림 5-4)와 쌍곡 탄젠트(hyperbolic tangent)를 활성화 함수로 사용하여 출력값을 계산한다.

▲ 그림 5-4 시그모이드 함수

시그모이드 함수는 0과 1, 두 값 중 하나를 출력한다. 프로그래머는 다음과 같이 함수를 작성할 수 있다.


return 1.0 / (1.0 + Math.exp(-x));

 

필요에 따라 곡선의 첨예도(sharpness)는 변경될 수 있지만, 대부분의 애플리케이션에서는 직선함수가 좋다.

신간 소식 구독하기
뉴스레터에 가입하시고 이메일로 신간 소식을 받아 보세요.