은닉층에서 사용하는 활성화 함수는 신경망에 비선형성을 더하는 핵심 요소입니다. 주로 시그모이드(sigmoid)5, 렐루(ReLU)6 같은 비선형 함수가 사용되며, 이 함수들은 입력 신호를 단순한 선형 조합이 아니라 복잡한 비선형 함수로 변환합니다. 이를 통해 신경망은 비선형적 문제를 학습하게 되며, 뉴런의 출력을 제한함으로써 계산의 안정성과 학습 성능을 개선할 수 있습니다.
▲ 그림 1-12 대표적인 활성화 함수
