2 기울기 소실 문제와 활성화 함수

앞서 델타식을 이용해 깊은 신경망의 계산이 가능해졌음을 이야기했습니다. 이제 수많은 층을 연결해 학습하면 여러 난제를 해결하는 인공지능이 완성될 것 같아 보입니다. 하지만 아직 한 가지 문제가 더 남아 있습니다.

그림 9-4 | 기울기 소실 문제 발생

그림 9-4와 같이 깊은 층을 만들어 보니 출력층에서 시작된 가중치 업데이트가 처음 층까지 전달되지 않는 현상이 생기는 문제가 발견되었습니다. 이는 활성화 함수로 사용된 시그모이드 함수의 특성 때문입니다.