4-1 로터리 티켓 가설 방법으로 얻은 서브네트워크의 성능이 (원본 네트워크와 비교하여) 좋지 않다는 사실을 알았다고 가정해 보죠. 다음으로 시도할 수 있는 방법은 무엇일까요?

4-2 단순성과 효율성 덕분에 ReLU(rectified linear unit) 활성화 함수는 신경망, 특히 그레이디언트 소실(vanishing gradient) 문제를 완화하는 데 도움이 되므로 딥러닝 훈련에서 가장 인기 있는 활성화 함수 중 하나입니다. ReLU 활성화 함수는 max(0, x)로 정의됩니다. 입력 x가 양수이면 x를 반환하고, 입력이 음수이거나 0이면 0을 반환한다는 의미입니다. 로터리 티켓 가설이 ReLU 활성화 함수를 사용한 신경망 훈련과 어떤 관련이 있나요?

정답 확인