4-2 ReLU 활성화 함수를 사용한 신경망을 훈련할 때 이 함수의 입력이 0보다 작으면 활성화 값이 0이 됩니다. 이로 인해 은닉층에 있는 일부 노드가 계산에 기여하지 못합니다. 이런 노드를 이따금 죽은 뉴런이라고 부릅니다. ReLU 활성화 함수가 직접적으로 희소한 가중치를 만드는 것은 아니지만 활성화 출력이 0이면 이따금 가중치를 0으로 만들어 회복이 불가능해집니다. 이는 잘 훈련된 네트워크에는 정확도를 손해보지 않고 가지치기할 수 있는 희소한 가중치를 가진 서브네트워크가 포함되어 있다는 로터리 가설을 뒷받침합니다.