10배나 큰 신경망과 동일한 예측 성능을 내는 작은 서브네트워크를 찾는 것이 가능하다면 신경망 훈련과 추론에서 큰 영향을 미칠 수 있습니다. 최신 신경망 구조의 크기가 점점 커지는 것을 생각하면 이는 훈련 비용과 인프라를 줄이는 데 도움이 됩니다.

진짜라고 하기에 너무 좋게 들리나요? 맞습니다. 로터리 당첨 티켓을 효과적으로 찾을 수 있다면 실제로 매우 유용합니다. 하지만 이 글을 쓰는 시점에서 원본 신경망을 훈련하지 않고 당첨 티켓을 찾을 수 있는 방법은 없습니다. 가지치기 단계가 포함되어 일반적인 훈련 과정보다 더 많은 비용이 듭니다. 또한 원본 논문 발표 이후 연구자들은 대규모 네트워크에서 가중치 초기화에 따라 당첨 티켓을 찾지 못할 수 있고, 가지치기된 네트워크에서 초기 가중치에 대해 추가적인 실험을 해야 한다는 사실을 알아냈습니다.