더북(TheBook)

Q | 로터리 티켓 가설(lottery ticket hypothesis)이란 무엇일까요? 이 가설이 사실이라면 실제로 어떻게 유용할까요?

로터리 티켓 가설은 신경망 훈련에 대한 개념입니다. 랜덤하게 초기화된 신경망 안에 독립적으로 같은 횟수만큼 훈련했을 때 전체 네트워크의 테스트 세트 정확도에 도달할 수 있는 서브네트워크(subnetwork)(또는 로터리 당첨 티켓(winning ticket))가 있다고 가정합니다. 2018년 조너선 프랭클(Jonathan Frankle)과 마이클 카빈(Michael Carbin)이 이 아이디어를 처음 제안했습니다.

이 장은 로터리 티켓 가설을 단계별로 소개합니다. 그다음 로터리 티켓 가설 방법의 하나로 작은 서브네트워크를 만드는 주요 기법 중 하나인 가중치 가지치기(weight pruning)에 대해 알아보겠습니다. 끝으로 실제적인 영향과 이 가설의 한계에 대해 논의하겠습니다.

신간 소식 구독하기
뉴스레터에 가입하시고 이메일로 신간 소식을 받아 보세요.