6.4.3 SH 방식을 사용한 자원 효율적인 하이퍼파라미터 탐색
랜덤 탐색의 아이디어를 한 단계 더 발전시켜 사이킷런은 적절한 하이퍼파라미터 설정을 보다 효율적으로 찾는 SH(Successive Halving) 방식의 일종인 HalvingRandomSearchCV를 제공합니다. SH 방식은 후보 설정 집합에서 하나의 설정이 남을 때까지 적합하지 않은 하이퍼파라미터 설정을 연속적으로 버립니다. 이 과정을 다음 단계로 요약할 수 있습니다.
1. 랜덤 샘플링을 통해 후보 설정의 집합을 샘플링합니다.
2. 제한된 자원, 예를 들어 (전체 훈련 세트가 아니라) 훈련 데이터의 일부로 모델을 훈련합니다.
3. 예측 성능을 기준으로 하위 50%를 버립니다.
4. 가용한 자원을 늘려 단계 2로 돌아갑니다.
하나의 하이퍼파라미터 설정이 남을 때까지 이 단계가 반복됩니다. 그리드 서치를 위한 SH 방식인 HalvingGridSearchCV도 제공합니다. 이 클래스는 랜덤 샘플 대신 사용자가 지정한 모든 하이퍼파라미터 설정을 단계 1에서 사용합니다.
다음 코드처럼 HalvingRandomSearchCV를 임포트한 후 SH 방식의 랜덤 서치를 사용할 수 있습니다.