6.4.2 랜덤 서치로 하이퍼파라미터 설정을 더 넓게 탐색하기

그리드 서치는 완전 탐색(exhaustive search)이기 때문에 사용자가 지정한 파라미터 그리드(parameter grid)에 최적의 하이퍼파라미터가 포함되어 있다면 반드시 찾을 수 있습니다. 하지만 하이퍼파라미터 그리드 설정이 크면 그리드 서치 비용이 많이 소요됩니다. 여러 파라미터 조합을 샘플링하는 또 다른 방식은 랜덤 서치(randomized search)입니다. 랜덤 서치에서는 분포(또는 이산적인 집합)에서 랜덤하게 하이퍼파라미터 설정을 샘플링합니다. 그리드 서치와 달리 랜덤 서치는 하이퍼파라미터 공간에 대해 완전 탐색을 수행하지 않습니다. 비용과 시간 측면에서 더 효율적으로 넓은 범위의 하이퍼파라미터 값을 탐색할 수 있습니다. 이런 개념이 그림 6-9에 나타나 있습니다. 이 그림은 그리드 서치와 랜덤 서치를 통해 탐색하는 아홉 개의 하이퍼파라미터 설정을 보여 줍니다.

▲ 그림 6-9 아홉 개의 하이퍼파라미터 설정을 샘플링하는 그리드 서치와 랜덤 서치