하이퍼파라미터의 범위를 어떻게 선택할까요? 이것도 딥러닝이 공식 답변을 제시하지 못하는 질문입니다. 이 범위는 보통 딥러닝 기술자의 경험과 직관을 바탕으로 선택됩니다. 계산 자원에 제약이 있을 수도 있습니다. 예를 들어 너무 많은 유닛을 가진 밀집 층은 모델 훈련이나 추론 실행을 많이 느리게 할 수 있습니다.
종종 최적화할 하이퍼파라미터가 많으면, 기하급수적으로 증가한 하이퍼파라미터 조합을 탐색하는 데 필요한 계산 비용이 너무 커집니다. 이런 경우에는 그리드 서치보다 조금 더 복잡한 방법인 랜덤 서치(random search)14와 베이지안 기법(Bayesian method)15을 사용해야 합니다.