층의 크기와 가중치 초기화 방법 말고도 모델과 훈련에 관련된 하이퍼파라미터가 많습니다.
• 코드 3-1, 3-2와 같이 모델에 있는 밀집 층의 개수
• 밀집 층의 커널에 사용된 초기화 방법
• 가중치 규제(regularization)(8.1절 참조) 여부와 규제의 강도
• 드롭아웃(dropout) 층(4.3.2절 참조)의 포함 여부와 드롭아웃 비율
• 훈련에 사용할 옵티마이저 종류('sgd'나 'adam'. INFO BOX 3.1 참조)
• 모델을 훈련할 에포크 횟수
• 옵티마이저의 학습률(learning rate)
• 훈련이 진행됨에 따라 옵티마이저의 학습률을 점진적으로 감소시킬지 여부와 감소 비율
• 훈련에 사용할 배치 크기
마지막 다섯 항목은 모델 구조 자체와는 관련이 없다는 점에서 조금 특별하며, 대신 모델 훈련 과정에 대한 설정입니다. 그렇지만 훈련 결과에 영향을 미치기 때문에 하이퍼파라미터로 간주됩니다.12 다양한 종류의 층(4장, 5장, 9장에서 설명할 합성곱 층이나 순환 층)으로 구성된 모델에는 튜닝할 수 있는 하이퍼파라미터가 더 많습니다. 따라서 간단한 딥러닝 모델이라도 튜닝할 하이퍼파라미터가 수십 개가 됩니다.