• 하이퍼파라미터는 머신 러닝 모델의 구조, 층의 속성, 훈련 과정을 위한 설정입니다. 모델 가중치와는 다르게 1) 모델이 훈련되는 과정 동안 변하지 않고 2) 이산적인 경우가 많습니다. 하이퍼파라미터 최적화는 검증 데이터셋에서 손실을 최소화하는 하이퍼파라미터 값을 찾는 과정입니다. 하이퍼파라미터 최적화는 활발히 연구되는 분야입니다. 현재 가장 많이 사용되는 방법은 그리드 서치, 랜덤 서치, 베이지안 기법입니다.
▼ 표 3-7 가장 일반적인 머신 러닝 작업과 이에 맞는 마지막 층의 활성화 함수, 손실 함수, 모델 품질을 정량화하는 데 도움이 되는 지표
|
작업의 종류 |
출력층의 활성화 함수 |
손실 함수 |
Model.fit() 메서드를 호출할 때 지정하기 적절한 지표 |
추가적인 지표 |
|
회귀 |
'linear'(기본) |
'meanSquaredError' 또는 'meanAbsoluteError' |
(손실 함수와 동일) |
|
|
이진 분류 |
'sigmoid' |
'binaryCrossentropy' |
'accuracy' |
정밀도, 재현율, 정밀도-재현율 곡선, ROC 곡선, AUC |
|
단일 레이블 다중 분류 |
'softmax' |
'categoricalCrossentropy' |
'accuracy' |
오차 행렬 |