정확도의 경우 위아래로 많은 변동이 있는 것을 볼 수 있습니다. 정확도가 10% 이상 차이가 나는 일부 에포크 사이는 기복이 매우 심합니다. 오차에 대한 그래프도 크게 다르지 않습니다. 특히 에포크 10 이후부터 검증 데이터셋에 대한 오차가 미세한 차이로 우상향하는 것을 볼 수 있습니다. 이것은 모델이 과적합되기 시작했으며 적절한 훈련을 계속하려면 학습률 값을 줄여야 한다는 것을 보여 줍니다.
이번에는 학습률 감소에 대한 결과를 확인하기 위해 아나콘다 프롬프트에서 다음 명령을 실행합니다.
> python es-python_8장.py --lr-scheduler
다음은 학습률 감소와 관련된 인수를 입력했을 때의 결과입니다.
Computation device: cpu 25,557,032 total parameters. 25,557,032 training parameters. INFO: Initializing learning rate scheduler Epoch 1 of 100 Training 0%| | 0/15 [00:00<?, ?it/s]C:\Users\Metanet\AppData\Roaming\Python\Python38\site-packages\torch\nn\functional.py:718: UserWarning: Named tensors and all their associated APIs are an experimental feature and subject to change. Please do not use them for anything important until they are released as stable. (Triggered internally at ..\c10/core/TensorImpl.h:1156.) return torch.max_pool2d(input, kernel_size, stride, padding, dilation, ceil_mode) 16it [09:02, 33.91s/it] Validating 16it [02:08, 8.06s/it] Train Loss: 2.1396, Train Acc: 61.04 Val Loss: 6.2706, Val Acc: 37.80 Epoch 2 of 100 Training 16it [05:41, 21.32s/it] Validating 16it [01:16, 4.80s/it] Train Loss: 0.5996, Train Acc: 69.68 Val Loss: 1.3892, Val Acc: 51.20 Epoch 3 of 100 Training 16it [04:17, 16.11s/it] Validating 16it [01:15, 4.75s/it] Train Loss: 0.5297, Train Acc: 74.50 Val Loss: 0.7101, Val Acc: 67.00 ... 중간 생략 ... Epoch 97 of 100 Training 16it [03:58, 14.91s/it] Validating 16it [01:16, 4.78s/it] Train Loss: 0.0017, Train Acc: 100.00 Val Loss: 0.5876, Val Acc: 83.40 Epoch 98 of 100 Training 16it [04:02, 15.13s/it] Validating 16it [01:16, 4.78s/it] Train Loss: 0.0017, Train Acc: 100.00 Val Loss: 0.5880, Val Acc: 84.00 Epoch 99 of 100 Training 16it [04:01, 15.08s/it] Validating 16it [01:14, 4.69s/it] Train Loss: 0.0019, Train Acc: 100.00 Val Loss: 0.5919, Val Acc: 83.80 Epoch 100 of 100 Training 16it [03:59, 14.94s/it] Validating 16it [01:14, 4.64s/it] Train Loss: 0.0023, Train Acc: 100.00 Val Loss: 0.5959, Val Acc: 83.60 Training time: 589.638 minutes Saving loss and accuracy plots... Saving model... TRAINING COMPLETE