배치 정규화가 적용된 모델과 적용되지 않은 모델의 오차에 대한 그래프 결과가 어떤가요? 둘 다 시간이 흐를수록 오차가 줄어드는 것을 확인할 수 있습니다. 하지만 오차가 줄어드는 범위 및 값의 차이는 명백합니다. 배치 정규화가 적용된 모델의 경우 더 낮은 값으로 안정적인 범위 내에서 줄어들고 있는 것을 확인할 수 있습니다. 즉, 다른 말로 표현하면 배치 정규화가 적용된 모델은 에포크가 진행될수록 오차도 줄어들면서 안정적인 학습을 하고 있다고 할 수 있습니다.

배치 정규화가 성능에 어떤 영향을 미치는지 확인했다면 이번에는 드롭아웃에 대해 살펴보겠습니다.

드롭아웃을 알아보기에 앞서 훈련과 테스트 데이터셋이 어떻게 분포하는지 알아보겠습니다.

코드 8-15 데이터셋의 분포를 출력하기 위한 전처리

N = 50
noise = 0.3

x_train = torch.unsqueeze(torch.linspace(-1, 1, N), 1) ------ ①
y_train = x_train + noise * torch.normal(torch.zeros(N, 1), torch.ones(N, 1)) ------ ②

x_test = torch.unsqueeze(torch.linspace(-1, 1, N), 1)
y_test = x_test + noise * torch.normal(torch.zeros(N, 1), torch.ones(N, 1))