드롭아웃(dropout)이란 훈련할 때 일정 비율의 뉴런만 사용하고, 나머지 뉴런에 해당하는 가중치는 업데이트하지 않는 방법입니다. 물론 매 단계마다 사용하지 않는 뉴런을 바꾸어 가며 훈련시킵니다. 즉, 드롭아웃은 노드를 임의로 끄면서 학습하는 방법으로, 은닉층에 배치된 노드 중 일부를 임의로 끄면서 학습합니다. 꺼진 노드는 신호를 전달하지 않으므로 지나친 학습을 방지하는 효과가 생깁니다.

▲ 그림 8-40 드롭아웃

그림 8-40의 왼쪽은 일반적인 신경망이고, 오른쪽은 드롭아웃이 적용된 신경망의 모습입니다. 일부 노드들은 비활성화되고 남은 노드들로 신호가 연결되는 신경망 형태를 띠고 있습니다. 어떤 노드를 비활성화할지는 학습할 때마다 무작위로 선정되며, 검증 데이터로 평가할 때는 노드들을 모두 사용하여 출력하되 노드 삭제 비율(드롭아웃 비율)을 곱해서 성능을 평가합니다.

드롭아웃을 사용하면 훈련 시간이 길어지는 단점이 있지만, 모델 성능을 향상하기 위해 상당히 자주 쓰는 방법입니다.