• relu 활성화 함수를 사용하는 Dense 층: 아핀 변환의 중요한 성질 하나는 여러 아핀 변환을 반복해서 적용해도 결국 하나의 아핀 변환이 된다는 것입니다(따라서 처음에 이 하나의 아핀 변환을 적용할 수 있습니다). 다음과 같은 2개의 아핀 변환을 생각해 보죠. affine2(affine1(x)) = W2 • (W1 • x + b1) + b2 = (W2 • W1) • x + (W2 • b1 + b2) 이는 선형 변환 부분이 행렬 W2 • W1이고, 이동 부분이 벡터 W2 • b1 + b2인 하나의 아핀 변환입니다. 결국 활성화 함수 없이 Dense 층으로만 구성된 다층 신경망은 하나의 Dense 층과 같습니다. 하나의 선형 모델이 심층 신경망으로 위장한 것과 같습니다! 이것이 relu 같은 활성화 함수(그림 2-13)가 필요한 이유입니다. 활성화 함수 덕분에 Dense 층을 중첩하여 매우 복잡하고 비선형적인 기하학적 변형을 구현하며 심층 신경망에 매우 풍부한 가설 공간을 제공할 수 있습니다. 다음 장에서 이에 대해 자세히 알아보겠습니다.

▲ 그림 2-13 relu 활성화 함수를 적용한 아핀 변환