앞서 설명하지 않았던 새로운 파라미터만 간단히 살펴보겠습니다.

① 가중치 초기화 방법으로 kernel_initializer 파라미터를 사용합니다.

가중치 초기화 방법 중 자주 사용되는 몇 가지를 살펴보겠습니다.

확률 분포 기반의 가중치 초기화

확률 분포 기반의 초기화는 특정한 확률 분포에 기반하여 랜덤한(임의의) 값을 추출하여 가중치를 초기화합니다. 이때 균일 분포(uniform distribution)와 정규 분포(normal distribution)가 사용됩니다. 각각의 확률 분포 그래프는 다음 그림과 같습니다.

▲ 그림 6-12 균일 분포와 정규 분포

균일 분포는 최솟값과 최댓값 사이의 값들이 동일한 확률로 추출되는 분포입니다. -0.05에서 0.05 사이의 값을 동일한 확률로 추출하도록 설정되어 있습니다. 정규 분포는 종 모양의 분포를 갖습니다. 평균에 가까운 값일수록 더 높은 확률로 추출됩니다. 평균이 0, 표준편차가 0.05인 정규 분포에서 값을 추출하도록 설정되어 있습니다.