분산 조정 기반의 초기화
분산 조정 기반의 초기화란 확률 분포를 기반으로 추출한 값으로 가중치를 초기화하되, 이 확률 분포의 분산을 가중치별로 동적으로 조절해 주는 것입니다. 그리고 분산을 조절할 때는 해당 가중치에 입력으로 들어오는 텐서의 차원(fan in)과 결괏값으로 출력하는 텐서의 차원(fan out)이 사용됩니다.
다음은 케라스에서 사용되는 분산 조정 기반의 가중치 초기화 방식입니다.
• LeCun 초기화 방식: 이 방식에는 lecun_uniform과 lecun_normal이 있습니다. 이 방식은 입력 값의 크기가 커질수록 초기화 값의 분산을 작게 만듭니다. 그 결과로 0에 가까운 값들이 추출되는데, 수식은 다음과 같습니다.
• Xavier 초기화 방식: 이 방식에는 glorot_uniform과 glorot_normal이 있습니다. 이 방식은 fan in과 fan out을 모두 고려하여 확률 분포를 계산합니다. LeCun 방식에서 2를 곱한 후 fan in과 fan out을 합한 크기로 나누어 준 값으로 확률 분포를 조정합니다. 수식으로 표현하면 다음과 같습니다.
이 방식은 하이퍼볼릭 탄젠트를 활성화 함수로 사용하는 신경망에서 많이 사용됩니다. 하지만 렐루를 활성화 함수로 사용할 때는 잘 작동하지 않는 단점이 있습니다.