배치 정규화가 소개된 논문에 따르면 기울기 소멸과 폭발 원인은 내부 공변량 변화(internal covariance shift) 때문인데, 이것은 네트워크의 각 층마다 활성화 함수가 적용되면서 입력 값들의 분포가 계속 바뀌는 현상을 의미합니다. 따라서 분산된 분포를 정규분포로 만들기 위해 표준화와 유사한 방식을 미니 배치(mini-batch)³에 적용하여 평균은 0으로, 표준편차는 1로 유지하도록 하며 수식은 다음과 같습니다.

① 미니 배치 평균을 구합니다.

② 미니 배치의 분산과 표준편차를 구합니다.

③ 정규화를 수행합니다.

④ 스케일(scale)을 조정(데이터 분포 조정)합니다.