7.5.1 LSTM 구조

LSTM 구조는 순전파와 역전파 과정으로 살펴보겠습니다.

LSTM 순전파

LSTM은 기울기 소멸 문제를 해결하기 위해 망각 게이트, 입력 게이트, 출력 게이트라는 새로운 요소를 은닉층의 각 뉴런에 추가했습니다.

그럼 LSTM에서 사용되는 각 게이트를 자세히 알아보겠습니다.

망각 게이트

망각 게이트(forget gate)는 과거 정보를 어느 정도 기억할지 결정합니다. 과거 정보와 현재 데이터를 입력받아 시그모이드를 취한 후 그 값을 과거 정보에 곱해 줍니다. 따라서 시그모이드의 출력이 0이면 과거 정보는 버리고, 1이면 과거 정보는 온전히 보존합니다.

0과 1 사이의 출력 값을 가지는 h_t-1과 x_t를 입력 값으로 받습니다. 이때 x_t는 새로운 입력 값이고 h_t-1은 이전 은닉층에서 입력되는 값입니다. 즉, h_t-1과 x_t를 이용하여 이전 상태 정보를 현재 메모리에 반영할지 결정하는 역할을 합니다.