④, ④′ 하나의 LSTM 셀을 통과하면 셀(c_t) 상태와 은닉 상태(h_t)가 출력으로 주어집니다. 이때 셀 상태는 입력, 망각, 셀 게이트에 의해 계산되며, 은닉 상태는 출력 게이트에 의해 계산됩니다. 여기에서 사용되는 torch.mul()은 텐서에 곱셈을 할 때 사용합니다. 사용 방법은 다음과 같습니다.

import torch
x = torch.FloatTensor([[1], [2]]) ------ 임의의 텐서 생성
print(x)
print('--mul 적용--')
torch.mul(x, 3) ------ x라는 텐서의 원소에 3을 곱합니다.

다음은 torch.mul()이 적용된 결과입니다.

tensor([[1.],
        [2.]])
--mul 적용--
tensor([[3.],
        [6.]])

앞에서 게이트 위주의 셀에 대해 살펴보았다면 이번에는 전반적인 네트워크를 구성해 보겠습니다.