① 소프트맥스는 일정한 시퀀스의 숫자들을 0과 1 사이의 양의 수로 변환해서 클래스의 확률을 구할 때 사용합니다. 이때 사용하는 수식은 다음과 같습니다.

참고로 로그 소프트맥스(LogSoftmax)는 소프트맥스와 로그(log) 함수의 결합입니다.

소프트맥스 활성화 함수에서 발생할 수 있는 기울기 소멸 문제를 방지하기 위해 만들어진 활성화 함수입니다.

앞에서 정의한 인코더와 디코더를 이용하여 seq2seq 모델을 정의합니다. 인코더와 디코더를 이용한 seq2seq 네트워크는 다음 그림과 같습니다.

▲ 그림 10-18 seq2seq 네트워크