다음 그림은 훈련에 대한 시각화 결과입니다.8
▲ 그림 8-43 훈련과 검증에 대한 정확도와 손실에 대한 시각화
이전 결과와 비교하면 어떤가요? 네 번째 에포크 이후 검증에 대한 손실(val_loss)이 증가하고는 있지만 이전과 비교하면 나쁘지 않은 결과입니다. 또한, 훈련과 검증에 대한 정확도 역시 모두 증가했습니다.
그럼 드롭아웃은 제거하고 양방향 RNN만 적용했을 때는 어떨까요? 앞의 모델에서 드롭아웃층만 제거해 보겠습니다.
코드 8-23 양방향 RNN만 적용한 모델
model = tf.keras.Sequential([
tf.keras.layers.Embedding(encoder.vocab_size, 64),
tf.keras.layers.Bidirectional(tf.keras.layers.LSTM(64)),
tf.keras.layers.Dense(64, activation='relu'),
tf.keras.layers.Dense(1, activation='sigmoid')
])
model.summary()
8 실행 결과가 책의 그래프와 다를 수 있습니다.