코드 10-67 y 값에 대한 정의
from tensorflow.keras.utils import to_categorical
y = seqs[:,-1] ------ 모든 행과 마지막 열만 취합니다(-1은 마지막 열을 의미).
y = to_categorical(y, num_classes=vocSize) ------ 케라스에서 제공하는 to_categorical()을 사용하여 원-핫 인코딩을 적용합니다.
데이터 준비가 완료되었으니 이제 모델을 생성하고 훈련시킵니다.
코드 10-68 모델 생성 및 훈련
from tensorflow.keras.layers import LSTM
from tensorflow.keras.models import Sequential, Model
from tensorflow.keras.layers import Flatten, Dense
from tensorflow.keras.layers import Embedding
model = Sequential() ------ 모델 생성
model.add(Embedding(vocSize, 10, input_length=maxLen-1,))
model.add(LSTM(32))
model.add(Dense(vocSize, activation="softmax")) ------ 각 단어의 임베딩 벡터가 10차원
model.compile(loss="categorical_crossentropy", metrics=["accuracy"],
optimizer="adam")
model.fit(x, y, epochs=200)