MODEL_PATH = "../input/fkms-bert-trained-model"
with open(os.path.join(MODEL_PATH, "config.json"), "r") as cj:
config = json.load(cj)
bert_config = BertConfig(**config)
transformer_layer = transformers.TFBertModel(bert_config)
model = build_model(transformer_layer, max_len=MAX_LEN)
model.load_weights(os.path.join(MODEL_PATH, "jigsaw_bert.h5"))
model.summary()
모델 학습 시 저장했던 Configuration 파일을 가져와서 BERT 모델의 베이스 구조를 구성하고, 학습 때 사용했던 모델 구조를 그대로 불러와 빌드합니다. 그다음 학습된 가중치를 가져와 모델에 로드합니다. 이로써 테스트 데이터 추론을 위한 모든 준비가 끝났습니다.
result = model.predict(dataset, verbose=1)
import pandas as pd
submission = pd.read_csv(os.path.join(DATA_PATH, "sample_submission.csv"))
submission["prediction"] = result
submission.to_csv("submission.csv", index=False)