사용한 모델의 종류는 LSTM, BERT, GPT2 이렇게 세 종류입니다. 최적의 결과를 찾기 위해 같은 아키텍처 모델이라도 배치사이즈, 학습률(Learning-rate), 손실 함수 가중치(Loss weight) 등의 하이퍼 파라미터를 다르게 부여하면서 실험했습니다. 그렇게 만들어진 여러 체크포인트 가운데, 리더보드 점수와 훈련 때 측정한 Overall 및 Subgroup, BPSN, BNSP AUC 등의 평가 지표(Metric)를 종합적으로 비교한 후 적절한 것을 골라 앙상블을 시도했습니다.

당시 벤치마크 성능이 우수했던 트랜스포머 계열 모델(BERT, GPT2)뿐만 아니라, 트랜스포머 논문이 나오기 이전에 일반적으로 텍스트 모델에 사용한 LSTM 모델을 일부 채택해 사용했습니다. 트랜스포머 계열의 모델은 파라미터 수가 많아 추론 시간이 오래 걸리므로 무작정 모델 수를 늘릴 수 없었고, 같은 구조의 모델은 비슷한 답을 낼 가능성이 있으므로 앙상블할 때는 다양한 아키텍처의 모델을 사용하는 것이 효과를 높이는 데 유리하기 때문입니다.