7.6 솔루션 소개(2nd Prize)
이 대회에서는 주목할 만한 솔루션들이 많습니다. 그중에서 2등을 한 Limerobot 님의 솔루션18을 소개하겠습니다.
모델 선택
Limerobot 님은 다음 모델을 사용했습니다.
• BERT-base-uncased, BERT-base-cased, BERT-large-uncased, BERT-large-cased
• OpenGPT, OpenGPT2-small, OpenGPT2-medium
• XLNet-large-cased
다른 솔루션과 다른 점은 바로 위와 같이 더 크고 다양한 모델을 활용했다는 점입니다. 사실상 이 정도 규모의 모델을 학습하는 건 거의 불가능에 가깝습니다. 그러므로 선택한 모델 자체에 집중하기보다는 다른 부분에서 어떤 차별점을 가지고 있는지 확인해보겠습니다.