지금까지 TPU를 활용한 BERT 학습 방법과 저희 팀의 솔루션과 상위 팀의 솔루션을 같이 살펴봤습니다. 컴페티션이 끝난 뒤 저희 팀의 솔루션과 상위 팀의 솔루션을 비교해본 결과, 공통점은 BERT, GPT2 등의 트랜스포머 기반 모델을 사용했다는 점과 손실 함수를 컴페티션의 평가 방법에 따라 적절히 수정했다는 점이었습니다.

대회에서 좋은 등수를 기록하기 위해서는 앞서 접근 전략에 설명했듯이 최신 모델이 무엇인지 인지하고, 코드를 대회에 맞게 활용해야 합니다. 또 많은 EDA와 캐글의 디스커션 채널을 통해 다양한 아이디어를 떠올리고 체계적으로 실험할 수 있어야 합니다. 마지막으로 앞서 실험했던 많은 모델을 앙상블해 모델 다양성을 확보해야 합니다.

Toxic 컴페티션은 BERT 논문이 나온 이후로 처음으로 캐글에서 진행된 자연어 처리 컴페티션입니다. 이전에는 RNN 기반의 모델이 거의 대부분이었으나 BERT가 기존의 RNN 계열의 모델을 뛰어넘는 엄청난 성능을 낸다는 것을 알게 된 사람들은 BERT 모델 학습을 시도하기 위해 많은 노력을 기울였습니다.