하지만 BERT는 처음 등장할 때부터 엄청난 파라미터 수와 학습 시간으로 유명했습니다. 이때는 아직 캐글에서 TPU를 지원하지 않았던 시기였고, 대부분의 사람들은 어마어마한 크기의 모델을 학습할 수 있는 컴퓨터 자원을 가지고 있지 않았습니다. 그래서 퍼블릭 리더보드에서는 BERT를 학습할 수 있는 사람과 하지 못하는 사람으로 나뉘어 랭킹이 매겨지는 듯했습니다.

저희도 처음부터 BERT를 학습할 수 있는 리소스가 충분하지는 않았습니다. 방법을 찾던 도중, 코랩에서 TPU를 무료로 제공한다는 것을 알게 되었고 많은 시행착오를 거쳐 대회에 활용할 수 있을 정도로 환경을 구성하기에 이르렀습니다. 코랩뿐만 아니라 구글에서 서비스하는 클라우드 플랫폼(GCP)에 남아 있는 무료 크레딧까지 동원해 가면서 학습을 진행했습니다. 이렇게 해서 대회 중간에 은메달권(상위 5%) 안에 들어갈 수 있었습니다.

이후 대회를 진행하고 있는 상위권의 다른 사람들과 연락을 취하여 최종적으로 5명이 한 팀으로 구성됐습니다. 다 같이 밤을 새가면서 노력한 끝에 공개 리더보드에서 최종 10위를 달성할 수 있었으나, 비공개 리더보드에서 아쉽게 26위로 떨어졌습니다. 매우 아쉬웠지만, 덕분에 많은 분을 알게 되고, 무엇보다도 스스로 많은 것을 배울 수 있었던 대회였습니다.