BERT가 발표된 이후, 많은 연구가 이루어져 이에 파생된 다양한 자연어 처리 모델이 만들어졌습니다. 이렇게 만들어진 다양한 모델의 구조와 사전 학습 모델을 편리하게 활용할 수 있는 라이브러리가 필요한데, 대표적으로 가장 많이 쓰는 것이 허깅 페이스(Hugging Face)에서 만든 transformers⁷ 라이브러리입니다. transformers 라이브러리는 자연어 처리와 관련한 거의 모든 모델을 편하게 불러오고 사용할 수 있게 구성되어 있습니다. 이 솔루션의 학습 프로세스에 사용할 BERT-base 모델은 물론이고, 지금까지 알려진 다양한 자연어 처리 관련 모델과 사전 학습 모델을 손쉽게 불러올 수 있습니다. 이 라이브러리는 캐글 노트북에 기본으로 설치되어 있기 때문에 따로 설치할 필요 없이 사용할 수 있습니다.