7.4.6 학습 with TPU

이제 TPU를 사용해 BERT 모델을 학습시켜보겠습니다. TPU 학습을 위해서는 다음 순서로 프로세스를 진행해야 하며, 이 작업을 할 때는 캐글 노트북 생성과 캐글 데이터셋 생성에 관한 사전 지식이 있어야 합니다. 관련 내용은 1장에서 자세히 설명하고 있으니, 같이 참고하면 좋겠습니다.

1. 데이터 전처리 후 TFRecord 파일로 변환

TPU에 데이터를 효율적으로 전달하기 위해 전처리된 데이터셋을 미리 TFRecord 파일로 변환해 놓습니다(7.4.5절 참고). 이때 데이터 전처리를 위한 노트북을 따로 만드는 것이 좋습니다. 왜냐하면 만들어진 TFRecord를 TPU에 사용하기 위해 거쳐야 하는 단계가 있는데 노트북이 하나라면 이 과정이 매우 귀찮아지기 때문입니다. 또한, TPU는 제한 시간이 있기 때문에 제한 시간이 없는 CPU 노트북에서 데이터를 만들고, 만들어진 데이터를 TPU 커널에 연결하는 방식으로 진행하는 것이 더 효율적이고 시간도 아낄 수 있습니다.