여기에서 사용할 예제는 트위터에 올라온 재해 관련 트윗⁶입니다.

코드 10-59 데이터셋 메모리로 로딩

train_data = pd.read_csv('..\chap10\data\train.csv')
test_data = pd.read_csv('..\chap10\data\test.csv')

이 예제에서는 사전 훈련된 버트를 이용하여 임베딩 벡터를 생성합니다. 따라서 전체 네트워크에서 버트 계층에 필요한 입력 부분만 필요하며, 은닉층은 트랜스포머 블록(transformer block)(버트 계층)을 사용합니다.

▲ 그림 10-14 버트 구조