더북(TheBook)

BucketIterator는 데이터로더(dataloader)와 쓰임새가 같습니다. 즉, 배치 크기 단위로 값을 차례대로 꺼내어 메모리로 가져오고 싶을 때 사용합니다. 특히 Field에서 fix_length를 사용하지 않았다면 BucketIterator에서 데이터의 길이를 조정할 수 있습니다. BucketIterator는 비슷한 길이의 데이터를 한 배치에 할당하여 패딩(padding)을 최소화시켜 줍니다. BucketIterator에서 사용하는 파라미터는 다음과 같습니다.

ⓐ 첫 번째 파라미터: 배치 크기 단위로 데이터를 가져올 데이터셋

batch_size: 한 번에 가져올 데이터 크기(배치 크기)

device: 어떤 장치(CPU 혹은 GPU)를 사용할지 지정

이제 워드 임베딩 처리를 해야 합니다. 앞에서 단어 집합을 만드는 과정에서 vectors=none으로 설정했기 때문에 임베딩 처리 부분에 대해 정의하지 않았습니다. 이번 예제에서는 nn.Embedding()을 이용하여 임베딩 처리를 진행해 보겠습니다.

신간 소식 구독하기
뉴스레터에 가입하시고 이메일로 신간 소식을 받아 보세요.