다음은 훈련, 검증, 테스트로 분류된 데이터들의 수를 출력한 결과입니다.
Number of training examples: 476 Number of validation examples: 53 Number of testing examples: 12
훈련용은 476개, 검증용은 53개, 테스트용은 12개의 데이터셋으로 구성된 것을 확인할 수 있습니다.
데이터로더를 이용하여 데이터셋의 데이터를 메모리로 가져옵니다. 데이터를 가져올 때는 배치 크기만큼 나누어서 가져옵니다.
코드 6-52 메모리로 데이터 불러오기
BATCH_SIZE = 128
train_iterator = data.DataLoader(train_data,
shuffle=True,
batch_size=BATCH_SIZE) ------ 훈련 데이터셋은 임의로 섞어서 가져옵니다.
valid_iterator = data.DataLoader(valid_data,
batch_size=BATCH_SIZE)
test_iterator = data.DataLoader(test_dataset,
batch_size=BATCH_SIZE)