파이토치에서 제공하는 데이터셋 사용

토치비전(torchvision)은 파이토치에서 제공하는 데이터셋들이 모여 있는 패키지입니다. MNIST, ImageNet을 포함한 유명한 데이터셋들을 제공하고 있습니다. 다음 URL에서 파이토치에서 제공하는 데이터셋을 확인할 수 있습니다.

https://pytorch.org/vision/0.8/datasets.html

파이토치에서 제공하는 데이터셋을 내려받으려면 먼저 requests 라이브러리를 설치해야 합니다. requests는 HTTP 요청에 대한 처리를 위해 사용하며, 기본 내장 모듈이 아니기 때문에 필요하다면 별도로 설치해야 합니다.

> pip install requests

다음은 MNIST 데이터셋을 내려받는 예제입니다.

import torchvision.transforms as transforms

mnist_transform = transforms.Compose([
    transforms.ToTensor(),
    transforms.Normalize((0.5,), (1.0,))
]) ------ 평균이 0.5, 표준편차가 1.0이 되도록 데이터의 분포(normalize)를 조정

from torchvision.datasets import MNIST
import requests
download_root = '../chap02/data/MNIST_DATASET' ------ 내려받을 경로 지정

train_dataset = MNIST(download_root, transform=mnist_transform, train=True, download=True) ------ 훈련(training) 데이터셋
valid_dataset = MNIST(download_root, transform=mnist_transform, train=False, download=True) ------ 검증(validation) 데이터셋
test_dataset = MNIST(download_root, transform=mnist_transform, train=False, download=True) ------ 테스트(test) 데이터셋