더북(TheBook)

연습문제 2.2

max_length=2stride=2인 데이터 로더를 만드는 코드는 다음과 같습니다.

dataloader = create_dataloader(
    raw_text, batch_size=4, max_length=2, stride=2
)

다음 형태의 배치를 만듭니다.

tensor([[  40,  367],
        [2885, 1464],
        [1807, 3619],
        [ 402,  271]])
신간 소식 구독하기
뉴스레터에 가입하시고 이메일로 신간 소식을 받아 보세요.