더북(TheBook)

연습문제 2.2

max_length=2stride=2인 데이터 로더를 만드는 코드는 다음과 같습니다.

dataloader = create_dataloader(
    raw_text, batch_size=4, max_length=2, stride=2
)

다음 형태의 배치를 만듭니다.

tensor([[  40,  367],
        [2885, 1464],
        [1807, 3619],
        [ 402,  271]])