GPTDatasetV1 클래스는 파이토치 Dataset 클래스를 기반으로 하며 데이터셋에서 개별 행을 추출하는 방법을 정의합니다. 각 행은 input_chunk 텐서에 할당된 (max_length만큼) 여러 개의 토큰 ID로 구성됩니다. target_chunk 텐서는 각 행에 상응하는 타깃을 가지고 있습니다. 파이토치 DataLoader와 이 데이터셋을 결합할 때 이 데이터셋에서 어떤 데이터가 반환되는지 알아보는 것이 좋습니다. 이는 직관적이고 명확하게 이해하는 데 도움이 됩니다.

NOTE