출력은 다음과 같습니다.
토큰 ID: tensor([[ 40, 367, 2885, 1464], [ 1807, 3619, 402, 271], [10899, 2138, 257, 7026], [15632, 438, 2016, 257], [ 922, 5891, 1576, 438], [ 568, 340, 373, 645], [ 1049, 5975, 284, 502], [ 284, 3285, 326, 11]]) 입력 크기: torch.Size([8, 4])
여기서 보듯이 토큰 ID 텐서의 차원이 8 × 4입니다. 배치에 4개의 토큰을 가진 텍스트 샘플 8개가 들어 있다는 의미입니다.