더북(TheBook)

첫 번째 배치와 두 번째 배치를 비교해 보면 두 번째 배치의 토큰 ID가 하나씩 밀려 있다는 것을 알 수 있습니다(예를 들어 첫 번째 배치 입력의 두 번째 토큰 ID가 367인데, 이는 두 번째 배치 입력의 첫 번째 토큰 ID입니다). 그림 2-14에 나타나 있듯이 stride 매개변수는 슬라이딩 윈도가 배치에 걸쳐 입력 위를 이동하는 크기를 지정합니다.

연습문제 2.2

여러 가지 스트라이드와 문맥 크기를 가진 데이터 로더 만들기

데이터 로더의 작동 방식을 잘 이해하기 위해 max_length=2stride=2 또는 max_length=8stride=2와 같은 설정을 테스트해 보세요.

해답으로

신간 소식 구독하기
뉴스레터에 가입하시고 이메일로 신간 소식을 받아 보세요.