• 토큰화된 데이터에 슬라이딩 윈도를 적용하여 LLM 훈련을 위한 입력-타깃 쌍을 생성합니다.

• 파이토치 임베딩 층은 토큰 ID에 해당하는 벡터를 추출하는 룩업 연산을 수행합니다. 만들어진 임베딩 벡터는 토큰에 대한 실수 표현으로 LLM과 같은 딥러닝 모델을 훈련하는 데 매우 중요합니다.

• 토큰 임베딩이 각 토큰에 대해 일관된 벡터 표현을 제공하지만 시퀀스에 있는 토큰 위치에 대한 개념이 없습니다. 이를 개선하기 위해 절대 위치 임베딩과 상대 위치 임베딩이란 두 종류의 위치 임베딩이 있습니다. 오픈AI의 GPT 모델은 절대 위치 임베딩을 토큰 임베딩 벡터에 더하며, 모델 훈련 과정에서 최적화합니다.