그림 2-19에 나타나 있듯이 input_embeddings는 임베딩된 입력 샘플입니다. 다음 장에서 이를 처리할 수 있는 LLM 핵심 모듈을 구현하기 시작할 것입니다.

▲ 그림 2-19 입력 전처리 파이프라인의 일부로 입력 텍스트가 먼저 개별 토큰으로 분할됩니다. 그런 다음 이 토큰이 어휘사전을 사용해 토큰 ID로 변환됩니다. 토큰 ID는 임베딩 벡터로 변환되고 동일 크기의 위치 임베딩이 더해집니다. 결과적으로 LLM 층의 입력으로 사용할 입력 임베딩이 만들어집니다.