LLM의 성공은 많은 LLM의 기반이 되는 트랜스포머 구조와 방대한 훈련 데이터 덕분입니다. 이를 통해 수동으로 인코딩하기 어려운 다양한 언어적 뉘앙스, 문맥, 패턴을 감지할 수 있습니다.

트랜스포머 구조를 기반으로 모델을 구현하고 대규모 훈련 데이터셋으로 LLM을 훈련하는 방식은 NLP 분야를 근본적으로 변화시켰습니다. 사람의 언어를 이해하고 상호 작용하기 위해 필요한 유능한 도구를 제공했습니다.

이 책의 주요 목표는 ChatGPT 같은 트랜스포머 구조 기반의 LLM을 단계적으로 코드로 구현하면서 LLM을 이해하는 것입니다. 이어지는 절에서 이를 위해 필요한 기초적인 개념을 소개합니다.