1장은 대규모 언어 모델(large language model, LLM)을 고수준에서 소개하고 애플리케이션, 구축 단계, 트랜스포머 구조를 살펴봅니다. 이 장은 효과적인 LLM을 개발하기 위한 두 가지 중요한 단계인 사전 훈련(pretraining)과 미세 튜닝(fine-tuning) 개념을 설명합니다. 트랜스포머 구조(transformer architecture)와 인코더(encoder) 모듈, 디코더(decoder) 모듈은 물론 셀프 어텐션 메커니즘(self-attention mechanism)을 포함해 핵심 구성 요소를 소개합니다. 또한 밑바닥에서부터 LLM을 구축하기 위한 세 단계 계획을 보여 줍니다. LLM 구조와 데이터 전처리 과정 구현하기, LLM을 사전 훈련하여 파운데이션 모델 만들기, 파운데이션 모델을 미세 튜닝하기입니다.

질문에 대한 답은 마지막에 있습니다.