대부분의 최신 LLM은 2017년 논문 “Attention Is All You Need”(https://arxiv.org/abs/1706.03762)에서 소개된 심층 신경망 구조인 트랜스포머(transformer)를 기반으로 합니다. LLM을 이해하려면 영어 텍스트를 독일어와 프랑스어로 번역하는 기계 번역을 위해 개발된 원본 트랜스포머를 알아야 합니다. 그림 1-4에 간소화된 트랜스포머 구조가 나타나 있습니다.