SECTION 1.8 요약
• LLM은 명시적인 규칙 기반 시스템과 간단한 통계적 방법에 대부분 의존했던 자연어 처리 분야를 변화시켰습니다. LLM의 등장으로 새로운 딥러닝 기반의 방법이 제시되었고 사람의 언어를 이해하고, 생성하고, 번역하는 데 큰 발전을 이루었습니다.
• 최신 LLM의 훈련은 크게 2개의 주요 단계로 이뤄집니다.
◦ 먼저 레이블이 없는 대규모 텍스트 말뭉치에서 문장에 있는 다음 단어(레이블)를 예측하는 식으로 사전 훈련됩니다.
◦ 그런 다음 지시를 따르거나 분류 작업을 수행하기 위해 레이블이 있는 작은 타깃 데이터셋에서 미세 튜닝됩니다.
• LLM은 트랜스포머 구조를 기반으로 합니다. 트랜스포머 구조의 핵심 아이디어는 어텐션 메커니즘입니다. 이를 통해 LLM이 한 번에 한 단어씩 생성할 때 전체 입력 시퀀스를 선택적으로 참조할 수 있습니다.