1.7 대규모 언어 모델 만들기
1. 밑바닥부터 대규모 언어 모델을 만들기 위한 세 가지 단계는 무엇인가요?
2. LLM에 사용되는 트랜스포머 구조의 핵심 아이디어는 무엇인가요?
3. GPT-3와 같은 LLM을 사전 훈련하는 데 사용되는 주요 작업은 무엇인가요?
4. LLM의 창발적 속성 개념에 대해 설명하세요.
5. 사전 훈련된 LLM을 미세 튜닝하는 것이 특정 작업에 도움이 되는 이유는 무엇인가요?
6. 사전 훈련된 LLM(베이스 모델)을 만드는 단계를 순서대로 나열하세요.
a. 텍스트 생성 작업에서 모델의 성능을 평가합니다.
b. (GPT와 같은) 트랜스포머 디코더 구조를 구현합니다.
c. 텍스트 데이터를 정제하고 토큰화하여 준비합니다.
d. 대규모 텍스트 데이터셋에서 모델을 다음 단어 예측 작업으로 훈련합니다.