1.5 대규모 데이터셋 활용하기

1. GPT-3와 BERT 같은 대규모 언어 모델에서 사용되는 훈련 데이터셋의 주요 특징은 무엇인가요?

2. 대규모 언어 모델의 성능을 위해 훈련 데이터셋의 크기와 다양성의 중요성을 설명하세요.

3. 대규모 언어 모델에서 ‘토큰화’의 개념은 무엇인가요?

4. 대규모 언어 모델의 ‘사전 훈련’ 개념과 중요성을 설명하세요.

5. 대규모 언어 모델의 맥락에서 미세 튜닝의 개념과 장점을 설명하세요.