4. 1번과 2번에서 일어나는 일은 다음과 같습니다.

5. GPT 같은 자기 회귀 모델은 이전 출력을 미래 예측을 위한 입력으로 사용합니다. 즉 GPT가 이전 시퀀스를 기반으로 새로운 단어를 생성한다는 의미입니다. 따라서 생성된 텍스트에 일관성과 유창성이 보장됩니다.

6. GPT 모델, 특히 GPT-3는 층 개수와 파라미터 개수 측면에서 원본 트랜스포머 모델보다 훨씬 큽니다. 늘어난 크기와 복잡성 덕분에 다양한 작업을 높은 정확도로 수행하는 능력을 가집니다.