GPT 모델의 발전 과정은 다음과 같습니다.
• GPT-1: 트랜스포머 아키텍처를 처음 도입해 자연어 처리에서 주목받기 시작했습니다.
• GPT-2: 더 큰 모델 크기와 데이터셋을 사용해 더욱 정교한 텍스트 생성 능력을 보여주었으며, 그 시기에 공개된 모델 중 가장 뛰어난 성능을 자랑했습니다.
• GPT-3: 이를 한 단계 더 발전시켜, 1,750억 개 파라미터를 통해 더욱 자연스럽고 인간과 같은 텍스트 생성 능력을 제공합니다.
• GPT-3.5: GPT-3의 학습 방식을 그대로 차용했으나, RLHF를 활용해 언어 모델의 성능을 높였습니다. 이후 챗(Chat) 서비스를 도입해서 챗GPT가 탄생했습니다.