• GPT(Generative Pre-trained Transformer): 트랜스포머의 디코더 구조를 활용한 첫 번째 모델로, 오픈AI에서 발표했습니다. 대규모 텍스트 데이터를 사용해 사전 학습을 먼저 수행하고, 이후 작업에 맞게 파인튜닝(fine-tuning, 미세 조정)하도록 설계되었습니다. 이 모델은 자연어 생성, 대화형 AI 등에서 우수한 성능을 보입니다.

• BERT(Bidirectional Encoder Representations from Transformer): 2018년 구글에서 발표한 BERT는 트랜스포머의 인코더 구조를 기반으로 한 모델입니다. BERT의 핵심은 양방향 학습으로, 문맥의 앞뒤 정보를 모두 사용해 텍스트를 이해합니다. 이에 따라 텍스트 분류, 질의응답, 감성 분석 등에서 탁월한 성능을 발휘했습니다.

• GPT-2: 2019년 오픈AI는 GPT의 후속 모델인 GPT-2를 발표했습니다. GPT-2는 모델 크기와 학습 데이터의 규모를 대폭 확장해 15억 개 파라미터를 사용했으며, 지도 학습 없이도 다양한 작업(예 번역, 요약)을 수행할 수 있는 능력을 보여주었습니다.