• RoBERTa(Robustly optimized BERT Pretraining approach): Facebook AI는 2019년 BERT의 학습 방식을 최적화한 RoBERTa를 발표했습니다. 학습 데이터와 시간을 더 많이 사용하고, BERT의 일부 제한을 제거하여 더 강력한 성능을 달성했습니다.

• T5(Text-To-Text Transfer Transformer): 2020년 구글은 자연어 처리 작업을 텍스트 입력 → 텍스트 출력으로 통합한 T5를 발표했습니다. 이 모델은 번역, 요약, 질의응답 등 다양한 작업을 단일 프레임워크에서 처리하도록 설계되어 다목적 언어 모델로 활용됩니다.

• GPT-3: 2020년 오픈AI는 1,750억 개 파라미터를 가진 초대규모 언어 모델 GPT-3를 발표했습니다. GPT-3는 별도의 파인튜닝 없이도 퓨샷(few-shot) 학습과 제로샷 학습을 통해 새로운 작업을 수행하는 능력을 선보이며, 인간 수준의 텍스트 생성 능력을 보여주었습니다.