자연어 처리에 많이 쓰이는 모델로는 제이콥 델빈(Jacob Devlin, 2019)이 제안한 BERT(Bidirectional Encoder Representations from Transformer) 기반의 모델과 생성에 사용되는 GPT(Generative Pre-trained Transformer) 계열의 모델이 있다. 이름에서 알 수 있는 것처럼 BERT 모델과 GPT 모델은 모두 트랜스포머(Transformer) 아키텍처를 사용한다.
자연어 처리에 많이 쓰이는 모델로는 제이콥 델빈(Jacob Devlin, 2019)이 제안한 BERT(Bidirectional Encoder Representations from Transformer) 기반의 모델과 생성에 사용되는 GPT(Generative Pre-trained Transformer) 계열의 모델이 있다. 이름에서 알 수 있는 것처럼 BERT 모델과 GPT 모델은 모두 트랜스포머(Transformer) 아키텍처를 사용한다.