2.3.1 GPT

GPT는 LLM의 발전을 상징하는 모델 중 하나로, 오픈AI에서 개발했습니다. GPT는 트랜스포머 디코더 부분만을 사용한 모델입니다. 앞서 트랜스포머에서 살펴보았듯이 디코더는 마스크드 셀프 어텐션 메커니즘을 사용하므로 이전 단어들을 줬을 때 다음 단어가 무엇인지 잘 맞힙니다. GPT는 순방향으로 문장을 분석해 다음 문장을 생성하는 강점이 있습니다. 또한, 사람이 글을 쓰는 것과 유사하게 문장을 생성할 수 있습니다.

▲ 그림 2-20 GPT 구조