다음은 거대 언어 모델(Large Language Model, LLM)이라고 부르는 트랜스포머 아키텍처의 파라미터 개수다. 생성 모델로 잘 알려진 OpenAI의 GPT를 보자. GPT 계열의 모델은 파라미터 개수를 늘리면서 성능이 향상시키는 결과를 보여 주었다.

그림 9-5 | 가디 싱어(Gadi Singer, 2021) 주요 트랜스포머 아키텍처의 파라미터 개수⁴