LESSON 02
    생성 모델의 파라미터 크기와 종류

    다음은 거대 언어 모델(Large Language Model, LLM)이라고 부르는 트랜스포머 아키텍처의 파라미터 개수다. 생성 모델로 잘 알려진 OpenAI의 GPT를 보자. GPT 계열의 모델은 파라미터 개수를 늘리면서 성능이 향상시키는 결과를 보여 주었다.

     

    그림 9-5 | 가디 싱어(Gadi Singer, 2021) 주요 트랜스포머 아키텍처의 파라미터 개수4

    신간 소식 구독하기
    뉴스레터에 가입하시고 이메일로 신간 소식을 받아 보세요.