LLM을 대형이라고 부르는 이유는 두 가지 요소 때문입니다.
• 방대한 학습 데이터: 인터넷 웹페이지, 서적, 논문, 기사 등 대규모 텍스트 데이터를 학습합니다. 데이터 규모는 수십억에서 수조 개의 토큰에 이르기도 합니다. 이를 통해 모델은 다양한 언어 패턴과 표현 방식을 학습합니다.
• 수많은 파라미터: 파라미터는 학습 과정에서 조정되는 내부 가중치 값입니다. 최신 LLM은 수십억에서 수천억 개에 이르는 파라미터를 가집니다. 파라미터가 많을수록 더 복잡한 패턴을 표현할 수 있지만, 성능은 데이터 품질과 학습 전략에도 크게 영향을 받습니다.
용어 토큰(token)은 문장을 처리하기 위해 나눈 최소 단위입니다. 일반적으로 단어 또는 단어의 일부 단위로 나뉩니다.
파라미터(parameter)는 모델 내부에서 학습을 통해 조정되는 값으로, 입력과 출력의 관계를 결정하는 역할을 합니다.