훈련 과정

LLM 구축은 데이터 수집, 데이터 전처리, 모델 아키텍처 선택, 훈련, 검증, 활용 과정으로 진행됩니다. 모델 아키텍처로는 트랜스포머 기반(GPT, BERT 등)이 주로 사용되며, 훈련하기 전에 모델의 파라미터 크기를 설정합니다.

파라미터는 매개변수를 말하며, 함수나 기계의 동작을 조정하는 값을 의미합니다. 조금 더 AI에 가까운 관점에서 본다면 파라미터는 모델 내부에 저장되어 입력 데이터를 처리하고 출력을 내놓는 방식에 영향을 주는 값을 의미합니다.