더북(TheBook)

파라미터는 크게 모델이 학습할 때 자동으로 설정되는 파라미터와 사람이 수동으로 설정하는 하이퍼파라미터로 나뉩니다.

▼ 표 2-2 파라미터와 하이퍼파라미터 비교

구분

파라미터

하이퍼파라미터

목적

최적화 모델 구현

모델링 최적화 파라미터 값 도출

생성 주체

데이터를 학습한 모델이 생성

사용자가 판단해 생성

종류

- 인공 신경망 가중치(weight)

- 편향(bias)

- 학습률(learning rate, 학습 속도)

- 학습 크기(batch size, 한번에 학습되는 데이터 샘플 수)

- 반복 학습 횟수(epoch, 반복 학습 수)

조정 여부

임의 조정 불가

조정 가능

▲ 그림 2-18 LLM 모델 구축 과정

신간 소식 구독하기
뉴스레터에 가입하시고 이메일로 신간 소식을 받아 보세요.