파라미터는 크게 모델이 학습할 때 자동으로 설정되는 파라미터와 사람이 수동으로 설정하는 하이퍼파라미터로 나뉩니다.
▼ 표 2-2 파라미터와 하이퍼파라미터 비교
|
구분 |
파라미터 |
하이퍼파라미터 |
|
목적 |
최적화 모델 구현 |
모델링 최적화 파라미터 값 도출 |
|
생성 주체 |
데이터를 학습한 모델이 생성 |
사용자가 판단해 생성 |
|
종류 |
- 인공 신경망 가중치(weight) - 편향(bias) |
- 학습률(learning rate, 학습 속도) - 학습 크기(batch size, 한번에 학습되는 데이터 샘플 수) - 반복 학습 횟수(epoch, 반복 학습 수) |
|
조정 여부 |
임의 조정 불가 |
조정 가능 |

▲ 그림 2-18 LLM 모델 구축 과정