▲ 그림 6-2 지식 정제 과정

티처 점수와 스튜던트 점수의 분포 차이인 쿨백 라이블러 발산을 최소화함으로써 작지만 더 효율적인 스튜던트 모델이 티처를 모방하는 방법을 학습합니다.