Note ≡ | 순도와 불순도

순도는 범주 안에서 같은 종류의 데이터만 모여 있는 상태이며, 불순도는 서로 다른 데이터가 섞여 있는 상태입니다.

▲ 그림 3-14 순도와 불순도

결정 트리에서 불확실성을 계산하는 방법은 두 가지입니다.

엔트로피(entropy)

확률 변수의 불확실성을 수치로 나타낸 것으로, 엔트로피가 높을수록 불확실성이 높다는 의미입니다. 즉, 엔트로피 값이 0과 0.5라고 가정할 때 다음과 같은 도출이 가능합니다.