>>> def entropy(p):
... return - p * np.log2(p) - (1 - p) * np.log2((1 - p))
>>> x = np.arange(0.0, 1.0, 0.01)
>>> ent = [entropy(p) if p != 0 else None for p in x]
>>> plt.ylabel('Entropy')
>>> plt.xlabel('Class-membership probability p(i=1)')
>>> plt.plot(x, ent)
>>> plt.show()
앞의 코드가 출력한 그래프는 그림 3-19와 같습니다.
▲ 그림 3-19 클래스 소속 확률에 따른 엔트로피 값