---

# 0 이하 표본의 개수를 센다. 즉, 곡선 아래인 0 이하 영역은
# A 사이트가 B 사이트보다 나쁠 확률을 의미한다.
print(“A 사이트가 B 사이트보다 나쁠 확률: %.3f“ % (delta_samples < 0).mean())
print(“A 사이트가 B 사이트보다 나을 확률: %.3f“ % (delta_samples > 0).mean())

---

 

 

결과

A 사이트가 B 사이트보다 나쁠 확률: 0.102
A 사이트가 B 사이트보다 나을 확률: 0.897

---

 

만일 이 확률이 너무 높아 의사결정을 내릴 수 없다면 B 사이트에서 더 많이 실험해볼 수 있다(B 사이트는 적은 표본으로 시작하므로 B 사이트의 추가 데이터는 A 사이트의 추가 데이터보다 추론에 영향을 미치는 정도가 크다).

모수 true_p_A, true_p_B, N_A, N_B를 가지고 delta의 사후확률분포가 어떤 모습인지 알아보라. 주목할 점은 A 사이트와 B 사이트의 표본 크기 차이가 언급되지 않았다는 점이다. 이런 경우 당연히 베이지안 추론이 적합한 방법이다.

나는 여러분이 이런 형식의 A/B 테스트가 가설검정보다 자연스럽다는 것을 느꼈으면 좋겠다. 가설검정은 실무에 도움이 되기는커녕 아마도 더 혼란스러울 것이다. 5장에서 이 모델의 확장판 두 가지를 볼 수 있다. 첫 번째는 좋은 사이트를 만들기 위하여 동적으로 수정하는 데 도움이 될 것이고, 두 번째는 분석을 수식 하나로 줄여 계산 속도를 높일 것이다.