2.2.2 예제: 베이지안 A/B 테스트

A/B 테스트는 서로 다른 두 가지 방법 간의 효과의 차이를 밝히기 위한 통계적 디자인 패턴이다. 예를 들어 제약 회사는 A 신약과 B 신약의 효능에 어떤 차이가 있는지 궁금하다. 회사는 환자 그룹 중 일정 비율을 대상으로 A 신약을, 나머지 환자를 대상으로 B 신약을 테스트할 것이다(비율은 흔히 50% 대 50%지만 우리는 조건을 다르게 할 것이다). 테스트를 충분히 시행한 후 회사 내부의 통계학자들은 효능을 측정하여 어느 약이 더 나은지 판단한다.

마찬가지로 프론트엔드쪽 웹 개발자는 어느 웹사이트 디자인이 더 많은 전환율(conversion)을 내는지 알고 싶어한다. 전환율이란 웹사이트 방문자가 회원으로 가입하거나, 무언가를 구매하거나, 기타 다른 행동을 하는 것을 말한다. 웹 개발자는 방문객의 일부는 A 사이트로 이동시키고, 나머지 방문객은 B 사이트로 이동시킬 것이다. 그리고 방문객이 행동을 전환하는지 여부를 기록한다. 이러한 배치와 전환율은 기록되고, 이후에 분석된다.

A/B 테스트의 핵심은 그룹 간의 차이점이 단 하나뿐이라는 점이다. 따라서 측정값의 의미 있는 변화가 바로 차이로 연결될 수 있다.

사후실험분석은 보통 평균차이검정(difference of means test)이나 비율차이검정(difference of proportions test)과 같은 ‘가설검정(hypothesis test)’이라는 것을 사용하여 진행한다. 여기에는 ‘Z 스코어(Z-score)’ 같이 잘못 이해하는 측정치나 혼동스러운 ‘p-값’ 같은 것이 관련된다(이건 물어보지 말길). 만일 여러분이 통계학 과정을 이수했다면 아마 이런 기법을 배웠을 것이다(이 기법을 반드시 배워야 하는 것은 아니다). 그리고 만일 여러분이 나와 같다면 이 기법이 마음 편하지는 않았을 것이다. 그랬다 해도 좋다. 베이지안적으로 이 문제를 해결하는 방법은 훨씬 더 자연스럽다.