신뢰 구간

신뢰 구간(confidence interval)은 실험 결과가 특정 신뢰 수준에서 어느 범위 안에 있을 가능성이 높은지를 나타내는 구간입니다. 예를 들어 95% 신뢰 수준에서 A 버전의 전환율 신뢰 구간이 20±2%고 B 버전의 신뢰 구간이 25±2%라면, A 버전의 실제 전환율은 95% 확률로 18%에서 22% 사이에 있을 것이고 B 버전의 전환율은 23%부터 27% 사이에 있을 것이라는 의미입니다. P-값이 낮으면서 두 버전의 신뢰 구간이 겹치지 않으면 그 차이가 통계적으로 유의미할 가능성이 높습니다.

베이즈 방법론

베이즈 방법론(Bayesian approach)은 사전 확률(prior probability)과 실험 데이터를 결합하여 사후 확률(posterior probability)을 계산하는 방식으로 가설을 검증하는 방법입니다. 기존의 빈도주의적(frequentist) 방법(P-값 기반)과는 다르게 실험 결과를 확률적 예측 형태로 해석할 수 있습니다. 예를 들어 “A 버전이 B 버전보다 우수할 확률이 85%다.”처럼 직관적인 방식으로 결과를 이해할 수 있습니다.