AB 테스트 결과의 유효성을 판단하는 데 통계학에서 사용되는 몇 가지 주요 방법론을 사용할 수 있습니다. 이들 방법론은 데이터가 우연히 나타난 결과인지, 아니면 실제 유의미한 차이를 반영하는지 분석합니다. 주로 사용되는 방법론은 다음과 같습니다.

P-값

P-값(P-value)은 실험 결과가 우연히 발생했을 가능성을 나타내는 숫자입니다. 예를 들어 AB 테스트에서 A 버전과 B 버전의 성과 차이가 단순한 우연일 수도 있다고 가정해 봅시다. P-값이 높다면, 두 버전 간 성과 차이가 실제로 의미 있는 것이 아니라 우연히 생긴 가능성이 크다는 의미입니다. 반대로 P-값이 낮다면, 두 버전 차이는 단순한 우연이 아니라 실제로 의미 있는 차이일 가능성이 크다는 의미입니다. 통상적으로 P-값이 0.05(5%) 이하일 때 두 버전 간에 의미 있는 차이가 있다고 판단합니다.