이 기준 아래에서는 테스트 절반도 성공하기가 쉽지 않습니다. 왜 그럴까요? 모든 사람은 서로 다른 니즈와 행동 패턴을 보이는데, 우리는 이 모든 사람을 뭉뚱그려 ‘고객’이라고 부르며 테스트를 합니다. 아무리 사전에 고객 인터뷰를 하고 데이터를 기반으로 기능 설계를 하고 사용성 테스트를 한다고 해도 모든 사람의 반응을 100% 예측할 수는 없습니다. 할 수 있는 최선은 일단 테스트를 하고 결과를 보고 피드백을 받아 개선하는 것뿐입니다.

그렇다면 고객이 몇 명일 때부터 AB 테스트가 가능할까요? 이론적으로는 실험군이 30명 정도여도 유의미한 결과를 얻을 수 있다고 합니다. 다만 테스트군 규모가 클 때는 짧은 기간 내에도 유의미한 결과를 쉽게 얻을 수 있지만, 테스트군 규모가 작을 때는 결과를 얻기까지 짧으면 2~4주에서 길면 몇 개월이 걸릴 수도 있습니다. 그래서 현실적으로는 극초기 단계 스타트업보다는 고정 사용자가 어느 정도 생긴 상태의 기업에서 AB 테스트를 시작하고는 합니다. 일반적으로 사용자가 많은 글로벌 기업에서도 일주일 이상 테스트를 하길 권장합니다.