AB 테스트 성공은 컨트롤 그룹과 테스트 그룹을 어떻게 설계하고 구성하는지에 크게 의존합니다. 다음은 AB 테스트 실험 그룹을 효과적으로 설계하는 몇 가지 핵심 원칙입니다.

무작위 할당

컨트롤 그룹과 테스트 그룹에 속하는 참가자를 무작위로 할당함으로써 양 그룹 간에 시스템적인 차이가 발생하지 않도록 해야 합니다. 가령 넷플릭스에서 홈 화면 UI 테스트를 한다고 가정합시다. 컨트롤 그룹은 주로 홈 화면에 추천된 콘텐츠를 보는 성향이 강하고 테스트 그룹은 직접 키워드를 검색해서 콘텐츠를 찾는 경향이 강하다면, 이 두 그룹에서 진행하는 AB 테스트에는 각 그룹별 성향이 큰 영향을 미칠 것입니다. 이런 성향적 차이가 테스트 결과에 영향을 미치지 않도록 무작위로 그룹을 만들어야 합니다.

충분한 표본 크기

통계적 유의성을 확보하고 테스트 결과를 일반화할 수 있도록 충분한 수의 참가자를 포함시켜야 합니다. 이를 위해 사전에 통계적으로 유의미한 결과를 얻을 수 있다고 판단하는 표본 크기를 정해 놓는 편이 좋습니다.