샘플 크기

테스트 대상을 50 대 50으로 나누었다면 두 집단의 크기가 거의 비슷해야 합니다. 테스트 대상을 다른 비율로 나누었다면 예상되는 가중치로 샘플 크기를 검증해야 합니다.

시작과 중단 날짜(해당되는 경우 가중치 증가분도 포함)

테스트를 1%, 5%, 10%처럼 단계를 밟아 천천히 롤아웃하면 큰 규모로 발생할 수 있는 부정적 효과를 피할 수 있습니다. 설계나 무작위 추출 방식 등에 버그가 있을 수 있고, 연휴 동안 실행될 수도 있으므로, 그 기간에 수집한 데이터를 제외하거나 별도로 평가해야 합니다.

두 그룹 모두에 속하는 사용자

어떤 사용자가 오류로 인해 대조군과 테스트군 양측에 속했다면 그 사용자를 테스트에서 제외해야 합니다. 두 그룹 모두에 속하는 사용자가 많다면 테스트를 다시 해야 할지도 모릅니다.

상황에 따른 제약

테스트에 따라 테스트 대상에 대해 특정한 제약을 둘 수 있습니다. 이를테면 항공사는 동일한 예약 번호를 갖는 모든 사용자에게 동일한 경험을 제공해야 합니다. 이로 인해 테스트 샘플 크기의 균형이 맞지 않는 순간이 있을 수 있지만, 자체적으로 해결됩니다.