앞서 언급했듯이 적절하게 AB 테스트를 하기 위해서는 실험군의 무작위 할당, 적당한 표본 크기 설정, 기준 데이터 수집 등이 필요합니다. 결과로 나타난 데이터가 우연의 산물이 아니라 유의미한 결과인지 통계적 검증을 거쳐야 합니다. 따라서 대부분의 회사에서는 이런 절차를 매번 수기로 진행하기보다는 AB 테스트 도구를 사용합니다. 아직도 회사에서 사용하는 AB 테스트 도구가 없다면 도입을 고려해야 합니다.

전 세계에서 많이 사용되는 도구로는 Optimizely, Google Optimize, VWO, Adobe Target 등이 있습니다. 한국 스타트업 프로덕트인 핵클 등을 사용하기도 합니다. 기능이 약간씩 다르고 가격도 다르기 때문에 어떤 도구가 좋은지는 각 회사 상황에 따라 선택하면 됩니다. 그렇다면 있으면 좋은 기능에는 무엇이 있을까요?

우선 AB 테스트가 제대로 기능하게 하려면 핵심적인 요소들을 빠짐없이 지원하고 있는지 체크해야 합니다. 자동으로 실험군을 무작위 할당하고 적당한 표본 크기를 설정하고 기준 데이터를 수집하고 통계적 유의성을 판단하는 것이죠. 그 외에 있으면 편한 기능들은 다음과 같습니다.