AB 테스트는 두 가지 버전 A와 B를 비교 평가하여 더 나은 성과를 내는 버전을 찾아내는 실험 방법론입니다. 기존 버전(컨트롤 그룹)과 테스트 그룹을 각기 다른 사용자에게 노출시킨 뒤 테스트 그룹이 기대하는 효과를 달성할 수 있는지 검증하는 것입니다. 주로 최선의 UX나 알고리즘을 테스트하여 사용자 경험을 최적화하는 데 사용됩니다. 예를 들어 기존 버전에서 구매 버튼이 하얀색이라면, 테스트 그룹에서는 빨간색 버튼을 배치하는 것입니다. 그 후 구매 버튼의 색상을 바꾸는 것이 구매율 상승에 유의미한 영향이 있는지 검증합니다.

넷플릭스의 가입 문구 변경 실험

넷플릭스는 AB 테스트를 프로덕트 개발에 적극적으로 사용하는 대표 기업입니다. UX뿐만 아니라 개인화 알고리즘, 인코딩 품질 등 프로덕트의 거의 모든 부분에서 AB 테스트를 진행하고 있죠. 특히 가입 문구를 두고 실행한 실험은 AB 테스트 성공 사례로 매우 유명합니다.

넷플릭스는 아직 구독하지 않은 고객들에게 노출되는 랜딩 페이지 상단 중앙에 위치한 구독 CTA(Call-To-Action) 버튼을 두고 여러 가지 카피를 실험했습니다. [JOIN NETFLIX], [JOIN NOW], [GET NETFLIX], [TRY IT NOW]를 A, B, C, D 그룹으로 두고 다변량 테스트를 했고, 가볍게 눌러 보기 좋은 [TRY IT NOW]가 가장 좋은 성과를 얻었습니다(한국어 웹 사이트에서는 [시작하기] 사용).