02

A/B 테스트, 어떻게 해야 할까?

본질적으로 A/B 테스트는 알아보려는 대상을 2가지로 만들고 비교하여 어떤 버전이 더 나은지 알아보는 방법입니다. 아주 간단하게는 전자상거래 사이트의 장바구니 위치를 우측 상단에서 우측 하단으로 옮기는 사례가 있습니다. 어떤 팀원은 장바구니 위치를 하단으로 옮기면 고객이 장바구니에 상품을 넣기만 하고 방치하는 일이 줄어들 것으로 예상합니다. 테스트의 규모와 특성에 따라 계측 및 추적부터 분석에 이르기까지 데이터 엔지니어링이 관여할 수 있습니다.

이와 관련해서 테스트의 백엔드 추적을 설정하는 서드파티 도구를 알아 두는 것이 중요합니다. 서드파티 도구나 인하우스 솔루션 중 무엇을 사용하든 결과를 검증하고 테스트 로그를 쉽게 남길 수 있어야 합니다.

테스트 메트릭을 검증할 때는 항상 미묘한 차이를 더 깊이 파고들어야 합니다. 문제를 빠르게 감지할 수 있는 영역은 꽤 다양합니다.