AB 테스트는 언제 어느 팀에 필요할까?
AB 테스트는 항상 모든 팀에 필요합니다. 테스트할 여건만 된다면 하는 것이 언제나 낫다고 권하고 싶습니다. 아무리 경험 많은 팀이라도 고객 반응을 100% 예측할 수는 없기 때문입니다. 저는 MAU가 수천만 명에 달하는 커머스 회사에서 8년을 일했습니다. 소비 트렌드를 두고 책과 칼럼을 쓴 적도 있습니다. 한국 소비자가 어떻게 행동하는지 꽤 잘 안다고 생각했습니다. 제게 조언해 주는 상사들은 어땠을까요? 아마존과 월마트에서 오랜 시간을 보내고 쿠팡에 합류해서 성공을 견인하는 사람들이었습니다. 함께 일하는 개발자, 디자이너, 데이터 분석가 모두 업계에서 경험이 풍부한 사람들이었고요. 이런 정보만 들으면 우리가 꽤나 경험 많은 팀이라서 대체로 성공할 것이라고 기대할 수도 있겠네요. 하지만 현실은 그렇지 않았습니다. 우리는 꽤나 많이 실패했습니다. 옆 팀도 마찬가지고요.
굳이 AB 테스트를 할 필요 없이 무조건 진행해야 하는 버그 수정 건들을 제외하고 거의 100% 모든 것에서 AB 테스트를 진행합니다. 변경 하나하나 성공이냐 실패냐로 나뉜 명확한 성적표를 받는다는 의미입니다. 성과가 명확하게 긍정적일 때만 ‘성공’했다고 평가합니다. 통계적으로 유의미한 차이가 없거나 긍정적인 효과가 있기는 했으나 다른 영역에서 카니발리제이션(cannibalization)1 이 더 컸다면 실패로 봅니다.