기준선 데이터 설정

테스트 시작 전에 컨트롤 그룹과 테스트 그룹의 기준 데이터를 수집하여 테스트 영향을 정확하게 평가합니다. 테스트 결과를 이 기준선과 비교할 수 있습니다.

성과 검증이 용이한 단위로 테스트

중요한 것은 테스트 그룹의 성과 검증이 용이한 단위로 테스트되어야 한다는 점입니다. 예를 들어 쿠팡에 ‘유통 기한 마감임박 제품 추천 위젯’을 넣는 상황을 가정해 봅시다. 당시 OKR은 로켓 프레시의 이익률 증가였는데, 제품 폐기가 손실의 한 축이었습니다. 따라서 폐기가 임박한 제품을 할인하여 판매를 촉진함으로써 폐기 제품을 줄여 이익률을 상승시키는 것이 목표였습니다. 마감임박 제품에는 할인이 들어가므로, 고객 입장에서도 저렴하게 제품을 구입할 수 있는 기회가 되어 구매 전환율 또한 상승하리라고 기대했죠.

따라서 이 기능을 AB 테스트한다면, 검증하고 싶은 가설은 ‘쿠팡 검색에서 식품 관련 키워드를 검색했을 때 유통 기한 마감임박 할인 위젯을 노출시키면 이익률과 전환율이 상승할 것이다’로 볼 수 있습니다. 이 가설을 검증하려면 A 그룹(컨트롤 그룹)에는 위젯을 노출하지 않고 B 그룹에는 위젯을 노출하도록 AB 테스트를 설계하면 됩니다.