테스트는 한 번 진행된다고 끝나는 것이 아닙니다. 특히 최근의 애자일과 이터레이티브 테스팅(iterative testing) 기조에서는 한 번에 큰 변화를 주기보다는 빠르고 조그맣게 테스트를 시작하되, 이전 테스트에서 인사이트를 얻어 지속적으로 개선해 나가는 것을 선호하기도 합니다. 고객 피드백에서 배움을 얻고 그것을 바탕으로 다시 이터레이션(반복)하면서 끊임없이 개선하죠.

앞서 다룬 로켓 프레시의 ‘유통 기한 마감임박 제품 추천 위젯’을 테스트 하는 상황을 다시 예로 들어 보겠습니다. 테스트는 ‘쿠팡 검색에서 식품 관련 키워드를 검색했을 때 마감임박 할인 위젯을 노출시키면 이익률과 전환율이 증가할 것이다’는 가설을 검증하려고 진행했습니다. A군에는 마감임박 위젯이 없고 B군에는 위젯을 노출하여 둘을 비교했죠. 그런데 테스트를 돌려 보니 다소 명확하지 않은 결과가 도출되었습니다. 전환율은 어느 정도 상승했으나 이익률은 오히려 감소했습니다.

분석해 보니 마감임박 제품은 자동 할인이 적용된 탓에 이익률이 일반 제품보다 낮았고, 전환율 증가분과 폐기 손실 방어분이 이익률 감소분을 능가하지 못한 것이었습니다. 이것 참 애매하네요. 그렇다면 이런 상황에서는 어떻게 해야 할까요?