조금 더 고도화된 조건을 넣어서 AB 테스트를 진행할 수도 있습니다. 검색 결과에 위젯을 넣을 때는 이것을 어디에 노출시키는지가 중요한 조건이기 때문입니다. 따라서 위젯 노출 위치를 조정한 그룹을 여러 개 만들어서 테스트할 수 있습니다. B 그룹은 위에서 세 번째, C 그룹은 위에서 다섯 번째, D 그룹은 위에서 일곱 번째, E 그룹은 위에서 열 번째로 나누어 테스트를 진행할 수 있습니다. 이렇게 위젯 성과와 위젯이 들어감으로써 기존 랭킹 제품이 밀려나 발생하는 카니발리제이션까지 고려하여 위젯 노출 여부뿐만 아니라 어느 위치에 노출시키는 것이 최적인지 알아낼 수 있습니다.

좋지 않은 예시는 검증하고자 하는 가설을 명확하게 입증할 수 없도록 변수를 여러 개 섞어 테스트하는 것입니다. 가령 마감임박 제품 판매를 촉진하고자 위젯뿐만 아니라 ‘마감임박’ 배지도 넣을 수 있습니다. 그렇다고 AB 테스트를 A 그룹은 위젯, 배지가 없고, B 그룹은 마감임박 할인 위젯 노출과 함께 위젯 외 공간에 ‘마감임박’ 배지까지 붙인 뒤 같이 테스트를 진행하면 위젯과 배지의 영향을 구분할 수 없게 됩니다. 테스트 결과 성과가 좋더라도 둘 중에 어느 것이 성과를 이끌어 냈는지 알 수 없습니다. 어쩌면 서로가 서로에게 영향을 주었을 수도 있으니까요.