테스트 백엔드 과정을 변경하는 경우 A/A 테스트 수행을 고려해야 합니다. A/A 테스트는 모든 사용자에게 동일한 경험을 제공하며, 이를 통해 계측과 로그 수집을 제대로 하고 있는지 확인할 수 있습니다. 테스트를 수행하는 중에는 추적에 오류가 있는지 알기 어렵습니다. 결과 자체에 의해 가려질 수 있기 때문입니다. 반대로 오류를 감지하기 쉽더라도 테스트를 시작한 후에 발견했다면, 테스트를 멈추고 문제를 수정한 다음 재시작해야 하기 때문에 귀중한 시간을 낭비하게 됩니다.

대부분의 테스트가 실패한다고 생각하는 게 좋습니다. 넷플릭스는 테스트의 90%가 실패한다고 간주합니다.¹ 대부분의 테스트가 성공하지 못하기 때문에 그 이유를 알고 싶어하는 질문을 많이 받게 될 것입니다. 계측이나 로깅이 정확히 되었는지 확인해 달라고 할 수도 있습니다. 테스트 결과가 극적으로 개선되었다면 잘못된 점이 없는지 의심해야 합니다. 다시 결과를 해석하고 롤아웃 전체를 분석해야 할지도 모릅니다.

마지막으로 하고 싶은 말은 자신을 힘들게 하지 말라는 겁니다! 테스트는 원래 복잡합니다. 현업에서 계속 일하면서 배우다 보면 질문의 의도를 이해하고 분류하는 일에도 능숙해질 것입니다.