더북(TheBook)

4.3.3 중복 데이터 확인하기

데이터를 다룰 때 흔히 간과되는 부분 중 하나는 중복 데이터 처리입니다. 예를 들어 같은 주문 번호(InvoiceNo)에 같은 상품 코드(StockCode)가 여러 번 기록되어 있다면 이는 중복 입력 오류일 수도 있고, 실제로 같은 상품을 여러 개 주문한 것일 수도 있습니다.

이처럼 중복 여부를 정확히 파악하려면 단순히 눈으로 확인하는 것만으로는 부족하며, 조건을 설정한 SQL 쿼리로 검토해야 합니다. 이 경우에도 챗GPT에 질문하면 바로 사용할 수 있는 유용한 쿼리를 얻을 수 있습니다.

프롬프트

BigQuery에 있는 dataanalysis-449703.chapter1.retail 테이블에서 InvoiceNo와 StockCode가 같은 조합이 여러 번 등장하는 중복 데이터를 찾고 싶습니다. 그에 대한 SQL 쿼리를 알려 주세요.