이 쿼리는 각 중복 그룹에서 대표로 하나의 행만 남기고 나머지를 제거하는 방식입니다. PARTITION BY로 InvoiceNo와 StockCode를 기준으로 묶고 ROW_NUMBER()를 부여한 뒤 row_num = 1인 행만 남기는 구조입니다.

지금까지 한 실습에서 SQL을 사용해 결측 값, 이상치, 중복 데이터를 빠르게 정제하는 방법을 배웠습니다. 이러한 정제 작업은 분석의 정확도와 신뢰도를 높이는 가장 기본이자 중요한 단계입니다. 무엇보다도 챗GPT와 함께라면 복잡해 보이던 데이터 정제 흐름도 쉽게 설계할 수 있고, 반복적인 작업도 손쉽게 처리할 수 있습니다.

우리는 이제 데이터를 ‘깨끗하게’ 만드는 데 성공했습니다. 다음 장에서는 이렇게 정제된 데이터를 기반으로 분석 목적에 맞게 데이터를 변형하고 가공하는 전처리 기법을 배워 보겠습니다. 즉, 이제는 데이터를 ‘쓸모 있게’ 다듬어 갈 차례입니다.