데이터를 분석하기 전에 반드시 거쳐야 하는 과정이 바로 데이터 정제(data cleaning)와 데이터 전처리(data preprocessing)입니다. 이 두 용어는 엄밀히 따지면 의미가 다르지만, 실무에서는 보통 구분 없이 섞어서 사용할 때가 많습니다. 하지만 이 책에서는 독자 이해를 돕고자 각각의 개념을 간단히 나누어 설명해 보겠습니다.

우선 데이터 정제는 말 그대로 데이터를 ‘깨끗하게’ 만드는 작업입니다. 수집된 데이터에는 빠진 값(결측치), 잘못된 값(이상치), 중복된 행 등 오류가 포함되어 있을 수 있습니다. 이 문제를 그대로 두고 분석을 시작하면 평균값이나 비율 같은 지표가 왜곡될 수 있어 분석에 앞서 반드시 이러한 오류를 먼저 찾아내고 수정해야 합니다. 즉, 정제는 데이터 품질을 확보하는 단계라고 이해하면 됩니다.