4.2.1 실무에서 자주 만나는 ‘지저분한 데이터’

데이터를 정제해야 하는 이유를 머리로 이해하는 것과 실제 사례를 보고 느끼는 것은 큰 차이가 있습니다. 실제로 어떤 데이터가 ‘지저분하다’고 하는지 예를 들어 알아보겠습니다. 다음 표와 같은 고객 데이터가 있다고 가정해 봅시다.

겉보기에는 단순한 표지만, 조금만 자세히 들여다보면 곳곳에 문제점이 숨어 있습니다.

먼저 성별을 나타내는 값 중 하나가 ‘Female’이 아닌 ‘Femael’로 잘못 입력되어 있습니다. 이러한 오타는 성별 기준 분석을 할 때 ‘여성’이 두 그룹으로 나뉘어서 정확한 집계가 어려운 원인이 됩니다.

또 나이 정보에 -1이라는 비정상적인 값이 들어 있습니다. 사람 나이는 음수일 수 없으므로 이는 단순 입력 오류일 가능성이 큽니다. 이처럼 숫자 데이터라고 해서 모두 신뢰할 수 있지는 않으며, 값의 ‘정상성’도 함께 검토해야 합니다.