4 불용어 제거

의미 없는 단어, 즉 불용어가 너무 많이 등장하면 문서의 특성이 잘 드러나지 않는다. 이처럼 의미 없는 단어, 욕설 등 제거하려는 용어를 불용어 목록에 미리 지정해 두고 삭제할 수 있다.

주의할 점은 조사를 지우기 위해 ‘이’나 ‘은’을 불용어 목록으로 지정하면 조사만 삭제되는 것이 아니라 온전한 의미를 지니는 명사까지 삭제될 수 있다는 점이다. 예를 들어 이빨의 ‘이’나 금은의 ‘은’도 삭제된다. 이럴 때는 위에서 사용했던 형태소 분석기를 통해 품사를 지정해 추출하거나 Noun extractor를 사용해 명사만 추출할 수 있다.

여기서는 불용어 목록을 만들어서 불필요한 단어를 제거하는 방법을 다음 네 단계를 거쳐 사용해 보겠다.