자연어 처리란 우리가 일상생활에서 사용하는 언어 의미를 분석하여 컴퓨터가 처리할 수 있도록 하는 과정입니다. 자연어 처리는 딥러닝에 대한 이해도 필요하지만, 그에 앞서 인간 언어에 대한 이해도 필요하기 때문에 접근하기 어려운 분야입니다. 또한, 언어 종류가 다르고 그 형태가 다양하기 때문에 처리가 매우 어렵습니다. 예를 들어 영어는 명확한 띄어쓰기가 있지만, 중국어는 띄어쓰기가 없기 때문에 단어 단위의 임베딩이 어렵습니다. 또한, 자연어 처리를 위해 사용되는 용어들도 낯섭니다.

다음 그림은 자연어 처리가 가능한 영역과 발전이 필요한 분야입니다. 예를 들어 스팸 처리 및 맞춤법 검사는 완성도가 높은 반면, 질의응답 및 대화는 아직 발전이 더 필요한 분야입니다.

▲ 그림 9-1 자연어 처리 완성도

자연어 처리에서 사용하는 용어부터 알아보겠습니다.