다음은 string1에 대해 문장을 단어로 쪼갠 결과입니다.
['my', 'favorite', 'subject', 'is', 'math'])
이번에는 string2를 nltk를 이용해서 단어 단위로 분리해 보겠습니다.
코드 9-5 단어 단위로 분리
nltk.word_tokenize(string2))
다음은 string2에 대해 문장을 단어로 분리시킨 결과입니다.
['my', 'favorite', 'subject', 'is', 'math', ',', 'english', ',', 'economic', 'and', 'computer', 'science'])