다음은 string1에 대해 문장을 단어로 쪼갠 결과입니다.
['my', 'favorite', 'subject', 'is', 'math']
이번에는 string2를 nltk를 이용해서 단어 단위로 분리해 보겠습니다.
코드 9-5 단어 단위로 분리
nltk.word_tokenize(string2)
다음은 string2에 대해 문장을 단어로 분리시킨 결과입니다.
['my',
'favorite',
'subject',
'is',
'math',
',',
'english',
',',
'economic',
'and',
'computer',
'science']