7 TF-IDF 가중치 적용하기
TF-IDF 가중치를 적용해 보자. TfidfTransformer를 불러와서 transformer라는 변수로 지정하고 재사용할 것이다.
from sklearn.feature_extraction.text import TfidfTransformer transformer = TfidfTransformer(smooth_idf=False) transformer
실행 결과
TfidfTransformer(smooth_idf=False)
fit_transform()으로 가중치를 적용하고 feature_tfidf로 결과를 받는다. 자세한 내용은 5.1절과 5.2절에서 참고할 수 있다.
%%time train_feature_tfidf = transformer.fit_transform(train_feature_vector) train_feature_tfidf.shape
실행 결과
CPU times: user 20.5 ms, sys: 475 µs, total: 21 ms Wall time: 30.6 ms (3576, 2000)