실행 결과
|
article_id |
|
|
24 |
[현정부에서, 정규직, 일자리를, 늘리는, 것에, 찬성합니다, 그런데, 공공기관, ... |
|
36 |
[문재인, 대통령님과, 각, 정부, 인사분들께, 마음속, 깊이, 존경과, 감사를, ... |
|
45 |
[초등학교, 교사, 임용, 시험을, 수능, 시험, 처럼, 전국, 단위로, 실시하고난... |
sample_index를 확인해도 각 문장을 토큰화해 공백이 있었던 어절 단위로 쉼표가 생성되어 있다.
tokens[sample_index][:10]
실행 결과
['현정부에서', '정규직', '일자리를', '늘리는', '것에', '찬성합니다', '그런데', '공공기관', '비정규직들은', '인맥으로']