[Today I learned] 2023.12.12.화: nltk word_tokenize() 입력값

📌 nltk word_tokenize()에는 리스트를 넣을 수 없다.

 

① 텍스트는 sent_tokenize 로 sentence 단위로 넣어주고,

② 이 sentence를 for 문으로 하나씩 가져와서 word_tokenize 해주면 단어로 토큰화 되는 것!