서비스 기획자의 성장기록

[Today I learned] 2023.12.12.화: nltk word_tokenize() 입력값 본문

Today I leaned..

[Today I learned] 2023.12.12.화: nltk word_tokenize() 입력값

Jenny Noh 2023. 12. 13. 14:53

📌 nltk word_tokenize()에는 리스트를 넣을 수 없다.

 

① 텍스트는 sent_tokenize 로 sentence 단위로 넣어주고,

② 이 sentence를 for 문으로 하나씩 가져와서 word_tokenize 해주면 단어로 토큰화 되는 것!

 

'Today I leaned..' 카테고리의 다른 글

[Today I learned] 2023.12.16.토: pd.date_range().to_list(), datetime 객체에 하루 더하기, 새로운 열의 값 iloc으로 추가하기  (0) 2023.12.16
[Today I learned] 2023.12.15.금: f-string으로 변수 불러오기  (0) 2023.12.15
[Today I learned] 2023.12.14.목: 데이터프레임 파일로 저장하기  (0) 2023.12.14
[Today I learned] 2023.12.13.수: 모바일에서 마우스 호버 효과  (0) 2023.12.13
[Today I leaned] 2023.12.11.월: DateTimeIndex  (2) 2023.12.11
'Today I leaned..' Related Articles more