import nltk.data # 영어 문장 토큰 화기를로드하십시오 Tokenizer = nltk.data.load ( 'Tokenizers/Punkt/English.pickle') # 입력 텍스트를 읽습니다 fp = Open ( "test.txt") data = fp.read () # 텍스트를 토큰 화하십시오 문장 = tokenizer.tokenize (데이터) # 문장에 가입하여 인쇄하십시오 print ( '\ n ----- \ n'.join (sentences))

이 코드는 nltk에서 영어 문장 토큰 화기를로드합니다. 입력 텍스트는 파일에서 읽히고 토 케이저가 적용됩니다. 결과 문장은 트리플 하이픈으로 분리되어 콘솔에 인쇄됩니다.

. 토큰 화는 복잡하거나 모호한 사례를 다룰 때에도 텍스트를 문장으로 효과적으로 분할 할 수 있습니다.