执行标记化(tokenization)

标记化是将文本转换为标记的过程。 这些标记可以是段落、句子和常见的单个单词，并且通常基于单词级别。 NLTK 附带了许多标记器，将在本示例中进行演示。