【漫话机器学习系列】214.停用词（Stop Words）
什么是停用词（Stop Words）？——自然语言处理中的关键一步
在处理自然语言数据时，我们常常会遇到一个看似简单却至关重要的步骤——移除停用词（Stop Words）。本文将深入探讨停用词的概念、为什么要移除它们、常见的停用词有哪些，以及它们在自然语言处理（NLP）中的应用。
一、什么是停用词？
停用词（Stop Words） 是指在处理自然语言数据（或文本）时需要预先移除的词语。它们通常是一些在文本中非常常见、但信息量极低的词汇。
正如图中所示，停用词是那些“含有极少信息价值的极其常用的单词”，比如：
-
它
-
我
-
我自己
-
我们
-
和
这些词虽然在语言表达中不可或缺，但在文本分析中往往没有太多分析价值。
二、为什么要移除停用词？
在自然语言处理中，我们的目标往往是从文本中提取有意义的信息，例如情感倾向、关键词、主题等。而停用词的存在，往往会：
-
增加计算成本
停用词在语料中频繁出现，会增加模型训练或推理时的词向量处理开销。 -
稀释有价值信息
高频但无意义的词汇可能会掩盖真正有价值的特征词，降低模型的区分能力。 -
影响文本向量质量
在使用TF-IDF、词袋模型或Word2Vec时，停用词可能导致词向量不准确，影响后续任务的效果。
三、常见的停用词库
许多自然语言处理工具和库都内置了停用词列表，常见的包括：
-
NLTK（Python）：
nltk.corpus.stopwords -
SpaCy（Python）：
spacy.lang.en.stop_words -
Snowball（Java）
-
jieba（中文分词）：用户可自定义停用词文件
例如，在使用 nltk 中的英文停用词时：
from nltk.corpus import stopwords
stop_words = set(stopwords.words('english'))
对于中文处理，由于不同领域和上下文中停用词不同，常常需要根据实际需求自定义停用词表。
四、停用词在NLP中的实际应用
1. 文本预处理
在进行文本挖掘、关键词提取、主题建模等任务前，通常需要先将文本进行如下处理：
-
分词
-
转小写
-
去除标点
-
移除停用词（这一步尤为关键）
2. 情感分析
在情感分析中，我们关注的是“开心”、“愤怒”、“难过”等具有情感色彩的词汇。诸如“我”、“和”这种中性词会降低模型的精度，需提前剔除。
3. 关键词提取
通过TF-IDF等方法提取关键词时，停用词的存在会显著影响结果准确性。
五、需要注意的几点
-
不要一刀切：有些看似无意义的停用词，在某些语境中可能是有意义的，比如“不是”在否定句中就很重要。
-
领域相关：比如在法律、医疗、科技文档中，各自的停用词词表应有所不同。
-
训练语料适配：在构建停用词表时应与目标语料的语言风格、语域保持一致。
六、总结
停用词虽然看似微不足道，但在自然语言处理流程中却占据着非常重要的一环。正确地识别和移除停用词，能够有效提升模型的性能和分析的准确度。理解它们、合理使用它们，是每一位NLP从业者必须掌握的基本技能。
参考资料：
-
图片作者：Chris Albon
-
相关工具：NLTK、SpaCy、jieba、Scikit-learn