学习NLP的第10天——文章关键词提取：词频统计

关键词提取是词语颗粒度的信息抽取的一种重要的需求&＃xff0c;即提取文章中重要的词语。

关键词提取的常用方法包括词频统计、TF-IDF和TextRank等。

其中&＃xff0c;词频和TextRank属于单文档算法&＃xff0c;即只需一篇文章即可提取出其中的关键词&＃xff1b;而TF-IDF则属于多文档宣发&＃xff0c;需要其他文档的辅助来提取当前文章的关键词。

词频统计的逻辑是&＃xff1a;在一篇文章中&＃xff0c;越重要的关键词往往会在文章中反复出现&＃xff1b;因为为了解释关键词&＃xff0c;作者经常会反复地提及它们。所以通过统计文章中各个词语的出现频率&＃xff0c;即可初步地获得关键词。

但是因为齐夫定律&＃xff0c;文章中出现频率最高的往往并不是长度较长的关键词&＃xff0c;而是标点符号和助词等&＃xff0c;因此在词频统计之前还需要先进行停用词过滤。

齐夫定律&＃xff1a;一个单词的词频与它的词频排名成反比。

由此&＃xff0c;词频统计的流程通常是中文分词、停用词过滤、词频统计。依据以上逻辑&＃xff0c;我在Python中实现以下词频统计。&＃xff08;以《红楼梦·桃花行》节选为例&＃xff09;

from pyhanlp import HanLP
from pyhanlp import JClassdef load_from_words(*words):"""从词汇构造双数组trie树:param words: 一系列词语:return:"""map &＃61; JClass(&＃39;java.util.TreeMap&＃39;)() # 创建TreeMap实例for word in words:map[word] &＃61; wordreturn JClass(&＃39;com.hankcs.hanlp.collection.trie.DoubleArrayTrie&＃39;)(map)def remove_stopwords_termlist(termlist, trie):return [term.word for term in termlist if not trie.containsKey(term.word)]if __name__ &＃61;&＃61; "__main__":# 《红楼梦·桃花行》节选article &＃61; "桃花帘外东风软&＃xff0c;桃花帘内晨妆懒。帘外桃花帘内人&＃xff0c;人与桃花隔不远。"# 停用词表(诗中包含的哈工大停用词表的停用词)trie &＃61; load_from_words("&＃xff0c;", "。", "与")# 中文分词&＃43;停用词过滤termlist &＃61; HanLP.segment(article)termlist &＃61; remove_stopwords_termlist(termlist, trie) # 分词结果去除停用词print("分词结果:", termlist)# 词频统计word_frequency &＃61; dict()for word in termlist:if word not in word_frequency:word_frequency[word] &＃61; 0word_frequency[word] &＃43;&＃61; 1word_frequency_sorted &＃61; sorted(word_frequency.items(), key&＃61;lambda x: x[1], reverse&＃61;True) # 词频排序for i in range(5):print(word_frequency_sorted[i][0], "词频:", word_frequency_sorted[i][1])

其中load_from_words和remove_stopwords_termlist在之前&＃xff08;第7天&＃xff09;的学习中已经掌握。

运行结果

分词结果: [&＃39;桃花&＃39;, &＃39;帘&＃39;, &＃39;外&＃39;, &＃39;东风&＃39;, &＃39;软&＃39;, &＃39;桃花&＃39;, &＃39;帘&＃39;, &＃39;内&＃39;, &＃39;晨妆&＃39;, &＃39;懒&＃39;, &＃39;帘&＃39;, &＃39;外&＃39;, &＃39;桃花&＃39;, &＃39;帘&＃39;, &＃39;内&＃39;, &＃39;人&＃39;, &＃39;人&＃39;, &＃39;桃花&＃39;, &＃39;隔&＃39;, &＃39;不远&＃39;]
桃花 词频: 4
帘 词频: 4
外 词频: 2
内 词频: 2
人 词频: 2
基于HanLP实现的词频统计

HanLP中封装了TermFrequencyCounter类用来统计文档的词频&＃xff0c;接着我们使用这个类实现词频统计。

from pyhanlp import *TermFrequency &＃61; JClass(&＃39;com.hankcs.hanlp.corpus.occurrence.TermFrequency&＃39;)
TermFrequencyCounter &＃61; JClass(&＃39;com.hankcs.hanlp.mining.word.TermFrequencyCounter&＃39;)if __name__ &＃61;&＃61; &＃39;__main__&＃39;:counter &＃61; TermFrequencyCounter()counter.add("桃花帘外东风软&＃xff0c;桃花帘内晨妆懒。帘外桃花帘内人&＃xff0c;人与桃花隔不远。") # 第1个文档counter.add("东风有意揭帘栊&＃xff0c;花欲窥人帘不卷。桃花帘外开仍旧&＃xff0c;帘中人比桃花瘦。") # 第2个文档print("2篇文章的词频前5名:", counter.top(5))# 根据词频提取关键词print("第1篇文章的词频前5名:", TermFrequencyCounter.getKeywordList("桃花帘外东风软&＃xff0c;桃花帘内晨妆懒。帘外桃花帘内人&＃xff0c;人与桃花隔不远。", 5))

运行结果

2篇文章的词频前5名: [帘&＃61;8, 桃花&＃61;6, 外&＃61;3, 东风&＃61;2, 隔&＃61;1]
第1篇文章的词频前5名: [桃花, 帘, 外, 隔, 软]

可以看到&＃xff0c;整体结果是相近的&＃xff0c;HanLP去除了更多的停用词&＃xff0c;包括“人”、“内”以及标点符号等。

用词频提取关键词存在一个缺陷&＃xff0c;就是即使使用过滤停用词以后&＃xff0c;高频词也并与关键词完全等价。例如在分析一个明星的相关新闻时&＃xff0c;明星名字的出现频率可能是最高的&＃xff0c;但是在我们希望找到每一篇文章各自的特点&＃xff0c;而不是文章的共性&＃xff0c;此时&＃xff0c;我们就需要引入TF-IDF等关键词提取方法。

学习参考文献&＃xff1a;《自然语言处理入门》(何晗)&＃xff1a;9.2.1