关键字提取算法TFIDF

在文本分类的学习过程中&＃xff0c;在“如何衡量一个关键字在文章中的重要性”的问题上&＃xff0c;遇到了困难。在网上找了很多资料&＃xff0c;大多数都提到了这个算法&＃xff0c;就是今天要讲的TF-IDF。

总起

　　TF-IDF&＃xff0c;理解起来相当简单&＃xff0c;他实际上就是TF*IDF&＃xff0c;两个计算值的乘积&＃xff0c;用来衡量一个词库中的词对每一篇文档的重要程度。下面我们分开来讲这两个值&＃xff0c;TF和IDF。

TF

　　TF&＃xff0c;是Term Frequency的缩写&＃xff0c;就是某个关键字出现的频率&＃xff0c;具体来讲&＃xff0c;就是词库中的某个词在当前文章中出现的频率。那么我们可以写出它的计算公式&＃xff1a;

　　

 

　　其中&＃xff1a;

　　　　TF(i,j)&＃xff1a;关键词j在文档i中的出现频率。

　　　　n(i,j)&＃xff1a;关键词j在文档i中出现的次数。

　　

　　比如&＃xff0c;一篇文章一共100个词汇&＃xff0c;其中“机器学习”一共出现10次&＃xff0c;那么他的TF就是10/100&＃61;0.1。

　　这么看来好像仅仅是一个TF就能用来评估一个关键词的重要性&＃xff08;出现频率越高就越重要&＃xff09;&＃xff0c;其实不然&＃xff0c;单纯使用TF来评估关键词的重要性忽略了常用词的干扰。常用词就是指那些文章中大量用到的&＃xff0c;但是不能反映文章性质的那种词&＃xff0c;比如&＃xff1a;因为、所以、因此等等的连词&＃xff0c;在英文文章里就体现为and、the、of等等的词。这些词往往拥有较高的TF&＃xff0c;所以仅仅使用TF来考察一个词的关键性&＃xff0c;是不够的。这里我们要引出IDF&＃xff0c;来帮助我们解决这个问题。

IDF

　　IDF&＃xff0c;英文全称&＃xff1a;Inverse Document Frequency&＃xff0c;即“反文档频率”。先看什么是文档频率&＃xff0c;文档频率DF就是一个词在整个文库词典中出现的频率&＃xff0c;就拿上一个例子来讲&＃xff1a;一个文件集中有100篇文章&＃xff0c;共有10篇文章包含“机器学习”这个词&＃xff0c;那么它的文档频率就是10/100&＃61;0.1&＃xff0c;反文档频率IDF就是这个值的倒数&＃xff0c;即10。因此得出它的计算公式:

 

其中&＃xff1a;

　　IDF(i)&＃xff1a;词语i的反文档频率

　　|D|&＃xff1a;语料库中的文件总数

　　|j:t(i)属于d(j)|出现词语i的文档总数

　　&＃43;1是为了防止分母变0。

 

　　于是这个TF*IDF就能用来评估一个词语的重要性。

　　还是用上面这个例子&＃xff0c;我们来看看IDF是怎么消去常用词的干扰的。假设100篇文档有10000个词&＃xff0c;研究某篇500词文章&＃xff0c;“机器学习”出现了20次&＃xff0c;“而且”出现了20次&＃xff0c;那么他们的TF都是20/500&＃61;0.04。再来看IDF&＃xff0c;对于语料库的100篇文章&＃xff0c;每篇都出现了“而且”&＃xff0c;因此它的IDF就是log1&＃61;0,他的TF*IDF&＃61;0。而“机器学习”出现了10篇&＃xff0c;那么它的IDF就是log10&＃61;1,他的TF*IDF&＃61;0.04>0&＃xff0c;显然“机器学习”比“而且”更加重要。

 

总结

　　这算法看似简单&＃xff0c;实际上在SEO搜索引擎优化啊&＃xff0c;文本分类方面用的挺多的&＃xff0c;面试时也常常作为信息论知识储备来出题。