lucene的默认评分算法向量空间模型（VectorSpaceModel）

在lucene4以前&＃xff0c;一直都是使用经典的向量空间模型作为其检索模型&＃xff0c;这种方式虽然统一了评分算法&＃xff0c;简化了计算&＃xff0c;但是带来的问题是很难去调整&＃xff0c;一旦向量空间模型不适合&＃xff0c;也很难去替换一种更好的算法。

  而lucene4则将检索模型与事实上的搜索做了解耦和抽象&＃xff0c;并且加入了另外几种检索模型的实现&＃xff0c;其中就有经典的BM25。

  经典的向量空间模型的理论基础及其在lucene中的应用

  向量空间模型是信息检索领域中一种成熟和基础的检索模型。这种方法以3维空间中的向量作为类比&＃xff0c;维度就是做好索引的term&＃xff0c;比如这里以3个主要的关键词奥巴马&＃xff0c;叙利亚和战争为三个维度&＃xff0c;通过文档在各个维度上的权重&＃xff0c;每个文档以及查询都会在空间中有一个向量&＃xff0c;直观的看起来&＃xff0c;两个向量越相似&＃xff0c;则他们的夹角越小&＃xff0c;所以&＃xff0c;用起反比的cos&＃xff0c;则可以得到&＃xff0c;cos值越大&＃xff0c;则两个向量越相似。同理便可以将3维空间推广到多维空间去。  

  用向量空间模型&＃xff0c;便将相关性转化为相似性&＃xff0c;根据点积和模的定义&＃xff0c;可以得到下式&＃xff1a;

  现在的问题就变成&＃xff0c;如何求得每个维度上的term在文档中的权重&＃xff0c;在向量空间模型中&＃xff0c;特征权重的计算框架是TF*IDF框架&＃xff0c;这里TF就是term在文档中的词频&＃xff0c;TF值越大&＃xff0c;说明该篇文档相对于这个term来说更加重要&＃xff0c;因此&＃xff0c;权重应该更高&＃xff1b;而IDF则是term在整个文档集中占的比重&＃xff0c;即n/N&＃xff0c;其中n是含该term的文档数&＃xff0c;N是总文档数&＃xff0c;但是&＃xff0c;实际使用中往往习惯用

  即所包含的该term的文档数越少说明该term越重要。可以举个例子&＃xff0c;有100篇文档&＃xff0c;其中80篇都在说红楼梦&＃xff0c;其中只有几篇讲到计算机&＃xff0c;当你在这个文档集中搜索到计算机时&＃xff0c;可以肯定这几篇讲计算机的比较重要&＃xff0c;而搜索红楼梦时&＃xff0c;则很难区分哪篇更加重要&＃xff0c;换句话说&＃xff0c;在这个文档集合中&＃xff0c;计算机比红楼梦更有区分度&＃xff0c;相对来说&＃xff0c;计算机比红楼梦更有信息量&＃xff0c;所以IDF就是评判所含信息量大小的一个值。

  一般情况&＃xff0c;使用TF*IDF作为这里的权重w&＃xff0c;从而计算出dj,q的相似度sim(dj,q)。

  那么&＃xff0c;在lucene中&＃xff0c;是如何应用这个模型的呢&＃xff1f;根据向量空间模型的的数学推导&＃xff08;见参考文档3&＃xff09;&＃xff0c;可以看到&＃xff0c;在lucene中实际上是将sim(dj,q)变形和调整后应用了如下一个打分公式

  该公式各项参数解释如下&＃xff0c;在DefaultSimilarity中都有每一项参数的基本定义&＃xff1a;

  coord(q,d): 协调因子&＃xff0c;它的计算是基于文档d中所包含的所有可供查询的词条数量

  queryNorm: 在给出每个查询条目的方差和后&＃xff0c;计算某查询的标准化值&＃xff0c;即&＃xff08;关于valueForNormalization&＃xff0c;见后面分析第a步&＃xff09;

  tf: 单词t在文档d中出现的词频&＃xff0c;对词频开根号是希望对一篇出现太多相同关键词的文章进行相应的惩罚&＃xff0c;即

  idf: 单词t在文档集中的比重。注意这个公式&＃xff0c;首先为什么要加1&＃xff0c;假设不加1&＃xff0c;设想极端情况后面的log为0时&＃xff08;numDocs/docFreq&＃43;1 &＃61; 1)&＃xff0c; 带入打分公式&＃xff0c;则该文档打分为0&＃xff0c;也就是说该关键词分布得广反而一点分都没有了&＃xff0c;事实上我们在这里只需要稍作惩罚&＃xff0c;加1之后保证任何情况下这里都是有值的。其次&＃xff0c;docFreq后为什么要加1呢&＃xff0c;当然是为了防止docFreq为0作为除数的情况。所以原始的公式其实是idf(t) &＃61; log(numDocs/docFreq)&＃xff0c;与上面的分析一致

  t.getBoost(): 在搜索过程中影响评分的参数

  norm(t,d): 字段的标准化值&＃xff0c;表明在字段中存储了多少词条&＃xff0c;这个数值是在索引过程中计算出来的&＃xff0c;并且也存储在索引中&＃xff0c;可以在TFIDFSimScorer中的norms找到&＃xff0c;其中一个参数LengthNorm是在DefaultSimilarity中定义的&＃xff0c;另一个参数则是每次索引过程中每次处理一个field时累乘上去的。

    在3.0以前还有另一个参数用来提升Document的加权&＃xff0c;可以在Document中找到setBoost&＃xff0c;但是4.0以后取缔了&＃xff0c;如需要模拟文档的加权&＃xff0c;在IndexableField中建议应当自行加权多个Field。

  lucene中如何组织这个公式呢&＃xff1f;

  在TFIDFSimScorer中&＃xff0c;可以找到

  b)的计算就是

  通过这两步计算得出打分公式中的queryNorm。

  c)步的计算可以得到&＃xff0c;可以看出来&＃xff0c;这是打分公式的一部分

  从score()中可以看出来&＃xff0c;score的结果其实是&＃xff0c;其实已经基本是打分公式了。

  到这里&＃xff0c;已经基本上解释了打分公式在代码中的组织。接下来&＃xff0c;我们最关心的就是。

  打分公式能够如何去影响我们的文档打分和排序

  下面是彩色的打分公式&＃xff0c;接下来打分公式如何去影响文档的打分和排序时的文字色彩就对应了该彩色打分公式的色彩&＃xff1a;

  1. 搜索时加权&＃xff0c;即上式中t.getBoost()&＃xff0c;在搜索时加权&＃xff0c;即在搜索关键字后带^和权值

  2. 索引时加权&＃xff0c;即上式中的norm(t, d)部分中的所有field的boost之积

  如下例&＃xff0c;将文档1的加权设置为2之后&＃xff0c;同样的搜索条件&＃xff0c;文档1的评分增加了

  在索引过程中可以通过下面的语句设置字段加权&＃xff0c;这也是影响评分最常见的方式

  3. 继承TFIDFSimilarity或DefaultSimilarity&＃xff0c;对整个公式的控制。

   coord&＃xff1a;当你键入搜索关键词“奥巴马 叙利亚”的时候&＃xff0c;你一定希望同时出现两个词的文档排在只出现"奥巴马"的文档之前&＃xff0c;某种程度上讲&＃xff0c;同时出现两个词意味着更加精确。请看例子&＃xff0c;第1篇文档只命中一个词&＃xff0c;而第二篇文档同时命中2个词&＃xff0c;因而得分较高&＃xff08;此处还有tf的因素&＃xff0c;即lucene出现了两次&＃xff0c;但是在这里影响不大&＃xff09;

   coord的计算是在DefaultSimilarity中定义的&＃xff0c;因而可以修改它&＃xff0c;maxOverlap其实就是搜索的总词数&＃xff0c;而overlap则是该文档中实际出现了多少搜索词数

    queryNorm&＃xff1a;queryNorm并不能影响不同文档的得分顺序&＃xff0c;但是可以影响整体的评分大小&＃xff0c;比如&＃xff0c;可以修改实现&＃xff0c;让其变为1/sumOfSquaredWeights以便减小所有文档的得分或者增大文档得分。

    tf&＃xff1a;tf的在DefaultSimilarity中的定义不能影响文档得分排序&＃xff0c;但是它的参数freq&＃xff0c;即词频是会影响得分的&＃xff0c;可以看以下例子

  我们会发现它的得分提升并不是线性的&＃xff0c;跟下式吻合

   idf&＃xff1a;idf主要跟单词在文档中的个数有关系&＃xff0c;如下&＃xff0c;同样搜索关键词“过程 算法”&＃xff0c;第一个例子中由于第2篇文档长度较长&＃xff0c;因而得分较低&＃xff1b;但是如果加入一篇新的文档&＃xff0c;由于第1,3篇文档都含有关键字"过程"&＃xff0c;因而增加了文档频率docFreq&＃xff0c;故根据程序&＃xff0c;评分会下降&＃xff0c;而只含有"算法"的文档2评分就相对高了

   lengthNorm: 同等的搜索条件下&＃xff0c;文档长度较长者得分较低

   请看如下文档长度对得分和顺序影响的例子&＃xff0c;从中可以看出来&＃xff0c;对“索引 算法”这组关键词&＃xff0c;文档1中有前者&＃xff0c;文档2中有后者 &＃xff0c;同样搜索这组关键词&＃xff0c;当文档2长度较长时得分较低&＃xff0c;而当文档2长度较短时得分较高

   在DefaultSimilarity中程序如下