LuceneSimilarity

Lucene系列介绍

Similarity类实现打分&＃xff08;scoring&＃xff09;的API&＃xff0c;它的子类实现了检索打分的算法。DefaultSimilarity类是缺省的打分的实现&＃xff0c;SimilarityDelegator类是用于委托打分&＃xff08;delegating scoring&＃xff09;的实现&＃xff0c;在Query.getSimilarity(Searcher)}的实现里起作用&＃xff0c;以便覆盖&＃xff08;override&＃xff09;一个Searcher中Similarity实现类的仅有的确定方法&＃xff08;certain methods&＃xff09;。 

查询q相对于文档d的分数与在文档和查询向量&＃xff08;query vectors&＃xff09;之间的余弦距离&＃xff08;cosing-distance&＃xff09;或者点乘积&＃xff08;dot-product&＃xff09;有关系&＃xff08;correlates to&＃xff09;&＃xff0c;文档和查询向量存于一个信息检索&＃xff08;Information Retrieval&＃xff0c;IR&＃xff09;的向量空间模型&＃xff08;Vector Space Model&＃xff0c;VSM&＃xff09;之中。一篇文档的向量与查询向量越接近&＃xff08;closer to&＃xff09;&＃xff0c;它的得分也越高&＃xff08;scored higher&＃xff09;&＃xff0c;这个分数按如下公式计算&＃xff1a; 

其中&＃xff1a;

1. tf(t in d) 与term的出现次数有关系&＃xff0c;定义为term t在当前打分的文档d中出现的次数。对一个给定的term&＃xff0c;那些出现此term的次数越多的文档将获得越高的分数。缺省的tf(t in d)算法实现在DefaultSimilarity类中&＃xff0c;公式如下&＃xff1a;

2. idf(t) 代表逆文档频率&＃xff08;Inverse Document Frequency&＃xff09;。这个分数与逆的docFreq&＃xff08;出现过term t的文档数目&＃xff09;有关系&＃xff0c;numDocs是总的文档数目。这个分数的意义是越不常出现的term将为最后的总分贡献更多的分数。缺省idf(t in d)算法实现在DefaultSimilarity类中&＃xff0c;公式如下&＃xff1a;

3. coord(q,d) 是一个评分因子&＃xff0c;基于有多少个查询terms在特定的文档中被找到。通常一篇包含了越多的查询terms的文档将比另一篇包含更少查询terms的文档获得更高的分数。这是一个搜索时因子&＃xff0c;是在搜索的时候起作用&＃xff0c;它在Similarity对象的coord(q,d)函数中计算。

4. queryNorm(q) 是一个修正因子&＃xff08;normalizing factor&＃xff09;&＃xff0c;用来使不同查询间的分数更具有可比较性&＃xff08;comparable&＃xff09;。这个因子不影响文档的排名&＃xff08;ranking&＃xff09;&＃xff08;因为搜索排好序的文档&＃xff08;ranked document&＃xff09;会增加相同的因数&＃xff09;&＃xff0c;更确切地说只是为了尝试使得不同查询条件&＃xff08;甚至不同索引&＃xff08;different indexes&＃xff09;&＃xff09;之间更可比较性。这是一个搜索时因子是在搜索的时候起作用&＃xff0c;由Similarity对象计算。缺省queryNorm(q)算法实现在DefaultSimilarity类中&＃xff0c;公式如下&＃xff1a;

sumOfSquaredWeights&＃xff08;查询的terms&＃xff09;是由查询Weight对象计算的&＃xff0c;例如一个布尔&＃xff08;boolean&＃xff09;条件查询的计算公式为&＃xff1a;

5. t.getBoost() 是一个搜索时的代表查询q中的term t的boost数值&＃xff0c;具体指定在查询的文本中&＃xff08;参见查询语法&＃xff09;&＃xff0c;或者由应用程序调用setBoost()来指定。需要注意的是实际上没有一个直接的API来访问一个多个term的查询中的一个term 的boost值&＃xff0c;更确切地说&＃xff0c;多个terms在一个查询里的表示形式是多个TermQuery对象&＃xff0c;所以查询里的一个term的boost值的访问是通过调用子查询的getBoost()方法实现的。

6. norm(t,d) 是提炼取得&＃xff08;encapsulate&＃xff09;一小部分boost值&＃xff08;在索引时间&＃xff09;和长度因子&＃xff08;length factor&＃xff09;&＃xff1a;

document boost – 在添加文档到索引之前通过调用doc.setBoost()来设置。

Field boost – 在添加Field到文档之前通过调用field.setBoost()来设置。

lengthNorm(field) – 在文档添加到索引的时候&＃xff0c;根据文档中该field的tokens数目计算得出&＃xff0c;所以更短的field会贡献更多的分数。lengthNorm是在索引的时候起作用&＃xff0c;由Similarity类计算得出。

当一篇文档被添加到索引的时候&＃xff0c;所有上面计算出的因子将相乘起来。如果文档拥有多个相同名字的fields&＃xff0c;所有这些fields的boost值也会被一起相乘起来&＃xff1a;

然而norm数值的结果在被存储之前被编码成一个单独的字节。在检索的时候&＃xff0c;这个norm字节值从索引目录中读取出来&＃xff0c;并解码回一个norm浮点数值。这个编/解码&＃xff08;encoding/decoding&＃xff09;行为&＃xff0c;会缩减索引的大小&＃xff0c;这得自于&＃xff08;come with&＃xff09;精度损耗的代价&＃xff08;price of precision loss&＃xff09;- 它不保证decode(encode(x))&＃61;x&＃xff0c;举例来说decode(encode(0.89))&＃61;0.75。还有需要注意的是&＃xff0c;检索的时候再修改评分&＃xff08;scoring&＃xff09;的这个norm部分已近太迟了&＃xff0c;例如&＃xff0c;为检索使用不同的Similarity。

参考文献&＃xff1a;

1. Similarity&＃xff1a;http://lucene.apache.org/core/4_0_0/core/org/apache/lucene/search/similarities/Similarity.html
2. TFIDFSimilarity&＃xff1a;http://lucene.apache.org/core/4_0_0/core/org/apache/lucene/search/similarities/TFIDFSimilarity.html