有赞搜索引擎实践(算法篇)

rddRows = sc.parallelize(["1 0 2 0 0 1", "0 0 4 2 0 0"])

rddRows.map(lambda x: Vectors.dense([float(each) for each in str(x).split(" ")]))
mat = RowMatrix(rddRows)

simsPerfect = mat.columnSimilarities()

```

方法二: map-reduce 线性方法. 这个方法参考论文"Pairwise Document Similarity in Large Collections with MapReduce". 可以实现几乎线性的时间复杂度. 相对于矩阵运算在大规模(10亿以上)pair similarity 运算上面有优势. 

这个方法简单的描述如下:

首先, 按照倒排索引的计算方式计算每个term到doc的映射.

比如3个doc:

```

doc1 = 我 爱 北京 

doc2 = 我 北京 天安门

doc3 = 我 天安门

```

转化为倒排格式, 这个需要一次mapper reduce

```

我     -> doc1, doc2, doc3

爱     -> doc1

北京   -> doc1, doc2

天安门 -> doc2, doc3 

```

然后, 对于value只有一个元素的过滤掉, 对于value大于2个doc的两两组合:

```

doc1,doc2 <---- from: 我     -> doc1, doc2, doc3

doc1,doc3 <---- from: 我     -> doc1, doc2, doc3

doc2,doc3 <---- form: 我     -> doc1, doc2, doc3

doc1,doc2 <---- from: 北京   -> doc1, doc2

doc2,doc3 <---- from: 天安门 -> doc2, doc3

```

最后, 对于输出进行聚合,value为重复次数和两个doc乘积开根号的比.

```

doc1,doc2 -> 2/(len(doc1)*len(doc2))^1/2 = 0.7

doc1,doc3 -> 1/(len(doc1)*len(doc3))^1/2 = 0.3

doc2,doc3 -> 2/(len(doc2)*len(doc3))^1/2 = 0.3

```

对于2个title1, title2, 如果X(title1, title2) > 0.7 则认为title1和title2相似, 对于相似的两个doc, 静态分大的定义为主doc, 静态分小的定义为辅doc. 主doc和辅doc分别建库. 

区别于网页搜索(网页搜索直接将辅doc删除), 我们将主doc和辅doc分别建库. 每一次搜索按比例分别搜主库和辅库, 并将结果融合返回. 这样可以保证结果的多样性.

## 4. 店铺去重