推荐系统实践（一）Apriori

关联规则之Apriori

一、名词解释&＃xff1a;
支持度和置信度&＃xff1a;
支持度、置信度越大&＃xff0c;商品出现一起购买的次数就越多&＃xff0c;可信度就越大
作用&＃xff1a;找到商品购买记录中反复一起出现的商品&＃xff0c;帮助营销人员做更好的策略&＃xff0c;帮助顾客方便购买
策略&＃xff1a;同时购买的商品放在一起、同时购买的商品放在两端
support(A->B) &＃61; P(AB)
confidence(A->B) &＃61; P(B|A)&＃61;P(AB)/P(A)
项集&＃xff1a;项的集合&＃xff0c;也就是商品的组合
K项集&＃xff1a;K种商品的组合
频繁项集&＃xff1a;如果项集的相对支持度满足给定的最小值支持度&＃xff0c;则该项集是频繁项集
强关联规则&＃xff1a;满足给定支持度与置信度阈值的关联规则

二、明确问题
明确问题&＃xff1a;
1.找到总是一起出现的物品
2.提出衡量标准&＃xff1a;支持度、置信度阈值
3.支持度、置信度计算
4.频繁项集
5.由频繁项集找到强管关联规则

找关联规则 --------> 频繁项集
1.找出所有的频繁项集&＃xff1a;这个项集出现的次数至少与要求的最小计数一样
2.由频繁项集产生强关联规则&＃xff1a;这些关联规则满足最小支持度与最小置信度

挑战&＃xff1a;
1.多次数据库扫描
2.巨大数量的候补项集
3.繁琐的支持度计算

改善&＃xff1a;
1.减少数据库扫描次数
2.减少候选项集的数量&＃xff0c;提高支持度
3.简化候选项集的支持度计算

三、过程&＃xff0c;原理&＃xff1a;

产生频繁集&＃xff1a;
Apriori 的原理&＃xff1a;如果某个项集是频繁项集&＃xff0c;那么它所有的子集也是频繁的。
即如果 {0,1} 是频繁的&＃xff0c;那么 {0}, {1} 也一定是频繁的。

生关联规则&＃xff1a;
从一个频繁项集可以产生多少条关联规则呢&＃xff1f;可以基于该频繁项集生成一个可能的规则列表&＃xff0c;然后测试每条规则的可信度&＃xff0c;如果可信度不满足最小值要求&＃xff0c;则去掉该规则。类似于前面讨论的频繁项集生成&＃xff0c;一个频繁项集可以产生许多可能的关联规则&＃xff0c;如果能在计算规则可信度之前就减少规则的数目&＃xff0c;就会很好的提高计算效率。
这里有一条规律就是&＃xff1a;如果某条规则并不满足最小可信度要求&＃xff0c;那么该规则的所有子集也不会满足最小可信度要求&＃xff0c;

算法流程&＃xff1a;
下面我们对Aprior算法流程做一个总结。

输入&＃xff1a;数据集合D&＃xff0c;支持度阈值α
　　　　输出&＃xff1a;最大的频繁k项集

1&＃xff09;扫描整个数据集&＃xff0c;得到所有出现过的数据&＃xff0c;作为候选频繁1项集。k&＃61;1&＃xff0c;频繁0项集为空集。
2&＃xff09;挖掘频繁k项集

a) 扫描数据计算候选频繁k项集的支持度

b) 去除候选频繁k项集中支持度低于阈值的数据集,得到频繁k项集。如果得到的频繁k项集为空&＃xff0c;则直接返回频繁k-1项集的集合作为算法结果&＃xff0c;算法结束。如果得到的频繁k项集只有一项&＃xff0c;则直接返回频繁k项集的集合作为算法结果&＃xff0c;算法结束。

c) 基于频繁k项集&＃xff0c;连接生成候选频繁k&＃43;1项集。

3&＃xff09; 令k&＃61;k&＃43;1&＃xff0c;转入步骤2。

从算法的步骤可以看出&＃xff0c;Aprior算法每轮迭代都要扫描数据集&＃xff0c;因此在数据集很大&＃xff0c;数据种类很多的时候&＃xff0c;算法效率很低。

四、代码解析&＃xff1a;
&＃xff08;1&＃xff09;主函数入口

if __name__ &＃61;&＃61; &＃39;__main__&＃39;:myDat &＃61; LoadDataSet() # 导入数据集L, suppData &＃61; apriori(myDat, 0.5) # 选择频繁项集print(u"频繁项集L&＃xff1a;", L)print(u"所有候选项集的支持度信息&＃xff1a;", suppData)rules &＃61; generateRules(L, suppData, minConf&＃61;0.7)print(&＃39;rules:\n&＃39;, rules)


dataSet数据人为设定

# 生成原始数据集用于测试
def LoadDataSet():return [[1, 3, 4, 5], [2, 3, 5], [1, 2, 3, 4, 5], [2, 3, 4, 5]]


&＃xff08;2&＃xff09;分析第一部分&＃xff0c;对频繁集的求解。首先&＃xff0c;调用CreateC1&＃xff08;&＃xff09;&＃xff0c;求解dataSet中有多少不同的值&＃xff1b;再用scanD&＃xff08;&＃xff09;用阈值minSupport去过滤频繁项集&＃xff1b;

# 输入&＃xff1a;数据集、最小支持度
def apriori(dataSet, minSupport&＃61;0.5):C1 &＃61; CreateC1(dataSet) # 构建初始候选项集C1D &＃61; [set(var) for var in dataSet] #对数据及进行映射至D&＃xff0c; 去掉重复的数据记录L1, suppData &＃61; scanD(D, C1, minSupport) # 构建初始的频繁项集&＃xff0c;即所有项集只有一个元素L &＃61; [L1] # 最初的L1中的每个项集含有一个元素&＃xff0c;新生成的k &＃61; 2 # 项集应该含有2个元素&＃xff0c;所以 k&＃61;2# 根据L1寻找L2、L3&＃xff0c;通过while来完成# 他创建包含更大项集的更大列表&＃xff0c;直到下一个更大的项集为空# 候选项集物品组合长度不超过元数据集原数据集最大的物品记录长度# 如果原始数据集物品记录最大长度为4&＃xff0c;候选集最多为4项集while (len(L[k - 2]) > 0): #如果前面的前面的频繁项集合为空&＃xff0c;则停止迭代Ck &＃61; aprioriGen(L[k - 2], k) # 生成候选集合 如果输入为{0}&＃xff0c; {1}&＃xff0c; {2}&＃xff0c; 会生成 {0,1}&＃xff0c; {0,2}&＃xff0c; {1,2}Lk, supK &＃61; scanD(D, Ck, minSupport)suppData.update(supK) # 将新的项集的支持度数据加入原来的总支持度字典中L.append(Lk) # 将符合最小支持度要求的项集加入Lk &＃43;&＃61; 1 # 新生成的项集中的元素个数应不断增加return L, suppData # 返回所有满足条件的频繁项集的列表&＃xff0c;和所有候选项集的支持度信息

CreateC1&＃xff08;&＃xff09;: 求解dataSet中有多少不同的值

# 遍历数据集每项物品&＃xff0c;建立1-项集
def CreateC1(dataSet):&＃39;&＃39;&＃39;构建初始候选项集的列表&＃xff0c;即所有候选项集只包含一个元素&＃xff0c;C1是大小为1的所有候选项集的集合&＃39;&＃39;&＃39;C1 &＃61; []for transaction in dataSet:for item in transaction:if [item] not in C1:C1.append([item])C1.sort() #print("C1 : " &＃43; str(C1)) #输出[[1],[2],[3],[4],[5]]return [frozenset(var) for var in C1] # frozenset数据类型&＃xff0c;不能被修改 只有var是数组的时候才能够frezenset(var)#print([var for var in map(frozenset,C1)]) #得到[frozenset({1}), frozenset({2}), frozenset({3}), frozenset({4}), frozenset({5})]# print([var for var in map(frozenset,C1)])


scanD&＃xff08;&＃xff09;求解支持度&＃xff0c;用阈值minSupport去过滤频繁项集。

# 输入&＃xff1a;数据集D&＃xff0c; 候选集CK&＃xff0c; 最小支持度
# 候选集Ck由上一层的频繁项集Lk-1组合得到
# 用最小支持度minSupport对候选集Ck过滤
# 输出&＃xff1a;第k层的频繁项集Lk&＃xff0c;每项的支持度
def scanD(D, Ck, minSupport):&＃39;&＃39;&＃39;计算Ck中的项集在数据集合D(记录或者transactions)中的支持度,返回满足最小支持度的项集的集合&＃xff0c;和所有项集支持度信息的字典。&＃39;&＃39;&＃39;# 建立字典&＃xff0c;key为候选集Ck中的每项&＃xff0c; value为该物品在所有物品记录中出现的次数ssCnt &＃61; {}# 对比候选集中的每项与原物品记录&＃xff0c;统计出现的次数# 遍历每条物品记录for tid in D: # 对于每一条transactionfor can in Ck: # 对于每一个候选项集can&＃xff0c;检查是否是transaction的一部分 # 即该候选can是否得到transaction的支持if can.issubset(tid):ssCnt[can] &＃61; ssCnt.get(can, 0) &＃43; 1 #get() 函数返回指定键的值&＃xff0c;如果值不在字典中返回默认值。numItems &＃61; float(len(D)) # 数据集中总的记录数&＃xff0c;物品购买记录总数&＃xff0c;用于计算支持度retList &＃61; [] # 记录经最小支持度过滤后的频繁项集# key ---------> 候选集中满足条件的项# value -------> 该项支持度supportData &＃61; {}for key in ssCnt:support &＃61; ssCnt[key] / numItems # 每个项集的支持度if support >&＃61; minSupport: # 将满足最小支持度的项集&＃xff0c;加入retListretList.insert(0, key)supportData[key] &＃61; support # 记录该项的支持度return retList, supportData


aprioriGen&＃xff08;&＃xff09; &＃xff1a;生成候选集合 如果输入为{0}&＃xff0c; {1}&＃xff0c; {2}&＃xff0c; 会生成 {0,1}&＃xff0c; {0,2}&＃xff0c; {1,2}
选取候选集的时候有个方法&＃xff1a;比较频繁项集中的每项与其他项&＃xff0c;若两项的前k-1个元素相同&＃xff0c;那么就将两项合并。这是由于apriori的算法原理的问题。

# 由上层频繁k-1项集生成候选k项集
# 如果输入为{0}&＃xff0c; {1}&＃xff0c; {2}&＃xff0c; 会生成 {0,1}&＃xff0c; {0,2}&＃xff0c; {1,2}
# 输入&＃xff1a;频繁k-1项集&＃xff0c;新的候选集元素个数k
# 输出&＃xff1a;候选集
def aprioriGen(Lk, k): # Aprior算法&＃39;&＃39;&＃39;由初始候选项集的集合Lk生成新的生成候选项集&＃xff0c;k表示生成的新项集中所含有的元素个数&＃39;&＃39;&＃39;retList &＃61; [] # 保存新的候选集lenLk &＃61; len(Lk)# 比较频繁项集中的每项与其他项&＃xff0c;若两项的前k-1个元素相同&＃xff0c;那么就将两项合并for i in range(lenLk):for j in range(i &＃43; 1, lenLk):L1 &＃61; list(Lk[i])[: k - 2]# 候选集其余项的k-1个元素&＃xff0c;每次只有其余项中的一项L2 &＃61; list(Lk[j])[: k - 2]L1.sort()L2.sort()if L1 &＃61;&＃61; L2:# 相同&＃xff0c;两项合并retList.append(Lk[i] | Lk[j])return retList #例如&＃xff1a; Lk &＃61; [{A,C},{B,C},{B,E},{C,E}] 找有三个数的频繁集&＃xff1a; Lk[1][:1] &＃61;&＃61; &＃39;B&＃39; &＃61;&＃61;Lk[2][:1] 所以retList &＃61; [{B,C,E}]

&＃xff08;3&＃xff09;生成关联规则&＃xff1a;
主函数&＃xff1a;generateRules&＃xff08;&＃xff09;&＃xff1a;

这里有一条规律就是&＃xff1a;如果某条规则并不满足最小可信度要求&＃xff0c;那么该规则的所有子集也不会满足最小可信度要求&＃xff0c;
def generateRules(L, supportData, minConf&＃61;0.7):&＃39;&＃39;&＃39;根据频繁项集和最小可信度生成规则。L(list):存储频繁项集supportData(dict):存储着所有项集&＃xff08;不仅仅是频繁项集&＃xff09;的支持度minConf(float):最小可信度&＃39;&＃39;&＃39;bigRuleList &＃61; []for i in range(1, len(L)):for freqSet in L[i]: # 对于每一个频繁项集的集合freqSet&＃xff0c;&＃xff08;从k&＃61;2开始&＃xff09;H1 &＃61; [frozenset([item]) for item in freqSet]if i > 1: # 如果频繁项集中的元素个数大于2&＃xff0c;需要进一步合并&＃xff0c;这样做的结果就是会有“[1|多]->多”(右边只会是“多”&＃xff0c;# 因为合并的本质是频繁子项集变大&＃xff0c;而calcConf函数的关联结果的右侧就是频繁子项集&＃xff09;&＃xff0c;的关联结果rulesFromConseq(freqSet, H1, supportData, bigRuleList, minConf)else:calcConf(freqSet, H1, supportData, bigRuleList, minConf)return bigRuleList


计算置信度&＃xff1a;calcConf(&＃xff09;

def calcConf(freqSet, H, supportData, brl, minConf&＃61;0.7): # 规则生成与评价&＃39;&＃39;&＃39;计算规则的可信度&＃xff0c;返回满足最小可信度的规则。freqSet(frozenset):频繁项集H(frozenset):频繁项集中所有的元素supportData(dic):频繁项集中所有元素的支持度brl(tuple):满足可信度条件的关联规则minConf(float):最小可信度&＃39;&＃39;&＃39;prunedH &＃61; []for conseq in H:conf &＃61; supportData[freqSet] / supportData[freqSet - conseq]if conf >&＃61; minConf:print(freqSet - conseq, &＃39;-->&＃39;, conseq, &＃39;conf:&＃39;, conf)brl.append((freqSet - conseq, conseq, conf))prunedH.append(conseq)return prunedH


rulesFromConseq&＃xff08;&＃xff09;&＃xff1a;# 如果频繁项集中的元素个数大于2&＃xff0c;需要进一步合并&＃xff0c;这样做的结果就是会有“[1|多]->多”(右边只会是“多”&＃xff0c;# 因为合并的本质是频繁子项集变大&＃xff0c;而calcConf函数的关联结果的右侧就是频繁子项集&＃xff09;&＃xff0c;的关联结果

def rulesFromConseq(freqSet, H, supportData, brl, minConf&＃61;0.7):&＃39;&＃39;&＃39;对频繁项集中元素超过2的项集进行合并。freqSet(frozenset):频繁项集H(frozenset):频繁项集中的所有元素&＃xff0c;即可以出现在规则右部的元素supportData(dict):所有项集的支持度信息brl(tuple):生成的规则&＃39;&＃39;&＃39;m &＃61; len(H[0])if len(freqSet) > m &＃43; 1: # 查看频繁项集是否足够大&＃xff0c;以到于移除大小为 m的子集&＃xff0c;否则继续生成m&＃43;1大小的频繁项集Hmp1 &＃61; aprioriGen(H, m &＃43; 1)Hmp1 &＃61; calcConf(freqSet, Hmp1, supportData, brl, minConf) # 对于新生成的m&＃43;1大小的频繁项集&＃xff0c;计算新生成的关联规则的右则的集合if len(Hmp1) > 1: # 如果不止一条规则满足要求&＃xff08;新生成的关联规则的右则的集合的大小大于1&＃xff09;&＃xff0c;进一步递归合并&＃xff0c;# 这样做的结果就是会有“[1|多]->多”(右边只会是“多”&＃xff0c;因为合并的本质是频繁子项集变大&＃xff0c;# 而calcConf函数的关联结果的右侧就是频繁子项集&＃xff09;的关联结果rulesFromConseq(freqSet, Hmp1, supportData, brl, minConf)