关联规则挖掘——Apriori算法的基本原理以及改进

问题引入

关联规则挖掘发现大量数据中项集之间有趣的关联或者相互联系。关联规则挖掘的一个典型例子就是购物篮分析，该过程通过发现顾客放入其购物篮中不同商品之间的联系，分析出顾客的购买习惯，通过了解哪些商品频繁地被顾客同时买入，能够帮助零售商制定合理的营销策略。购物篮事务的例子如下图所示：

例如：在同一次去超级市场时，如果顾客购买牛奶，同时他也购买面包的可能性有多大？
通过帮助零售商有选择地经销和安排货架，这种信息会引导销售。零售商有两种方法可以进行安排货架，第一种方法是将牛奶和面包尽可能的放的近一些，方便顾客自取，第二种方法是将牛奶和面包放的远一些，顾客在购买这两件物品的时候，这中间货架上的物品也会被顾客选择购买。这两种方法都可以进一步刺激消费。但是，如何发现牛奶和面包之间的关联关系呢？Apriori算法可以进行关联规则挖掘。

算法中的基本概念

1、项集和K-项集

令I={i1,i2,i3……id}是购物篮数据中所有项的集合，而T={t1,t2,t3….tN}是所有事务的集合，每个事务ti包含的项集都是I的子集。在关联分析中，包含0个或多个项的集合称为项集。如果一个项集包含K个项，则称它为K-项集。空集是指不包含任何项的项集。例如，在购物篮事务的例子中，｛啤酒，尿布，牛奶｝是一个3-项集。

2、支持度计数

项集的一个重要性质是它的支持度计数，即包含特定项集的事务个数，数学上，项集X的支持度计数σ(X)可以表示为
σ(X)=|{ti|X⊆ti,ti∈T}|
其中，符号|*|表示集合中元素的个数。
在购物篮事务的例子中，项集｛啤酒，尿布，牛奶｝的支持度计数为2，因为只有3和4两个事务中同时包含这3个项。

3、关联规则

关联规则是形如X→Y的蕴含表达式，其中X和Y是不相交的项集，即X∩Y=∅。
关联规则的强度可以用它的支持度(support)和置信度(confidence)来度量。支持度确定规则可以用于给定数据集的频繁程度，而置信度确定Y在包含X的事务中出现的频繁程度。
支持度(s)和置信度(c)这两种度量的形式定义如下：
s(X→Y)=σ(X∪Y)/N
c(X→Y)=σ(X∪Y)/σ(X)
其中， σ(X∪Y)是(X∪Y)的支持度计数，N为事务总数，σ(X)是X的支持度计数。

Example

在购物篮事务的例子中，考虑规则{牛奶，尿布}→{啤酒}。由于项集{牛奶，尿布，啤酒}的支持度计数为2，而事务的总数为5，所以规则的支持度为2/5=0.4。
规则的置信度是项集{牛奶，尿布，啤酒}的支持度计数与项集{牛奶，尿布}支持度技术的商，由于存在3个事务同时包含牛奶和尿布，所以规则的置信度为2/3=0.67。

关联规则发现

给定事务的集合T，关联规则发现是指找出支持度大于等于minsup (最小支持度)并且置信度大于等于minconf(最小置信度)的所有规则，minsup和minconf是对应的支持度和置信度阈值。

关联规则的挖掘是一个两步的过程：
(1)频繁项集产生：其目标是发现满足最小支持度阈值的所有项集（至少和预定义的最小支持计数一样），这些项集称作频繁项集。
(2)规则的产生：其目标是从上一步发现的频繁项集中提取所有高置信度的规则，这些规则称作强规则。（必须满足最小支持度和最小置信度）

Apriori算法介绍

Apriori算法的实质使用候选项集找频繁项集。
Apriori 算法是一种最有影响的挖掘布尔关联规则频繁项集的算法。算法的名字基于这样的事实：算法使用频繁项集性质的先验知识， 正如我们将看到的。Apriori 使用一种称作逐层搜索的迭代方法，k-项集用于探索(k+1)-项集。首先，找出频繁1-项集的集合。该集合记作L1。L1 用于找频繁2-项集的集合L2，而L2 用于找L3，如此下去，直到不能找到频繁k-项集。找每个Lk 需要一次数据库扫描。

Apriori性质

Apriori性质：频繁项集的所有非空子集都必须也是频繁的。 Apriori 性质基于如下观察：根据定义，如果项集I不满足最小支持度阈值s，则I不是频繁的，即P(I)< s。如果项A添加到I，则结果项集（即I∪A）不可能比I更频繁出现。因此， I∪A也不是频繁的，即 P(I∪A)< s 。
该性质属于一种特殊的分类，称作反单调，意指如果一个集合不能通过测试，则它的所有超集也都不能通过相同的测试。称它为反单调的，因为在通不过测试的意义下，该性质是单调的。

先验定理

先验定理：如果一个项集是频繁的，则它的所有子集一定也是频繁的。

（关于先验定理、单调与反单调可以参考下面的例子理解）