python關聯規則挖掘
Ⅰ python 關聯規則分前項後項嗎
學了兩天python，想實踐下，正好最近在學習數據挖掘，先用python實現下
註：由於後面加了注釋，由於編碼問題，可能即使是注釋，有的環境也不支持漢字的編碼，運行報錯的話可以將漢字刪除後再運行
環境 ubuntu 13.4 python 2
[python]view plain
importitertools
import
'''''
定義全局變數k，即支持度計數k,此k也可以在運行程序之前輸入，簡單改動即可
'''
k=2
'''''
存儲頻繁項集的列表
'''
frequenceItem=[]
'''''
從txt文件dataset.txt里獲取事務集
'''
defgetDataSet(args):
f=open(args,'r')
source=f.readlines()
f.close()
dataset=[]
forlineinsource:
temp1=line.strip(' ')
temp2=temp1.split(',')
dataset.append(temp2)
returndataset
'''''
初步掃描事務集，從事務集里獲取候選1項集
方法的基本思路是：
定義一個集合tmp，將事務集的第一項作為tmp的初始集合
然後掃描事務集，將不在tmp里的數據項加入tmp中
'''
deffind_item(dataset):
length=len(dataset)
foriinrange(0,length):
ifi==0:
tmp=set(dataset[i])
tmp.update(set(dataset[i]))
candidate=list(tmp)
candidate.sort()
returncandidate
'''''
從候選項集里找出頻繁項集，其中num代表頻繁num+1項集
如num為0的為從候選1項集里找出頻繁1項集
方法基本思路：
1、定義一個支持度列表count
2、對於每一個候選項，依次掃描事務集，如果該項出現在事務集中就將該項對應的count+1、定義一個支持度列表count+1
3、將每一項的count和k（支持度計數）進行比較，將count小於k的項剔除
'''
deffind_frequent(candidate,dataset,num):
frequence=[]
length=len(candidate)
count=[]
foriinrange(0,length):
count.append(0)
count[i]=0
ifnum==0:
'''''
其實不管num為0還是別的值演算法應該是一樣的，但是由於程序實現上的問題
num為0的時候選項集是一維列表，其它的時候，候選項集是二維列表，
畢竟只是自己寫著玩的，python還不熟，牽一發而動全身，懶得改了
'''
child=set([candidate[i]])
else:
child=set(candidate[i])
forjindataset:
parent=set(j)
ifchild.issubset(parent):
count[i]=count[i]+1
forminrange(0,length):
ifcount[m]>=k:
frequence.append(candidate[m])
returnfrequence
'''''
先驗定理，剪枝掉不必要的候選n項集
方法思路：
1、依次取出候選項集里的項
2、取出n項集里的n-1項子集
3、如果所有的n-1項集不都都是頻繁n-1項集的子集，則刪除該候選項集
'''
defpre_test(candidate,num,frequence):
r_candidate=.deep(candidate)
foreachincandidate:
foreach2initertools.combinations(each,num):
tmp=(list(each2))
tag=0
forjinfrequence:
ifnum==1:
if(tmp[0]==j):
tag=1
break
else:
iftmp==j:
tag=1
break
iftag==0:
r_candidate.remove(each)
break
returnr_candidate
'''''
通過頻繁n-1項集產生候選n項集，並通過先驗定理對候選n項集進行剪枝
方法思路：
1、如果是頻繁1項集，則通過笛卡爾積產生頻繁2項集
2、如果不是頻繁一項集，採用F（k-1）*F（k-1）方法通過頻繁n-1項集產生候選n項集
註：F（k-1）*F（k-1）方法在我的另一篇關聯演算法博客上做了理論上的簡單介紹，或者也可以直接參看《數據挖掘導論》
'''
defget_candidata(frequence,num):
length=len(frequence)
candidate=[]
ifnum==1:
foreachinitertools.combinations(frequence,2):
tmp=list(each)
tmp3=[]
tmp3.append(tmp[0])
tmp3.append(tmp[1])
candidate.append(tmp3)
else:
foriinrange(0,length-1):
tmp1=.deep(frequence[i])
tmp1.pop(num-1)
forjinrange(i+1,length):
tmp2=.deep(frequence[j])
tmp2.pop(num-1)
iftmp1==tmp2:
tmp3=.deep(frequence[i])
tmp3.append(frequence[j][num-1])
candidate.append(tmp3)
candidate2=pre_test(candidate,num,frequence)
returncandidate2
'''''
main程序
'''
if__name__=='__main__':
dataset=getDataSet('dataset.txt')
Item=find_item(dataset)
num=0
frequenceItem=[]
'''''
通過事務集找到頻繁項集，直至頻繁n項集為空，則退出循環
'''
while1:
ifnum==0:
candidate=Item
else:
candidate=get_candidata(frequenceItem[num-1],num)
frequenceItem.append(find_frequent(candidate,dataset,num))
iffrequenceItem[num]==[]:
frequenceItem.pop(num)
break
num=num+1
'''''
列印出頻繁項集
'''
foreachinfrequenceItem:
printeach
目錄位置：
Ⅱ Python購物籃數據（關聯分析）
pip install mlxtend
由於已經是csv格式，所以直接輸入：
每一跡冊殲行： 一個購物籃
每一列： 購物籃中的商品
先看看pd讀的對不對：
然後按行列印：
再將這些存在一個數組中：
1、什麼是獨熱碼
獨熱碼，在英文文獻中稱做 one-hot code, 直觀來說就是有多少個狀態就有多少比特，而且只有一個比特為1，其他全為0的一種碼制，更加詳細參加 one_hot code（維基網路） 。在機器學習中對於離散型的分類型的數據，需要對其進行數字化比如說性別這一屬性，只能有男性或者女性或者其他這三種值，如何對這三個值進行數字化表達？一種簡單的方式就是男性為0，女性為1，其他為2，這樣做有什麼問題？
使用上面簡單的序列對分類值進行表示後，進行模型訓練時可能會產生一個問題就是特徵的因為數字值得不同影響模型的訓練效果，在模型訓練的過程中不同的值使得同一特徵在樣本中的權重可能發生變化，假如直接編碼成1000，是不是比編碼成1對模型的的影響更大。為了解決上述的問題，使訓練過程中不受到因為分類值表示的問題對模型產生的負面影響，引入獨熱姿氏碼對分類型的特徵進行獨熱碼編碼。
可以這樣理解，對於每一個特徵，如果它有m個可能值，那麼經過獨熱編碼後，就變成了m個姿沖二元特徵（如成績這個特徵有好，中，差變成one-hot就是100, 010, 001）。並且，這些 特徵互斥 ，每次只有一個激活。因此，數據會變成稀疏的。
這樣做的好處主要有：
（1）解決了分類器不好處理 屬性數據 的問題
（2）在一定程度上也起到了 擴充特徵 的作用
M
以下為我摘取的別人的，貼上原文鏈接https://blog.csdn.net/hellozhxy/article/details/80600845
著名的啤酒與尿布, 這是典型的購物籃問題, 在數據挖掘界叫做頻繁項集(Frequent Itemsets).
note: 數據類型寫法按照Python的格式.
一. 目標與定義
1. 問題背景
超市中購物清單中總是有一些項目是被消費者一同購買的. 如果我們能夠發現這些 關聯規則 (association rules), 並合理地加以利用, 我們就能取得一定成果. 比如我們發現熱狗和芥末存在這種關系, 我們對熱狗降價促銷, 而對芥末適當提價, 結果能顯著提高超市的銷售額.
2. 目標
找到頻繁地 共同 出現在消費者結賬小票中項目(比如啤酒和尿布), 來一同促銷, 相互拉動, 提高銷售額.
3. 定義
支持度support: 其實就是概率論中的頻次frequency
支持度閾值support threshhold: 記為s, 指分辨頻繁項集的臨界值.
頻繁項集: 如果I是一個項集(Itemset), 且I的出現頻次(i.e.支持度)大於等於s, 那麼我們說I是頻繁項集.
一元項, 二元項, 三元項: 包含有一種商品, 兩種, 三種商品的項集.
4. 關聯規則
關聯規則: 形式為I->j, 含義是如果I種所有項都出現在某個購物籃的話, 那麼j很有可能也出現在這個購物籃中. 我們可以給出相應的confidence值(可信度, 即概率論中的置信度).
其中, 這個關聯規則的可信度計算為Confidence = I∪{j} / I, 本身是非常符合直覺和常識的. 比如我們說關聯規則{dog, cat} -> and 的可信度為0.6, 因為{dog, cat}出現在了1, 2, 3, 6, 7五個購物籃中, 而and出現在了1,2,7中, 因此我們可以算出Confidence = freq[{dog, cat, and}] / freq[{dog, cat}] = 3/5 = 0.6
注意到, 分子部分的頻次總是比分母低, 這是因為{dog, cat} 出現的次數總是大於等於{dog, cat, and}的出現次數.
二. 購物籃與A-Priori演算法
1. 購物籃數據表示
我們將有一個文本文件輸入, 比如allBills.txt, 或者allBills.csv. 裡面每行是一個購物籃.
文件的頭兩行可能是這樣(df.show(2)):
{23, 456, 1001}
{3, 18, 92, 145}
我們假定這是一家大型連鎖超市, 比如沃爾瑪, 因此這個文本文件是非常大的, 比如20GB. 因此我們無法一次將該文件讀入內存. 因此, 演算法的主要時間開銷都是磁碟IO.
我們同時還假定, 所有購物籃的平均規模是較小的, 因此在內存中產生所有大小項集的時間開銷會比讀入購物籃的時間少很多.
我們可以計算, 對於有n個項目組成的購物籃而言, 大小為k的所有子集的生成時間約為(n, k) = n! / ((n-k)!k!) = O(n^k/ k!), 其中我們只關注較小的頻繁項集, 因此我們約定k=2或者k=3. 因此所有子集生成時間T = O(n^3).
Again, 我們認為 在內存中產生所有大小項集的時間開銷會比讀入購物籃的時間少很多.
2. Itemset計數過程中的內存使用
我們必須要把整個k,v字典放在內存中, 否則來一個Itemset就去硬碟讀取一次字典將十分十分地慢.
此處, 字典是k=(18, 145), v=15這種形式. 此處, 應當注意到, 如果有{bread, milk, orange}這樣的String類型輸入, 應當預先用一個字典映射成對應的整數值編碼, 比如1920, 4453, 9101這樣.
那麼, 我們最多能用字典存儲多少種商品?
先看下我們存儲多少個count值.
我們假定項的總數目是n, 即超市有n種商品, 每個商品都有一個數字編號, 那麼我們需要(n, 2) = n^2/2 的大小來存儲所有的二元組合的count, 假設int是佔4個byte, 那麼需要(2·n^2)Byte內存. 已知2GB內存 = 2^31 Byte, 即2^31/2 = 2^30 >= n^2 --> n <= 2^15. 也就是說n<33 000, 因此我們說商品種類的最多是33k種.
但是, 這種計算方法存在一個問題, 並不是有10種商品, 那麼這10種商品的任意二元組合都會出現的. 對於那些沒出現的組合, 我們在字典中完全可以不存儲, 從而節省空間.
同時, 別忘了我們同樣也得存儲key = (i, j), 這是至少額外的兩個整數.
那麼我們到底具體怎麼存儲這些計數值?
可以採用三元組的方式來構造字典. 我們採用[i, j, count]形式來存儲, 其中i代表商品種類1, j代表商品種類2, 前兩個值代表key, 後面的value就是count, 是這個二元組合下的計數.
現在, 讓我們注意到我們(1)假定購物籃平均大小較小, 並(2)利用三元組(2個key的)字典和(3)不存儲沒出現組合優勢. 假設有100k = 10^5種商品, 有10million=10^7個購物籃, 每個購物籃有10個項, 那麼這種字典空間開銷是(10, 2) · 10^7 = 45 x 10^7 x 3= 4.5x10^8x3 = 1.35x10^9 個整數. 這算出來約為4x10^8 Byte = 400MB, 處於正常計算機內存范圍內.
3. 項集的單調性
如果項集I是頻繁的, 那麼它的所有子集也都是頻繁的. 這個道理很符合常識, 因為{dog, cat} 出現的次數總是大於等於{dog, cat, and}的出現次數.
這個規律的推論, 就是嚴格地, 我們頻繁一元組的個數> 頻繁二元組的個數 > 頻繁三元組的個數.
4. A-Priori演算法
我們通過Itemset計數中內存使用的部門, 已經明確了我們總是有足夠的內存用於所有存在的二元項集(比如{cat, dog})的計數. 這里, 我們的字典不存放不存在於購物籃中的任何二元項集合, 而且頻繁二元組的數目將會大於三元頻繁三元組> ...
我們可以通過單邊掃描購物籃文件, 對於每個購物籃, 我們使用一個雙重循環就可以生成所有的項對(即二元組). 每當我們生成一個項對, 就給其對應的字典中的value +1(也稱為計數器). 最後, 我們會檢查所有項對的計數結果,並且找出那些>=閾值s的項對, 他們就是頻繁項對.
1) A-Priori演算法的第一遍掃描
在第一遍掃描中, 我們將建立兩個表. 第一張表將項的名稱轉換為1到n之間的整數, 從而把String類型這樣的key轉為空間大小更小的int類型. 第二張表將記錄從1~n每個項在所有購物籃中出現的次數. 形式上類似
table 0(name table): {'dolphin': 7019, 'cat': 7020} //dict形式, 其實也可以做成list形式 [['dolphin', 7019], ['cat', 7020]]
table 1(single-item counter table): {7019: 15, 7020: 18} //dict形式, 其實也可以做成數組形式A[7019] = 2, A[7020] = 18
2) 第一遍掃描完的處理
第一遍掃描完後, 我們會按照自己設定的閾值s, 對整個table 1再進行一次mapping, 因為我們只關注最後counter值大於等於閾值的項目, 而且不關心其counter值具體多少. 因此, mapping策略是:
對凡是counter<s的, 一律把counter設成0; 對於counter>=s的, 按照次序, 把其設置成1~m的值(總共有m個滿足要求的項)
3) 第二遍掃描
第二遍掃描所做的事有三:
(1) 對每個購物籃, 在table 1中檢查其所有的商品項目, 把所有為頻繁項的留下來建立一個list.
(2) 通過一個雙重循環生成該list中的所有項對.
(3) 再走一次循環, 在新的數據結構table 2(dict或者list)中相應的位置+1. 此時的效果是dicta = {48: {13: 5}, 49: {71, 16}} 或者 lista [ [48, 13, 5],[49, 71, 16], ... ]
注意此時內存塊上存儲的結構: table1(name table), table2(single-item counter table), table3(double-item counter table)
5. 推廣: 任意大小頻繁項集上的A-Priori演算法
我們對上面這個演算法進行推廣.
從任意集合大小k到下一個大小k+1的轉移模式可以這么說:
(1) 對每個購物籃, 在table 1中檢查其所有的商品項目, 把所有為頻繁項的留下來建立一個list.
(2) 我們通過一個k+1重循環來生成該list中的所有(k+1)元組
(3) 對每個k+1元組, 我們生成其的(k+1 choose k)個k元組, 並檢查這些k元組是否都在之前的table k中. (注意到k=1的時候, 這步與(1)是重復的, 可以省略)
(4)再走一次循環, 在新的數據結構table k+1(dict或者list)中相應的位置+1. 此時的效果是k=2, k+1=3, 生成dicta = {48: {13: {19: 4}}, 49: {71: {51: 10}}, ... } 或者 生成lista [ [48, 13, 19, 4],[49, 71, 51, 10], ... ]
注意, 在進入下一次掃描前, 我們還需要額外把counter中值小於s的元組的計數值都記為0.
模式總體是:C1 過濾後 L1 計數後 C2 置零後 C2' 過濾後 L2 計數後 C3 置零後 C3' ......
END.
生成的商品種類為set形式：轉成list形式
第一張表：把項名稱轉換為1~n的整數：
至於數數，大神說，你就用collections.Counter就好：哈？
哈哈，可愛的wyy，開始分析吧~嚕嚕嚕啦啦啦~嚕啦嚕啦嚕~
生成全零矩陣：
換成zeros:
統計每一列的和，即每種商品的購買總數：
每一行列:
第一行：
建立一個新的只含有頻繁一項集的購物籃矩陣：
頻繁二項集：
Ⅲ Python和數據挖掘有什麼關系
Python是工具
數據挖掘是研究方向
數據挖掘有很多經典演算法，這些演算法有的有現成Python包，你可以用Python調用這些包處理自己的數據實現數據挖掘。
Ⅳ 數據挖掘題目
這個很基礎的題目啊，是不是老師迅派留的作業？
最小支持度0.6，置信度0.8，這些概念都了解吧
哎，算了，把python代碼給你貼一下吧
按順序把代碼碼起來，存為py文件畝運賀，python3跑一下，什麼頻繁項集，什麼關聯規則就全出來悄基了
Ⅳ python數據分析的一般步驟是什麼
下面是用python進行數據分析的一般步驟：
一：數據抽取
從外部源數據中獲取數據
保存為各種格式的文件、資料庫等
使用Scrapy爬蟲等技術
二：數據載入
從資料庫、文件中提取數據，變成DataFrame對象
pandas庫的文件讀取方法
三：數據處理
數據准備：
對DataFrame對象（多個）進行組裝、合並等操作
pandas庫的操作
數據轉化：
類型轉化、分類（面元等）、異常值檢測、過濾等
pandas庫的操作
數據聚合：
分組（分類）、函數處理、合並成新的對象
pandas庫的操作
四：數據可視化
將pandas的數據結構轉化為圖表的形式
matplotlib庫
五：預測模型的創建和評估
數據挖掘的各種演算法：
關聯規則挖掘、回歸分析、聚類、分類、時序挖掘、序列模式挖掘等
六：部署（得出結果）
從模型和評估中獲得知識
知識的表示形式：規則、決策樹、知識基、網路權值
更多技術請關注python視頻教程。
Ⅵ Python 從入門到精通推薦看哪些書籍呢
你好呀，題主！Python從入門到精通的書籍推薦有下面這幾本書哦~
希望可以幫助到你！
Ⅶ 基於python的畢業設計題目是什麼
如下：
1基於MapRece的氣候數據的分析
2基於關鍵詞的文本知識的挖掘系統的設計與實現
3基於概率圖模型的蛋白質功能預測
4基於第三方庫的人臉識別系統的設計與實現
5基於hbase搜索引擎的設計與實現
6基於Spark-Streaming的黑名單實時過濾系統的設計與實現
7客戶潛在價值評估系統的設計與實現
8基於神經網路的文本分類的設計與實現
9基於Apriori的商品關聯關系分析與挖掘
10基於詞頻統計的中文分詞系統的設計與實現
11 K-means演算法在微博數據挖掘中的應用
12圖像對象檢測分析系統的研究和應用
13基於Apriori關聯規則的電子商務潛在客戶的數據挖掘
14基於Spark的電商用戶行為分析系統的設計與實現
15音樂推薦系統的研究與應用
16基於大數據的高校網路輿情監控引導系統的研究與應用
17基於醫療大數據的腫瘤疾病模式分析與研究
18基於支持向量機的空間數據挖掘及其在旅遊地理經濟中的應用
19基於深度殘差網路的糖尿病視網膜病變分類檢測研究
20基於大數據分析的門戶信息推薦系統
21 Web數據挖掘及其在電子商務中的研究與應用
Ⅷ 關聯規則挖掘演算法的介紹
學號：17020110019 姓名：高少魁
【嵌牛導讀】關聯規則挖掘演算法是數據挖掘中的一種常用演算法，用於發現隱藏在大型數據集中令人感興趣的頻繁出現的模式、關聯和相關性。這里將對該演算法進行簡單的介紹，之後通過Apriori演算法作為實例演示演算法執行結果。
【嵌牛鼻子】數據挖掘 關聯規則挖掘 python
【嵌牛正文】
一、演算法原理
1、基本概念
關聯規則用於發現隱藏在大型數據集中令人感興趣的頻繁出現的模式、關聯和相關性。 而 Apriori演算法則是經典的挖掘頻繁項集的關聯規則演算法，它通過層層迭代來尋找頻繁項集，最後輸出關聯規則：首先掃描數據集，得到 1-頻繁項集，記為 L1，通過合並 L1得到 2-頻繁項集 L2，再通過 L2找到 L3，如此層層迭代，直到找不到頻繁項集為止。
在Apriori演算法中，定義了如下幾個概念：
⚫ 項與項集 ：設 I={i1,i2,…,im}是由 m個不同項構成的集合，其中的每個 ik(k=1,2,…,m)被稱為一個項 (Item)，項的集合 I被稱為項集和，即項集。在實驗中，每一條購物記錄可以被看做 一個項集，用戶購買的某個商品即為一個項。
⚫ 事務與事務集：神乎事務 T是項集 I的一個子集，而事務的全體被稱為事務集。
⚫ 關聯規則：形如 A=>B的表達式，其中， A和 B都屬於項集 I，且 A與 B不相交。
⚫ 支持度：定義如下 support(A=>B) = P(A B)，即 A和 B所含的項在事務集中同時出現的概率。
⚫ 置信度：定義如下 confidence(A⇒B)=support(A⇒B)/support(A)=P(A B)/P(A)=P(B|A)，即如果事務包含 A，則事務中同時出現 B的概率。
⚫ 頻繁項集：如果項集 I的支持度滿足事先定義好的最小支持度閾慧液值（即 I的出現頻度大於相應的最小出現頻度閾值），則 I是頻繁項集。
⚫ 強關聯規則：滿足最小支持度和最小置信度的關聯規則，即待挖掘的關聯規則。
根據以上概念，要實現關聯規則的挖掘，首先要找到所有的頻繁項集，之後找出強關聯規則（即通過多次掃描數據集，找出頻繁集，然後產生關聯規則）。
2、挖掘頻繁項集
在該步驟中有兩個較為重要的部分 ：連接和修剪。連接步驟即使用k-1頻繁項集，通過連接得到 k-候選項集，並且只有相差一個項的項集才能進行連接，如 {A,B}和 {B,C}連接成為 {A,B,C}。修剪步驟基於一個性質：一個 k-項集，如果它的一個 k-1項集（子集）不是頻繁的，那麼它本身也不可能是頻繁的。 因此可以基於這個性質，通過判斷先驗性質來對候選集進行修剪。
3、產生關聯規則
經過連接和修剪之後，即找到了所有的頻繁項集，此時可以在此基礎上產生關聯規則，步驟如下
（1）對於每個頻繁項集 l，產生 l的所有非空子集（這些非空子集一定是頻繁項集）；
（2）對於 l的每一個非空子集 x，計算 confidence(x => (l-x))，如果 confidence(x => (l-x)) confmin，那麼規則 x => (l-x)」成立。
二、演算法設計
1、數據集
通過語句 import xlrd導入相關的庫來進行數據的讀取 。數據內容為十條購物記錄 ，每條購物記錄有若干個商品，表示某個顧客的購買記錄 ，如圖
對於數據載入部分 使用了 xlrd庫中的函數 open_workbook來 打開一個表格文件，使用sheet_by_index函數得到一個工作表， row_values函數即可讀取表格中的內容。由於每個購物記錄的商品數不一定相同，導致讀取的內容含有空格 (』 』)，因此對數據進行刪減以得到緊湊的數據 ，最終讀取數據的結果以列表的游碧悉形式返回。
2、連接
對於連接部分，主要目標是根據已有的k-1頻繁項集生成 k-候選頻繁項集。演算法步驟為：首先將項集中的項按照字典順序排序，之後將 k-1項集中兩個項作比較，如果兩個項集中前 k-2個項是相同的，則可以通過或運算（|）將它們連接起來。
3、修剪
修剪操作主要使用一個判斷函數，通過傳入連接操作後的項集和之前的k-1頻繁項集，對新的項集中的每一個項的補集進行判斷，如果該補集不是 k-1頻繁項集的子集，則證明新的項集不滿足先驗性質，即一個頻繁項集的所有非空子集一定是頻繁的 ，否則就滿足先驗形式。返回布爾類型的參數來供調用它的函數作判斷。
經過連接和修剪步驟之後，項基要成為頻繁項集還必須滿足最小支持度的條件，筆者設計了generateFrequentItems函數來對連接、修剪後產生的 k-候選項集進行判斷，通過遍歷數據集，計算其支持度，滿足最小支持度的項集即是 一個頻繁項集，可將其返回。
以上，經過不斷的遍歷、連接、修剪、刪除，可將得到的所有結果以列表形式返回。筆者還設計了字典類型的變數 support_data，以得到某個頻繁項集及其支持度 。
4、挖掘關聯規則
generateRules函數用來挖掘關聯規則，通過傳入 最小置信度、 頻繁項集及其 支持度來生成規則 。根據定理：對於頻繁項集 l的每一個非空子集 x，計算 confidence(x => (l-x))，如果 confidence(x => (l-x)) confmin，那麼規則 x => (l-x)」成立，因此，該函數重點在掃描頻繁項集，得到每一個子集，並計算置信度，當置信度滿足條件（即大於等於最小置信度）時，生成一條規則。在函數中，使用了元組來表示一條規則，元組中包含 x、 l-x以及其置信度 ，最後返回生成的所有規則的列表。
三、演算法執行結果
設置最大頻繁項集數k為 3，最小支持度為 0.2，最小置信度為 0.8 使用 pycharm運行程序 ，得到以下結果：
由圖中結果可以看出，對於頻繁 1-項集，有五個滿足的項集，頻繁 2-項集有 6個，頻繁 3-項集有 2個，它們都滿足支持度大於或等於最小支持度 0.2。根據頻繁項集，程序得到的關聯規則有三條，即 {麵包 }=>{牛奶 }，，{雞蛋 }=>{牛奶 }，，{麵包，蘋果 }=>{牛奶 其中，這些規則的置信度都是 1.0，滿足大於或等於最小置信度 0.8的條件 。
四、程序源碼
Ⅸ Python 從入門到精通推薦看哪些書籍呢
Ⅹ 為什麼要進行數據挖掘
問題一：為什麼要進行數據挖掘和搜集客戶信息 數據挖掘技術在客戶關系管理中的典型應用
客戶獲取
客戶獲取的傳統方式一般是通過大量的媒體廣告、散發傳單等方式吸引新客戶。這種方式涉及面過廣不能做到有的放矢而且企業投入太大。數據挖掘技術可以從以往的市場活動中收集到的有用數據(主要是指潛在客戶反應模式分類)建立起數據挖掘模型。企業因此能夠了解真正的潛在客戶的特徵分類，從而在以蘆毀彎後的市場活動中做到有的放矢而不是傳統的憑經驗的猜想。
客戶細分
細分就是指將一個大的消費群體劃分成為一個個細分群體的動作，同屬一個細分群體的消費者彼此相似，而隸屬於不同細分群體的消費者是被視為不同的。比如將資料庫中的數據按照年齡的不同來組織存放這樣一個簡單的動作就是細分。細分可以讓用戶從比較高的層次上來觀察資料庫中的數據，細分可以讓人們用不同的方法對待處於不同細分群中的客戶。數據挖掘中的分類、聚類等技術可以讓用戶對資料庫中的數據按類別、年齡、職業、地址、喜好等企業感興趣的屬性進行客戶細分。客戶細分是企業確定產品和服務的基礎．也是建立客戶一對一營銷的基礎。
客戶贏利能力分析
就企業的客戶而言，企業的絕大部分利潤是來自於小部分的客戶，而對於企業來說很難確定哪些客戶是高利潤回報，哪些客戶是低利潤回報甚至是負利潤回報的。數據挖掘技術能幫助企業區分利潤回報不同的客戶。從而可以將資源更多的分配在高利潤回報的客戶身上以產生更大的利潤，同時減少低或負利潤回報客戶的投入。為此，在數據挖掘之前，企業應該建立一套計算利潤回報的優化目標方法。可以是簡單的計算，如某客戶身上產生的收入減去所有相應的支陪悶出，也可以是較復雜的公式。然後利用數據挖掘工具從交易記錄中挖掘相應的知識。
客戶的保持
隨著行業中競爭愈來愈激烈，人們普遍認識到獲得一個新客戶的開支比保持一個老客戶的開支要大得多。所以如何保持原來老的客戶，不讓他們流失就成為CRM的一個重要課題。在實際應用中，利用數據挖掘工具為已經流失的客戶建立模型，然後利用這些模型可以預測出現有客戶中將來可能流失的客戶，企業就能研究這些客戶的需求，並採取相應的措施防止其流失，從而達到保持客戶的目的。
問題二：數據挖掘為什麼要對數據進行分類 不太明白您說的分類是什麼意思？是在數據預處理階段，還是挖掘的目的？
如果在數據預處理階段，可能是只對某個領域的數據進行挖掘，從而可以得出更置信的結論；
如果是挖掘目的，也就是模型的輸出，這就比較好理解了。
問題三：數據挖掘具體要做什麼？ 數據挖掘是一個很大的方面。你會java，這個很好。可以從weka 這個工具學起來，他是一個java寫的工具包。對於一個具體問題，比如，怎麼獲取測試數據，對於數據怎麼預處理，這些weka都有直接的介面。
至於你說的建模，不是一句話可以說清楚，首先你肯定要調查這個領域做得比較好的有哪些方法，然後從中至少選取幾種方法，都要實現，做統計，歸納結果，選擇符合你數據集的。當然你的數據 *** 一定要有代表性余空，就是國際認可的，至於怎麼罰到這些數據，一般都是比較出名的論文引用的，這些就很可以。用的工具當然有很多，你不能局限於一種方式或者一種工具，不同情況下用不同的工具，根據實際需要選擇。比如你要做聚類，你選擇一個weka，做神經元，你可能會傾向於matlab，實際情況決定你選擇的工具。
流程方面：數據獲取------數據預處理-----完成預定的任務 這是一個大概的流程。這一套都可以用weka實現。對於數據挖掘而言，都是80%數據+20%演算法，數據很重要，演算法其實只是一個測試數據集的作用，這是一點看法，希望對你有幫助。
問題四：在數據挖掘之前為什麼要對原始數據進行預處理 數據中包含很多雜訊數據，需要去除不相關的數據，比如如分析無關的欄位
了解數據質量，有些數據質量不足以直接使用，如包含過多的缺失值，需要進行缺失值處理
數據欄位不能夠直接使用，需要派生新的欄位，以更好的進行進一步的數據挖掘
數據分散，需要將數據進行整合，例如追加表（增加行），或者合並表（增加列）
通過數據的預處理能夠很好的對數據有初步的認識和理解。
數據預處理推薦你一個數據挖掘軟體：SmartMining桌面版，它和SPSS modeler 一樣都是面板操作，預處理能力和計算能力都非常不錯
問題五：為什麼要進行數據采樣？ 作為一個快速發展的領域，數據挖掘的目的是從數據中抽取有效的模式或者是有用的規則。數據挖掘的任務一般分為關聯規則、分類及聚類。這些任務通常涉及到大量的數據集，在這些數據集中隱藏著有用的知識。稱一個數據集是大的，數據集要麼有大量的記錄，要麼有大量的屬性，或者是兩者的組合。具有大量的記錄將使與模型匹配所花費的時間變長，而具有大量的屬性將使模型佔用的空間變大。大數據集對數據挖掘的演算法來說是一個主要的障礙，在演算法進行模式搜索及模型匹配的過程中，經常需要在數據集上遍歷多遍，而將所有的數據集裝入物理內存又非常困難。當數據集越來越大時，數據挖掘領域有面臨著開發適合大數據集的演算法，因此，一個簡單有效的方法就是利用采樣來縮減數據的大小(即記錄的數量)，即取一個大數據集的一個子集。在數據挖掘的應用中，存在兩種方法進行采樣:一種方法是某些數據挖掘演算法在演算法執行過程中並不是使用數據集中的所有數據:另一種方法是在部分數據上運行演算法的結果與在整個數據集上得到的結果是相同的。這與在數據挖掘中使用的兩種采樣基本方法是不謀而合的。一種方法是將采樣嵌入到數據挖掘的演算法中;而另一種方法是采樣與數據挖掘演算法分別運行。但是，利用采樣可能帶來一個問題:在小概率的情況下其結果不準確，而在大概率的情況下其結果的相似性是非常好的.。其原因是，運行在整個數據集的子集上可能破壞了屬性間的內在相關性，這種相關性在高維數據問題中是非常復雜而且難以理解的。
問題六：數據挖掘為什麼要用java或python 主要是方便，python的第三方模塊很豐富，而且語法非常簡練，自由度很高，python的numpy、scipy、matplotlib模塊可以完成所有的spss的功能，而且可以根據自己的需要按照定製的方法對數據進行清洗、歸約，需要的情況下還可以跟sql進行連接，做機器學習，很多時候數據是從互聯網上用網路爬蟲收集的，python有urllib模塊，可以很簡單的完成這個工作，有些時候爬蟲收集數據還要對付某些網站的驗證碼，python有PIL模塊，可以方便的進行識別，如果需要做神經網路、遺傳演算法，scipy也可以完成這個工作，還有決策樹就用if-then這樣的代碼，做聚類不能局限於某幾種聚類，可能要根據實際情況進行調整，k-means聚類、DBSCAN聚類，有時候可能還要綜合兩種聚類方法對大規模數據進行聚類分析，這些都需要自行編碼來完成，此外，基於距離的分類方法，有很多距離表達方式可以選用，比如歐幾里得距離、餘弦距離、閔可夫斯基距離、城市塊距離，雖然並不復雜， 但是用python編程實現很方便，基於內容的分類方法，python有強大的nltk自然語言處理模塊，對語言片語進行切分、收集、分類、統計等。
綜上，就是非常非常方便，只要你對python足夠了解，你發現你可以僅僅使用這一個工具快速實現你的所有想法
問題七：數據分析和數據挖掘的深入學習為什麼重要 1、大數據（big data）：
指無法在可承受的時間范圍內用常規工具進行捕捉、管理和處理的數據 *** ，是需要新處理模式才能具有更強的決策力、洞察發現力和流程優化能力的海量、高增長率和多樣化的信息資產；
在維克托・邁爾-舍恩伯格及肯尼斯・庫克耶編寫的《大數據時代》 中大數據指不用隨機分析法（抽樣調查）這樣的捷徑，而採用所有數據進行分析處理。大數據的5V特點（IBM提出）：Volume（大量）、Velocity（高速）、Variety（多樣）、Value（價值）Veracity（真實性） 。
2、數據分析：
是指用適當的統計分析方法對收集來的大量數據進行分析，提取有用信息和形成結論而對數據加以詳細研究和概括總結的過程。這一過程也是質量管理體系的支持過程。在實用中，數據分析可幫助人們作出判斷，以便採取適當行動。
數據分析的數學基礎在20世紀早期就已確立，但直到計算機的出現才使得實際操作成為可能，並使得數據分析得以推廣。數據分析是數學與計算機科學相結合的產物。
3、數據挖掘（英語：Data mining）：
又譯為資料探勘、數據采礦。它是資料庫知識發現（英語：Knowledge-Discovery in Databases，簡稱：KDD)中的一個步驟。數據挖掘一般是指從大量的數據中通過演算法搜索隱藏於其中信息的過程。數據挖掘通常與計算機科學有關，並通過統計、在線分析處理、情報檢索、機器學習、專家系統（依靠過去的經驗法則）和模式識別等諸多方法來實現上述目標。
問題八：數據分析和數據挖掘的區別是什麼？如何做好數據挖掘 大數據、數據分析、數據挖掘的區別是，大數據是互聯網的海量數據挖掘，而數據挖掘更多是針對內部企業行業小眾化的數據挖掘，數據分析就是進行做出針對性的分析和診斷，大數據需要分析的是趨勢和發展，數據挖掘主要發現的是問題和診斷：
1、大數據（big data）：
指無法在可承受的時間范圍內用常規軟體工具進行捕捉、管理和處理的數據 *** ，是需要新處理模式才能具有更強的決策力、洞察發現力和流程優化能力的海量、高增長率和多樣化的信息資產；
在維克托・邁爾-舍恩伯格及肯尼斯・庫克耶編寫的《大數據時代》 中大數據指不用隨機分析法（抽樣調查）這樣的捷徑，而採用所有數據進行分析處理。大數據的5V特點（IBM提出）：Volume（大量）、Velocity（高速）、Variety（多樣）、Value（價值）Veracity（真實性） 。
2、數據分析：
是指用適當的統計分析方法對收集來的大量數據進行分析，提取有用信息和形成結論而對數據加以詳細研究和概括總結的過程。這一過程也是質量管理體系的支持過程。在實用中，數據分析可幫助人們作出判斷，以便採取適當行動。
數據分析的數學基礎在20世紀早期就已確立，但直到計算機的出現才使得實際操作成為可能，並使得數據分析得以推廣。數據分析是數學與計算機科學相結合的產物。
3、數據挖掘（英語：Data mining）：
又譯為資料探勘、數據采礦。它是資料庫知識發現（英語：Knowledge-Discovery in Databases，簡稱：KDD)中的一個步驟。數據挖掘一般是指從大量的數據中通過演算法搜索隱藏於其中信息的過程。數據挖掘通常與計算機科學有關，並通過統計、在線分析處理、情報檢索、機器學習、專家系統（依靠過去的經驗法則）和模式識別等諸多方法來實現上述目標。
問題九：在crm過程中為什麼要進行數據挖掘 挖掘大數據，進行分析，這樣才能發揮crm的作用，做好客戶關系管理。