python关联规则挖掘
Ⅰ python 关联规则分前项后项吗
学了两天python，想实践下，正好最近在学习数据挖掘，先用python实现下
注：由于后面加了注释，由于编码问题，可能即使是注释，有的环境也不支持汉字的编码，运行报错的话可以将汉字删除后再运行
环境 ubuntu 13.4 python 2
[python]view plain
importitertools
import
'''''
定义全局变量k，即支持度计数k,此k也可以在运行程序之前输入，简单改动即可
'''
k=2
'''''
存储频繁项集的列表
'''
frequenceItem=[]
'''''
从txt文件dataset.txt里获取事务集
'''
defgetDataSet(args):
f=open(args,'r')
source=f.readlines()
f.close()
dataset=[]
forlineinsource:
temp1=line.strip(' ')
temp2=temp1.split(',')
dataset.append(temp2)
returndataset
'''''
初步扫描事务集，从事务集里获取候选1项集
方法的基本思路是：
定义一个集合tmp，将事务集的第一项作为tmp的初始集合
然后扫描事务集，将不在tmp里的数据项加入tmp中
'''
deffind_item(dataset):
length=len(dataset)
foriinrange(0,length):
ifi==0:
tmp=set(dataset[i])
tmp.update(set(dataset[i]))
candidate=list(tmp)
candidate.sort()
returncandidate
'''''
从候选项集里找出频繁项集，其中num代表频繁num+1项集
如num为0的为从候选1项集里找出频繁1项集
方法基本思路：
1、定义一个支持度列表count
2、对于每一个候选项，依次扫描事务集，如果该项出现在事务集中就将该项对应的count+1、定义一个支持度列表count+1
3、将每一项的count和k（支持度计数）进行比较，将count小于k的项剔除
'''
deffind_frequent(candidate,dataset,num):
frequence=[]
length=len(candidate)
count=[]
foriinrange(0,length):
count.append(0)
count[i]=0
ifnum==0:
'''''
其实不管num为0还是别的值算法应该是一样的，但是由于程序实现上的问题
num为0的时候选项集是一维列表，其它的时候，候选项集是二维列表，
毕竟只是自己写着玩的，python还不熟，牵一发而动全身，懒得改了
'''
child=set([candidate[i]])
else:
child=set(candidate[i])
forjindataset:
parent=set(j)
ifchild.issubset(parent):
count[i]=count[i]+1
forminrange(0,length):
ifcount[m]>=k:
frequence.append(candidate[m])
returnfrequence
'''''
先验定理，剪枝掉不必要的候选n项集
方法思路：
1、依次取出候选项集里的项
2、取出n项集里的n-1项子集
3、如果所有的n-1项集不都都是频繁n-1项集的子集，则删除该候选项集
'''
defpre_test(candidate,num,frequence):
r_candidate=.deep(candidate)
foreachincandidate:
foreach2initertools.combinations(each,num):
tmp=(list(each2))
tag=0
forjinfrequence:
ifnum==1:
if(tmp[0]==j):
tag=1
break
else:
iftmp==j:
tag=1
break
iftag==0:
r_candidate.remove(each)
break
returnr_candidate
'''''
通过频繁n-1项集产生候选n项集，并通过先验定理对候选n项集进行剪枝
方法思路：
1、如果是频繁1项集，则通过笛卡尔积产生频繁2项集
2、如果不是频繁一项集，采用F（k-1）*F（k-1）方法通过频繁n-1项集产生候选n项集
注：F（k-1）*F（k-1）方法在我的另一篇关联算法博客上做了理论上的简单介绍，或者也可以直接参看《数据挖掘导论》
'''
defget_candidata(frequence,num):
length=len(frequence)
candidate=[]
ifnum==1:
foreachinitertools.combinations(frequence,2):
tmp=list(each)
tmp3=[]
tmp3.append(tmp[0])
tmp3.append(tmp[1])
candidate.append(tmp3)
else:
foriinrange(0,length-1):
tmp1=.deep(frequence[i])
tmp1.pop(num-1)
forjinrange(i+1,length):
tmp2=.deep(frequence[j])
tmp2.pop(num-1)
iftmp1==tmp2:
tmp3=.deep(frequence[i])
tmp3.append(frequence[j][num-1])
candidate.append(tmp3)
candidate2=pre_test(candidate,num,frequence)
returncandidate2
'''''
main程序
'''
if__name__=='__main__':
dataset=getDataSet('dataset.txt')
Item=find_item(dataset)
num=0
frequenceItem=[]
'''''
通过事务集找到频繁项集，直至频繁n项集为空，则退出循环
'''
while1:
ifnum==0:
candidate=Item
else:
candidate=get_candidata(frequenceItem[num-1],num)
frequenceItem.append(find_frequent(candidate,dataset,num))
iffrequenceItem[num]==[]:
frequenceItem.pop(num)
break
num=num+1
'''''
打印出频繁项集
'''
foreachinfrequenceItem:
printeach
目录位置：
Ⅱ Python购物篮数据（关联分析）
pip install mlxtend
由于已经是csv格式，所以直接输入：
每一迹册歼行： 一个购物篮
每一列： 购物篮中的商品
先看看pd读的对不对：
然后按行打印：
再将这些存在一个数组中：
1、什么是独热码
独热码，在英文文献中称做 one-hot code, 直观来说就是有多少个状态就有多少比特，而且只有一个比特为1，其他全为0的一种码制，更加详细参加 one_hot code（维基网络） 。在机器学习中对于离散型的分类型的数据，需要对其进行数字化比如说性别这一属性，只能有男性或者女性或者其他这三种值，如何对这三个值进行数字化表达？一种简单的方式就是男性为0，女性为1，其他为2，这样做有什么问题？
使用上面简单的序列对分类值进行表示后，进行模型训练时可能会产生一个问题就是特征的因为数字值得不同影响模型的训练效果，在模型训练的过程中不同的值使得同一特征在样本中的权重可能发生变化，假如直接编码成1000，是不是比编码成1对模型的的影响更大。为了解决上述的问题，使训练过程中不受到因为分类值表示的问题对模型产生的负面影响，引入独热姿氏码对分类型的特征进行独热码编码。
可以这样理解，对于每一个特征，如果它有m个可能值，那么经过独热编码后，就变成了m个姿冲二元特征（如成绩这个特征有好，中，差变成one-hot就是100, 010, 001）。并且，这些 特征互斥 ，每次只有一个激活。因此，数据会变成稀疏的。
这样做的好处主要有：
（1）解决了分类器不好处理 属性数据 的问题
（2）在一定程度上也起到了 扩充特征 的作用
M
以下为我摘取的别人的，贴上原文链接https://blog.csdn.net/hellozhxy/article/details/80600845
着名的啤酒与尿布, 这是典型的购物篮问题, 在数据挖掘界叫做频繁项集(Frequent Itemsets).
note: 数据类型写法按照Python的格式.
一. 目标与定义
1. 问题背景
超市中购物清单中总是有一些项目是被消费者一同购买的. 如果我们能够发现这些 关联规则 (association rules), 并合理地加以利用, 我们就能取得一定成果. 比如我们发现热狗和芥末存在这种关系, 我们对热狗降价促销, 而对芥末适当提价, 结果能显着提高超市的销售额.
2. 目标
找到频繁地 共同 出现在消费者结账小票中项目(比如啤酒和尿布), 来一同促销, 相互拉动, 提高销售额.
3. 定义
支持度support: 其实就是概率论中的频次frequency
支持度阈值support threshhold: 记为s, 指分辨频繁项集的临界值.
频繁项集: 如果I是一个项集(Itemset), 且I的出现频次(i.e.支持度)大于等于s, 那么我们说I是频繁项集.
一元项, 二元项, 三元项: 包含有一种商品, 两种, 三种商品的项集.
4. 关联规则
关联规则: 形式为I->j, 含义是如果I种所有项都出现在某个购物篮的话, 那么j很有可能也出现在这个购物篮中. 我们可以给出相应的confidence值(可信度, 即概率论中的置信度).
其中, 这个关联规则的可信度计算为Confidence = I∪{j} / I, 本身是非常符合直觉和常识的. 比如我们说关联规则{dog, cat} -> and 的可信度为0.6, 因为{dog, cat}出现在了1, 2, 3, 6, 7五个购物篮中, 而and出现在了1,2,7中, 因此我们可以算出Confidence = freq[{dog, cat, and}] / freq[{dog, cat}] = 3/5 = 0.6
注意到, 分子部分的频次总是比分母低, 这是因为{dog, cat} 出现的次数总是大于等于{dog, cat, and}的出现次数.
二. 购物篮与A-Priori算法
1. 购物篮数据表示
我们将有一个文本文件输入, 比如allBills.txt, 或者allBills.csv. 里面每行是一个购物篮.
文件的头两行可能是这样(df.show(2)):
{23, 456, 1001}
{3, 18, 92, 145}
我们假定这是一家大型连锁超市, 比如沃尔玛, 因此这个文本文件是非常大的, 比如20GB. 因此我们无法一次将该文件读入内存. 因此, 算法的主要时间开销都是磁盘IO.
我们同时还假定, 所有购物篮的平均规模是较小的, 因此在内存中产生所有大小项集的时间开销会比读入购物篮的时间少很多.
我们可以计算, 对于有n个项目组成的购物篮而言, 大小为k的所有子集的生成时间约为(n, k) = n! / ((n-k)!k!) = O(n^k/ k!), 其中我们只关注较小的频繁项集, 因此我们约定k=2或者k=3. 因此所有子集生成时间T = O(n^3).
Again, 我们认为 在内存中产生所有大小项集的时间开销会比读入购物篮的时间少很多.
2. Itemset计数过程中的内存使用
我们必须要把整个k,v字典放在内存中, 否则来一个Itemset就去硬盘读取一次字典将十分十分地慢.
此处, 字典是k=(18, 145), v=15这种形式. 此处, 应当注意到, 如果有{bread, milk, orange}这样的String类型输入, 应当预先用一个字典映射成对应的整数值编码, 比如1920, 4453, 9101这样.
那么, 我们最多能用字典存储多少种商品?
先看下我们存储多少个count值.
我们假定项的总数目是n, 即超市有n种商品, 每个商品都有一个数字编号, 那么我们需要(n, 2) = n^2/2 的大小来存储所有的二元组合的count, 假设int是占4个byte, 那么需要(2·n^2)Byte内存. 已知2GB内存 = 2^31 Byte, 即2^31/2 = 2^30 >= n^2 --> n <= 2^15. 也就是说n<33 000, 因此我们说商品种类的最多是33k种.
但是, 这种计算方法存在一个问题, 并不是有10种商品, 那么这10种商品的任意二元组合都会出现的. 对于那些没出现的组合, 我们在字典中完全可以不存储, 从而节省空间.
同时, 别忘了我们同样也得存储key = (i, j), 这是至少额外的两个整数.
那么我们到底具体怎么存储这些计数值?
可以采用三元组的方式来构造字典. 我们采用[i, j, count]形式来存储, 其中i代表商品种类1, j代表商品种类2, 前两个值代表key, 后面的value就是count, 是这个二元组合下的计数.
现在, 让我们注意到我们(1)假定购物篮平均大小较小, 并(2)利用三元组(2个key的)字典和(3)不存储没出现组合优势. 假设有100k = 10^5种商品, 有10million=10^7个购物篮, 每个购物篮有10个项, 那么这种字典空间开销是(10, 2) · 10^7 = 45 x 10^7 x 3= 4.5x10^8x3 = 1.35x10^9 个整数. 这算出来约为4x10^8 Byte = 400MB, 处于正常计算机内存范围内.
3. 项集的单调性
如果项集I是频繁的, 那么它的所有子集也都是频繁的. 这个道理很符合常识, 因为{dog, cat} 出现的次数总是大于等于{dog, cat, and}的出现次数.
这个规律的推论, 就是严格地, 我们频繁一元组的个数> 频繁二元组的个数 > 频繁三元组的个数.
4. A-Priori算法
我们通过Itemset计数中内存使用的部门, 已经明确了我们总是有足够的内存用于所有存在的二元项集(比如{cat, dog})的计数. 这里, 我们的字典不存放不存在于购物篮中的任何二元项集合, 而且频繁二元组的数目将会大于三元频繁三元组> ...
我们可以通过单边扫描购物篮文件, 对于每个购物篮, 我们使用一个双重循环就可以生成所有的项对(即二元组). 每当我们生成一个项对, 就给其对应的字典中的value +1(也称为计数器). 最后, 我们会检查所有项对的计数结果,并且找出那些>=阈值s的项对, 他们就是频繁项对.
1) A-Priori算法的第一遍扫描
在第一遍扫描中, 我们将建立两个表. 第一张表将项的名称转换为1到n之间的整数, 从而把String类型这样的key转为空间大小更小的int类型. 第二张表将记录从1~n每个项在所有购物篮中出现的次数. 形式上类似
table 0(name table): {'dolphin': 7019, 'cat': 7020} //dict形式, 其实也可以做成list形式 [['dolphin', 7019], ['cat', 7020]]
table 1(single-item counter table): {7019: 15, 7020: 18} //dict形式, 其实也可以做成数组形式A[7019] = 2, A[7020] = 18
2) 第一遍扫描完的处理
第一遍扫描完后, 我们会按照自己设定的阈值s, 对整个table 1再进行一次mapping, 因为我们只关注最后counter值大于等于阈值的项目, 而且不关心其counter值具体多少. 因此, mapping策略是:
对凡是counter<s的, 一律把counter设成0; 对于counter>=s的, 按照次序, 把其设置成1~m的值(总共有m个满足要求的项)
3) 第二遍扫描
第二遍扫描所做的事有三:
(1) 对每个购物篮, 在table 1中检查其所有的商品项目, 把所有为频繁项的留下来建立一个list.
(2) 通过一个双重循环生成该list中的所有项对.
(3) 再走一次循环, 在新的数据结构table 2(dict或者list)中相应的位置+1. 此时的效果是dicta = {48: {13: 5}, 49: {71, 16}} 或者 lista [ [48, 13, 5],[49, 71, 16], ... ]
注意此时内存块上存储的结构: table1(name table), table2(single-item counter table), table3(double-item counter table)
5. 推广: 任意大小频繁项集上的A-Priori算法
我们对上面这个算法进行推广.
从任意集合大小k到下一个大小k+1的转移模式可以这么说:
(1) 对每个购物篮, 在table 1中检查其所有的商品项目, 把所有为频繁项的留下来建立一个list.
(2) 我们通过一个k+1重循环来生成该list中的所有(k+1)元组
(3) 对每个k+1元组, 我们生成其的(k+1 choose k)个k元组, 并检查这些k元组是否都在之前的table k中. (注意到k=1的时候, 这步与(1)是重复的, 可以省略)
(4)再走一次循环, 在新的数据结构table k+1(dict或者list)中相应的位置+1. 此时的效果是k=2, k+1=3, 生成dicta = {48: {13: {19: 4}}, 49: {71: {51: 10}}, ... } 或者 生成lista [ [48, 13, 19, 4],[49, 71, 51, 10], ... ]
注意, 在进入下一次扫描前, 我们还需要额外把counter中值小于s的元组的计数值都记为0.
模式总体是:C1 过滤后 L1 计数后 C2 置零后 C2' 过滤后 L2 计数后 C3 置零后 C3' ......
END.
生成的商品种类为set形式：转成list形式
第一张表：把项名称转换为1~n的整数：
至于数数，大神说，你就用collections.Counter就好：哈？
哈哈，可爱的wyy，开始分析吧~噜噜噜啦啦啦~噜啦噜啦噜~
生成全零矩阵：
换成zeros:
统计每一列的和，即每种商品的购买总数：
每一行列:
第一行：
建立一个新的只含有频繁一项集的购物篮矩阵：
频繁二项集：
Ⅲ Python和数据挖掘有什么关系
Python是工具
数据挖掘是研究方向
数据挖掘有很多经典算法，这些算法有的有现成Python包，你可以用Python调用这些包处理自己的数据实现数据挖掘。
Ⅳ 数据挖掘题目
这个很基础的题目啊，是不是老师迅派留的作业？
最小支持度0.6，置信度0.8，这些概念都了解吧
哎，算了，把python代码给你贴一下吧
按顺序把代码码起来，存为py文件亩运贺，python3跑一下，什么频繁项集，什么关联规则就全出来悄基了
Ⅳ python数据分析的一般步骤是什么
下面是用python进行数据分析的一般步骤：
一：数据抽取
从外部源数据中获取数据
保存为各种格式的文件、数据库等
使用Scrapy爬虫等技术
二：数据加载
从数据库、文件中提取数据，变成DataFrame对象
pandas库的文件读取方法
三：数据处理
数据准备：
对DataFrame对象（多个）进行组装、合并等操作
pandas库的操作
数据转化：
类型转化、分类（面元等）、异常值检测、过滤等
pandas库的操作
数据聚合：
分组（分类）、函数处理、合并成新的对象
pandas库的操作
四：数据可视化
将pandas的数据结构转化为图表的形式
matplotlib库
五：预测模型的创建和评估
数据挖掘的各种算法：
关联规则挖掘、回归分析、聚类、分类、时序挖掘、序列模式挖掘等
六：部署（得出结果）
从模型和评估中获得知识
知识的表示形式：规则、决策树、知识基、网络权值
更多技术请关注python视频教程。
Ⅵ Python 从入门到精通推荐看哪些书籍呢
你好呀，题主！Python从入门到精通的书籍推荐有下面这几本书哦~
希望可以帮助到你！
Ⅶ 基于python的毕业设计题目是什么
如下：
1基于MapRece的气候数据的分析
2基于关键词的文本知识的挖掘系统的设计与实现
3基于概率图模型的蛋白质功能预测
4基于第三方库的人脸识别系统的设计与实现
5基于hbase搜索引擎的设计与实现
6基于Spark-Streaming的黑名单实时过滤系统的设计与实现
7客户潜在价值评估系统的设计与实现
8基于神经网络的文本分类的设计与实现
9基于Apriori的商品关联关系分析与挖掘
10基于词频统计的中文分词系统的设计与实现
11 K-means算法在微博数据挖掘中的应用
12图像对象检测分析系统的研究和应用
13基于Apriori关联规则的电子商务潜在客户的数据挖掘
14基于Spark的电商用户行为分析系统的设计与实现
15音乐推荐系统的研究与应用
16基于大数据的高校网络舆情监控引导系统的研究与应用
17基于医疗大数据的肿瘤疾病模式分析与研究
18基于支持向量机的空间数据挖掘及其在旅游地理经济中的应用
19基于深度残差网络的糖尿病视网膜病变分类检测研究
20基于大数据分析的门户信息推荐系统
21 Web数据挖掘及其在电子商务中的研究与应用
Ⅷ 关联规则挖掘算法的介绍
学号：17020110019 姓名：高少魁
【嵌牛导读】关联规则挖掘算法是数据挖掘中的一种常用算法，用于发现隐藏在大型数据集中令人感兴趣的频繁出现的模式、关联和相关性。这里将对该算法进行简单的介绍，之后通过Apriori算法作为实例演示算法执行结果。
【嵌牛鼻子】数据挖掘 关联规则挖掘 python
【嵌牛正文】
一、算法原理
1、基本概念
关联规则用于发现隐藏在大型数据集中令人感兴趣的频繁出现的模式、关联和相关性。 而 Apriori算法则是经典的挖掘频繁项集的关联规则算法，它通过层层迭代来寻找频繁项集，最后输出关联规则：首先扫描数据集，得到 1-频繁项集，记为 L1，通过合并 L1得到 2-频繁项集 L2，再通过 L2找到 L3，如此层层迭代，直到找不到频繁项集为止。
在Apriori算法中，定义了如下几个概念：
⚫ 项与项集 ：设 I={i1,i2,…,im}是由 m个不同项构成的集合，其中的每个 ik(k=1,2,…,m)被称为一个项 (Item)，项的集合 I被称为项集和，即项集。在实验中，每一条购物记录可以被看做 一个项集，用户购买的某个商品即为一个项。
⚫ 事务与事务集：神乎事务 T是项集 I的一个子集，而事务的全体被称为事务集。
⚫ 关联规则：形如 A=>B的表达式，其中， A和 B都属于项集 I，且 A与 B不相交。
⚫ 支持度：定义如下 support(A=>B) = P(A B)，即 A和 B所含的项在事务集中同时出现的概率。
⚫ 置信度：定义如下 confidence(A⇒B)=support(A⇒B)/support(A)=P(A B)/P(A)=P(B|A)，即如果事务包含 A，则事务中同时出现 B的概率。
⚫ 频繁项集：如果项集 I的支持度满足事先定义好的最小支持度阈慧液值（即 I的出现频度大于相应的最小出现频度阈值），则 I是频繁项集。
⚫ 强关联规则：满足最小支持度和最小置信度的关联规则，即待挖掘的关联规则。
根据以上概念，要实现关联规则的挖掘，首先要找到所有的频繁项集，之后找出强关联规则（即通过多次扫描数据集，找出频繁集，然后产生关联规则）。
2、挖掘频繁项集
在该步骤中有两个较为重要的部分 ：连接和修剪。连接步骤即使用k-1频繁项集，通过连接得到 k-候选项集，并且只有相差一个项的项集才能进行连接，如 {A,B}和 {B,C}连接成为 {A,B,C}。修剪步骤基于一个性质：一个 k-项集，如果它的一个 k-1项集（子集）不是频繁的，那么它本身也不可能是频繁的。 因此可以基于这个性质，通过判断先验性质来对候选集进行修剪。
3、产生关联规则
经过连接和修剪之后，即找到了所有的频繁项集，此时可以在此基础上产生关联规则，步骤如下
（1）对于每个频繁项集 l，产生 l的所有非空子集（这些非空子集一定是频繁项集）；
（2）对于 l的每一个非空子集 x，计算 confidence(x => (l-x))，如果 confidence(x => (l-x)) confmin，那么规则 x => (l-x)”成立。
二、算法设计
1、数据集
通过语句 import xlrd导入相关的库来进行数据的读取 。数据内容为十条购物记录 ，每条购物记录有若干个商品，表示某个顾客的购买记录 ，如图
对于数据加载部分 使用了 xlrd库中的函数 open_workbook来 打开一个表格文件，使用sheet_by_index函数得到一个工作表， row_values函数即可读取表格中的内容。由于每个购物记录的商品数不一定相同，导致读取的内容含有空格 (’ ’)，因此对数据进行删减以得到紧凑的数据 ，最终读取数据的结果以列表的游碧悉形式返回。
2、连接
对于连接部分，主要目标是根据已有的k-1频繁项集生成 k-候选频繁项集。算法步骤为：首先将项集中的项按照字典顺序排序，之后将 k-1项集中两个项作比较，如果两个项集中前 k-2个项是相同的，则可以通过或运算（|）将它们连接起来。
3、修剪
修剪操作主要使用一个判断函数，通过传入连接操作后的项集和之前的k-1频繁项集，对新的项集中的每一个项的补集进行判断，如果该补集不是 k-1频繁项集的子集，则证明新的项集不满足先验性质，即一个频繁项集的所有非空子集一定是频繁的 ，否则就满足先验形式。返回布尔类型的参数来供调用它的函数作判断。
经过连接和修剪步骤之后，项基要成为频繁项集还必须满足最小支持度的条件，笔者设计了generateFrequentItems函数来对连接、修剪后产生的 k-候选项集进行判断，通过遍历数据集，计算其支持度，满足最小支持度的项集即是 一个频繁项集，可将其返回。
以上，经过不断的遍历、连接、修剪、删除，可将得到的所有结果以列表形式返回。笔者还设计了字典类型的变量 support_data，以得到某个频繁项集及其支持度 。
4、挖掘关联规则
generateRules函数用来挖掘关联规则，通过传入 最小置信度、 频繁项集及其 支持度来生成规则 。根据定理：对于频繁项集 l的每一个非空子集 x，计算 confidence(x => (l-x))，如果 confidence(x => (l-x)) confmin，那么规则 x => (l-x)”成立，因此，该函数重点在扫描频繁项集，得到每一个子集，并计算置信度，当置信度满足条件（即大于等于最小置信度）时，生成一条规则。在函数中，使用了元组来表示一条规则，元组中包含 x、 l-x以及其置信度 ，最后返回生成的所有规则的列表。
三、算法执行结果
设置最大频繁项集数k为 3，最小支持度为 0.2，最小置信度为 0.8 使用 pycharm运行程序 ，得到以下结果：
由图中结果可以看出，对于频繁 1-项集，有五个满足的项集，频繁 2-项集有 6个，频繁 3-项集有 2个，它们都满足支持度大于或等于最小支持度 0.2。根据频繁项集，程序得到的关联规则有三条，即 {面包 }=>{牛奶 }，，{鸡蛋 }=>{牛奶 }，，{面包，苹果 }=>{牛奶 其中，这些规则的置信度都是 1.0，满足大于或等于最小置信度 0.8的条件 。
四、程序源码
Ⅸ Python 从入门到精通推荐看哪些书籍呢
Ⅹ 为什么要进行数据挖掘
问题一：为什么要进行数据挖掘和搜集客户信息 数据挖掘技术在客户关系管理中的典型应用
客户获取
客户获取的传统方式一般是通过大量的媒体广告、散发传单等方式吸引新客户。这种方式涉及面过广不能做到有的放矢而且企业投入太大。数据挖掘技术可以从以往的市场活动中收集到的有用数据(主要是指潜在客户反应模式分类)建立起数据挖掘模型。企业因此能够了解真正的潜在客户的特征分类，从而在以芦毁弯后的市场活动中做到有的放矢而不是传统的凭经验的猜想。
客户细分
细分就是指将一个大的消费群体划分成为一个个细分群体的动作，同属一个细分群体的消费者彼此相似，而隶属于不同细分群体的消费者是被视为不同的。比如将数据库中的数据按照年龄的不同来组织存放这样一个简单的动作就是细分。细分可以让用户从比较高的层次上来观察数据库中的数据，细分可以让人们用不同的方法对待处于不同细分群中的客户。数据挖掘中的分类、聚类等技术可以让用户对数据库中的数据按类别、年龄、职业、地址、喜好等企业感兴趣的属性进行客户细分。客户细分是企业确定产品和服务的基础．也是建立客户一对一营销的基础。
客户赢利能力分析
就企业的客户而言，企业的绝大部分利润是来自于小部分的客户，而对于企业来说很难确定哪些客户是高利润回报，哪些客户是低利润回报甚至是负利润回报的。数据挖掘技术能帮助企业区分利润回报不同的客户。从而可以将资源更多的分配在高利润回报的客户身上以产生更大的利润，同时减少低或负利润回报客户的投入。为此，在数据挖掘之前，企业应该建立一套计算利润回报的优化目标方法。可以是简单的计算，如某客户身上产生的收入减去所有相应的支陪闷出，也可以是较复杂的公式。然后利用数据挖掘工具从交易记录中挖掘相应的知识。
客户的保持
随着行业中竞争愈来愈激烈，人们普遍认识到获得一个新客户的开支比保持一个老客户的开支要大得多。所以如何保持原来老的客户，不让他们流失就成为CRM的一个重要课题。在实际应用中，利用数据挖掘工具为已经流失的客户建立模型，然后利用这些模型可以预测出现有客户中将来可能流失的客户，企业就能研究这些客户的需求，并采取相应的措施防止其流失，从而达到保持客户的目的。
问题二：数据挖掘为什么要对数据进行分类 不太明白您说的分类是什么意思？是在数据预处理阶段，还是挖掘的目的？
如果在数据预处理阶段，可能是只对某个领域的数据进行挖掘，从而可以得出更置信的结论；
如果是挖掘目的，也就是模型的输出，这就比较好理解了。
问题三：数据挖掘具体要做什么？ 数据挖掘是一个很大的方面。你会java，这个很好。可以从weka 这个工具学起来，他是一个java写的工具包。对于一个具体问题，比如，怎么获取测试数据，对于数据怎么预处理，这些weka都有直接的接口。
至于你说的建模，不是一句话可以说清楚，首先你肯定要调查这个领域做得比较好的有哪些方法，然后从中至少选取几种方法，都要实现，做统计，归纳结果，选择符合你数据集的。当然你的数据 *** 一定要有代表性余空，就是国际认可的，至于怎么罚到这些数据，一般都是比较出名的论文引用的，这些就很可以。用的工具当然有很多，你不能局限于一种方式或者一种工具，不同情况下用不同的工具，根据实际需要选择。比如你要做聚类，你选择一个weka，做神经元，你可能会倾向于matlab，实际情况决定你选择的工具。
流程方面：数据获取------数据预处理-----完成预定的任务 这是一个大概的流程。这一套都可以用weka实现。对于数据挖掘而言，都是80%数据+20%算法，数据很重要，算法其实只是一个测试数据集的作用，这是一点看法，希望对你有帮助。
问题四：在数据挖掘之前为什么要对原始数据进行预处理 数据中包含很多噪声数据，需要去除不相关的数据，比如如分析无关的字段
了解数据质量，有些数据质量不足以直接使用，如包含过多的缺失值，需要进行缺失值处理
数据字段不能够直接使用，需要派生新的字段，以更好的进行进一步的数据挖掘
数据分散，需要将数据进行整合，例如追加表（增加行），或者合并表（增加列）
通过数据的预处理能够很好的对数据有初步的认识和理解。
数据预处理推荐你一个数据挖掘软件：SmartMining桌面版，它和SPSS modeler 一样都是面板操作，预处理能力和计算能力都非常不错
问题五：为什么要进行数据采样？ 作为一个快速发展的领域，数据挖掘的目的是从数据中抽取有效的模式或者是有用的规则。数据挖掘的任务一般分为关联规则、分类及聚类。这些任务通常涉及到大量的数据集，在这些数据集中隐藏着有用的知识。称一个数据集是大的，数据集要么有大量的记录，要么有大量的属性，或者是两者的组合。具有大量的记录将使与模型匹配所花费的时间变长，而具有大量的属性将使模型占用的空间变大。大数据集对数据挖掘的算法来说是一个主要的障碍，在算法进行模式搜索及模型匹配的过程中，经常需要在数据集上遍历多遍，而将所有的数据集装入物理内存又非常困难。当数据集越来越大时，数据挖掘领域有面临着开发适合大数据集的算法，因此，一个简单有效的方法就是利用采样来缩减数据的大小(即记录的数量)，即取一个大数据集的一个子集。在数据挖掘的应用中，存在两种方法进行采样:一种方法是某些数据挖掘算法在算法执行过程中并不是使用数据集中的所有数据:另一种方法是在部分数据上运行算法的结果与在整个数据集上得到的结果是相同的。这与在数据挖掘中使用的两种采样基本方法是不谋而合的。一种方法是将采样嵌入到数据挖掘的算法中;而另一种方法是采样与数据挖掘算法分别运行。但是，利用采样可能带来一个问题:在小概率的情况下其结果不准确，而在大概率的情况下其结果的相似性是非常好的.。其原因是，运行在整个数据集的子集上可能破坏了属性间的内在相关性，这种相关性在高维数据问题中是非常复杂而且难以理解的。
问题六：数据挖掘为什么要用java或python 主要是方便，python的第三方模块很丰富，而且语法非常简练，自由度很高，python的numpy、scipy、matplotlib模块可以完成所有的spss的功能，而且可以根据自己的需要按照定制的方法对数据进行清洗、归约，需要的情况下还可以跟sql进行连接，做机器学习，很多时候数据是从互联网上用网络爬虫收集的，python有urllib模块，可以很简单的完成这个工作，有些时候爬虫收集数据还要对付某些网站的验证码，python有PIL模块，可以方便的进行识别，如果需要做神经网络、遗传算法，scipy也可以完成这个工作，还有决策树就用if-then这样的代码，做聚类不能局限于某几种聚类，可能要根据实际情况进行调整，k-means聚类、DBSCAN聚类，有时候可能还要综合两种聚类方法对大规模数据进行聚类分析，这些都需要自行编码来完成，此外，基于距离的分类方法，有很多距离表达方式可以选用，比如欧几里得距离、余弦距离、闵可夫斯基距离、城市块距离，虽然并不复杂， 但是用python编程实现很方便，基于内容的分类方法，python有强大的nltk自然语言处理模块，对语言词组进行切分、收集、分类、统计等。
综上，就是非常非常方便，只要你对python足够了解，你发现你可以仅仅使用这一个工具快速实现你的所有想法
问题七：数据分析和数据挖掘的深入学习为什么重要 1、大数据（big data）：
指无法在可承受的时间范围内用常规工具进行捕捉、管理和处理的数据 *** ，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产；
在维克托・迈尔-舍恩伯格及肯尼斯・库克耶编写的《大数据时代》 中大数据指不用随机分析法（抽样调查）这样的捷径，而采用所有数据进行分析处理。大数据的5V特点（IBM提出）：Volume（大量）、Velocity（高速）、Variety（多样）、Value（价值）Veracity（真实性） 。
2、数据分析：
是指用适当的统计分析方法对收集来的大量数据进行分析，提取有用信息和形成结论而对数据加以详细研究和概括总结的过程。这一过程也是质量管理体系的支持过程。在实用中，数据分析可帮助人们作出判断，以便采取适当行动。
数据分析的数学基础在20世纪早期就已确立，但直到计算机的出现才使得实际操作成为可能，并使得数据分析得以推广。数据分析是数学与计算机科学相结合的产物。
3、数据挖掘（英语：Data mining）：
又译为资料探勘、数据采矿。它是数据库知识发现（英语：Knowledge-Discovery in Databases，简称：KDD)中的一个步骤。数据挖掘一般是指从大量的数据中通过算法搜索隐藏于其中信息的过程。数据挖掘通常与计算机科学有关，并通过统计、在线分析处理、情报检索、机器学习、专家系统（依靠过去的经验法则）和模式识别等诸多方法来实现上述目标。
问题八：数据分析和数据挖掘的区别是什么？如何做好数据挖掘 大数据、数据分析、数据挖掘的区别是，大数据是互联网的海量数据挖掘，而数据挖掘更多是针对内部企业行业小众化的数据挖掘，数据分析就是进行做出针对性的分析和诊断，大数据需要分析的是趋势和发展，数据挖掘主要发现的是问题和诊断：
1、大数据（big data）：
指无法在可承受的时间范围内用常规软件工具进行捕捉、管理和处理的数据 *** ，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产；
在维克托・迈尔-舍恩伯格及肯尼斯・库克耶编写的《大数据时代》 中大数据指不用随机分析法（抽样调查）这样的捷径，而采用所有数据进行分析处理。大数据的5V特点（IBM提出）：Volume（大量）、Velocity（高速）、Variety（多样）、Value（价值）Veracity（真实性） 。
2、数据分析：
是指用适当的统计分析方法对收集来的大量数据进行分析，提取有用信息和形成结论而对数据加以详细研究和概括总结的过程。这一过程也是质量管理体系的支持过程。在实用中，数据分析可帮助人们作出判断，以便采取适当行动。
数据分析的数学基础在20世纪早期就已确立，但直到计算机的出现才使得实际操作成为可能，并使得数据分析得以推广。数据分析是数学与计算机科学相结合的产物。
3、数据挖掘（英语：Data mining）：
又译为资料探勘、数据采矿。它是数据库知识发现（英语：Knowledge-Discovery in Databases，简称：KDD)中的一个步骤。数据挖掘一般是指从大量的数据中通过算法搜索隐藏于其中信息的过程。数据挖掘通常与计算机科学有关，并通过统计、在线分析处理、情报检索、机器学习、专家系统（依靠过去的经验法则）和模式识别等诸多方法来实现上述目标。
问题九：在crm过程中为什么要进行数据挖掘 挖掘大数据，进行分析，这样才能发挥crm的作用，做好客户关系管理。