python交叉验证

❶ python svm 怎么训练模型

支持向量机SVM(Support Vector Machine)是有监督的分类预测模型，本篇文章使用机器学习库scikit-learn中的手写数字数据集介绍使用Python对SVM模型进行训练并对手写数字进行识别的过程。

准备工作

手写数字识别的原理是将数字的图片分割为8X8的灰度值矩阵，将这64个灰度值作为每个数字的训练集对模型进行训练。手写数字所对应的真实数字作为分类结果。在机器学习sklearn库中已经包含了不同数字的8X8灰度值矩阵，因此我们首先导入sklearn库自带的datasets数据集。然后是交叉验证库，SVM分类算法库，绘制图表库等。

12345678910#导入自带数据集from sklearn import datasets#导入交叉验证库from sklearn import cross_validation#导入SVM分类算法库from sklearn import svm#导入图表库import matplotlib.pyplot as plt#生成预测结果准确率的混淆矩阵from sklearn import metrics

读取并查看数字矩阵

从sklearn库自带的datasets数据集中读取数字的8X8矩阵信息并赋值给digits。

12#读取自带数据集并赋值给digitsdigits = datasets.load_digits()

查看其中的数字9可以发现，手写的数字9以64个灰度值保存。从下面的8×8矩阵中很难看出这是数字9。

12#查看数据集中数字9的矩阵digits.data[9]

以灰度值的方式输出手写数字9的图像，可以看出个大概轮廓。这就是经过切割并以灰度保存的手写数字9。它所对应的64个灰度值就是模型的训练集，而真实的数字9是目标分类。我们的模型所要做的就是在已知64个灰度值与每个数字对应关系的情况下，通过对模型进行训练来对新的手写数字对应的真实数字进行分类。

1234#绘制图表查看数据集中数字9的图像plt.imshow(digits.images[9], cmap=plt.cm.gray_r, interpolation='nearest')plt.title('digits.target[9]')plt.show()

从混淆矩阵中可以看到，大部分的数字SVM的分类和预测都是正确的，但也有个别的数字分类错误，例如真实的数字2，SVM模型有一次错误的分类为1，还有一次错误分类为7。

❷ Python语言下的机器学习库

Python语言下的机器学习库
Python是最好的编程语言之一，在科学计算中用途广泛：计算机视觉、人工智能、数学、天文等。它同样适用于机器学习也是意料之中的事。当然，它也有些缺点；其中一个是工具和库过于分散。如果你是拥有unix思维（unix-minded）的人，你会觉得每个工具只做一件事并且把它做好是非常方便的。但是你也需要知道不同库和工具的优缺点，这样在构建系统时才能做出合理的决策。工具本身不能改善系统或产品，但是使用正确的工具，我们可以工作得更高效，生产率更高。因此了解正确的工具，对你的工作领域是非常重要的。
这篇文章的目的就是列举并描述Python可用的最有用的机器学习工具和库。这个列表中，我们不要求这些库是用Python写的，只要有Python接口就够了。我们在最后也有一小节关于深度学习（Deep Learning）的内容，因为它最近也吸引了相当多的关注。
我们的目的不是列出Python中所有机器学习库（搜索“机器学习”时Python包索引(PyPI)返回了139个结果），而是列出我们所知的有用并且维护良好的那些。另外，尽管有些模块可以用于多种机器学习任务，我们只列出主要焦点在机器学习的库。比如，虽然Scipy包含一些聚类算法，但是它的主焦点不是机器学习而是全面的科学计算工具集。因此我们排除了Scipy（尽管我们也使用它！）。
另一个需要提到的是，我们同样会根据与其他科学计算库的集成效果来评估这些库，因为机器学习（有监督的或者无监督的）也是数据处理系统的一部分。如果你使用的库与数据处理系统其他的库不相配，你就要花大量时间创建不同库之间的中间层。在工具集中有个很棒的库很重要，但这个库能与其他库良好集成也同样重要。
如果你擅长其他语言，但也想使用Python包，我们也简单地描述如何与Python进行集成来使用这篇文章列出的库。
Scikit-LearnScikit Learn是我们在CB Insights选用的机器学习工具。我们用它进行分类、特征选择、特征提取和聚集。我们最爱的一点是它拥有易用的一致性API，并提供了很多开箱可用的求值、诊断和交叉验证方法（是不是听起来很熟悉？Python也提供了“电池已备(译注：指开箱可用)”的方法）。锦上添花的是它底层使用Scipy数据结构，与Python中其余使用Scipy、Numpy、Pandas和Matplotlib进行科学计算的部分适应地很好。因此，如果你想可视化分类器的性能（比如，使用精确率与反馈率(precision-recall)图表，或者接收者操作特征(Receiver Operating Characteristics，ROC)曲线），Matplotlib可以帮助进行快速可视化。考虑到花在清理和构造数据的时间，使用这个库会非常方便，因为它可以紧密集成到其他科学计算包上。
另外，它还包含有限的自然语言处理特征提取能力，以及词袋（bag of words）、tfidf（Term Frequency Inverse Document Frequency算法）、预处理（停用词/stop-words，自定义预处理，分析器）。此外，如果你想快速对小数据集（toy dataset）进行不同基准测试的话，它自带的数据集模块提供了常见和有用的数据集。你还可以根据这些数据集创建自己的小数据集，这样在将模型应用到真实世界中之前，你可以按照自己的目的来检验模型是否符合期望。对参数最优化和参数调整，它也提供了网格搜索和随机搜索。如果没有强大的社区支持，或者维护得不好，这些特性都不可能实现。我们期盼它的第一个稳定发布版。
StatsmodelsStatsmodels是另一个聚焦在统计模型上的强大的库，主要用于预测性和探索性分析。如果你想拟合线性模型、进行统计分析，或者预测性建模，那么Statsmodels非常适合。它提供的统计测试相当全面，覆盖了大部分情况的验证任务。如果你是R或者S的用户，它也提供了某些统计模型的R语法。它的模型同时也接受Numpy数组和Pandas数据帧，让中间数据结构成为过去！
PyMCPyMC是做贝叶斯曲线的工具。它包含贝叶斯模型、统计分布和模型收敛的诊断工具，也包含一些层次模型。如果想进行贝叶斯分析，你应该看看。
ShogunShogun是个聚焦在支持向量机（Support Vector Machines, SVM）上的机器学习工具箱，用C++编写。它正处于积极开发和维护中，提供了Python接口，也是文档化最好的接口。但是，相对于Scikit-learn，我们发现它的API比较难用。而且，也没提供很多开箱可用的诊断和求值算法。但是，速度是个很大的优势。
GensimGensim被定义为“人们的主题建模工具（topic modeling for humans）”。它的主页上描述，其焦点是狄利克雷划分（Latent Dirichlet Allocation， LDA）及变体。不同于其他包，它支持自然语言处理，能将NLP和其他机器学习算法更容易组合在一起。如果你的领域在NLP，并想进行聚集和基本的分类，你可以看看。目前，它们引入了Google的基于递归神经网络（Recurrent Neural Network）的文本表示法word2vec。这个库只使用Python编写。
OrangeOrange是这篇文章列举的所有库中唯一带有图形用户界面（Graphical User Interface，GUI）的。对分类、聚集和特征选择方法而言，它是相当全面的，还有些交叉验证的方法。在某些方面比Scikit-learn还要好（分类方法、一些预处理能力），但与其他科学计算系统（Numpy, Scipy, Matplotlib, Pandas）的适配上比不上Scikit-learn。但是，包含GUI是个很重要的优势。你可以可视化交叉验证的结果、模型和特征选择方法（某些功能需要安装Graphviz）。对大多数算法，Orange都有自己的数据结构，所以你需要将数据包装成Orange兼容的数据结构，这使得其学习曲线更陡。
PyMVPAPyMVPA是另一个统计学习库，API上与Scikit-learn很像。包含交叉验证和诊断工具，但是没有Scikit-learn全面。
深度学习尽管深度学习是机器学习的一个子节，我们在这里创建单独一节的原因是，它最新吸引了Google和Facebook人才招聘部门的很多注意。
TheanoTheano是最成熟的深度学习库。它提供了不错的数据结构（张量，tensor）来表示神经网络的层，对线性代数来说很高效，与Numpy的数组类似。需要注意的是，它的API可能不是很直观，用户的学习曲线会很高。有很多基于Theano的库都在利用其数据结构。它同时支持开箱可用的GPU编程。
PyLearn2还有另外一个基于Theano的库，PyLearn2，它给Theano引入了模块化和可配置性，你可以通过不同的配置文件来创建神经网络，这样尝试不同的参数会更容易。可以说，如果分离神经网络的参数和属性到配置文件，它的模块化能力更强大。
DecafDecaf是最近由UC Berkeley发布的深度学习库，在Imagenet分类挑战中测试发现，其神经网络实现是很先进的（state of art）。
Nolearn如果你想在深度学习中也能使用优秀的Scikit-learn库API，封装了Decaf的Nolearn会让你能够更轻松地使用它。它是对Decaf的包装，与Scikit-learn兼容（大部分），使得Decaf更不可思议。
OverFeatOverFeat是最近猫vs.狗（kaggle挑战）的胜利者，它使用C++编写，也包含一个Python包装器（还有Matlab和Lua）。通过Torch库使用GPU，所以速度很快。也赢得了ImageNet分类的检测和本地化挑战。如果你的领域是计算机视觉，你可能需要看看。
HebelHebel是另一个带有GPU支持的神经网络库，开箱可用。你可以通过YAML文件（与Pylearn2类似）决定神经网络的属性，提供了将神级网络和代码友好分离的方式，可以快速地运行模型。由于开发不久，就深度和广度上说，文档很匮乏。就神经网络模型来说，也是有局限的，因为只支持一种神经网络模型（正向反馈，feed-forward）。但是，它是用纯Python编写，将会是很友好的库，因为包含很多实用函数，比如调度器和监视器，其他库中我们并没有发现这些功能。
NeurolabNeuroLab是另一个API友好（与Matlabapi类似）的神经网络库。与其他库不同，它包含递归神经网络（Recurrent Neural Network，RNN）实现的不同变体。如果你想使用RNN，这个库是同类API中最好的选择之一。
与其他语言集成你不了解Python但是很擅长其他语言？不要绝望！Python（还有其他）的一个强项就是它是一个完美的胶水语言，你可以使用自己常用的编程语言，通过Python来访问这些库。以下适合各种编程语言的包可以用于将其他语言与Python组合到一起：R -> RPythonMatlab -> matpythonJava -> JythonLua -> Lunatic PythonJulia -> PyCall.jl
不活跃的库这些库超过一年没有发布任何更新，我们列出是因为你有可能会有用，但是这些库不太可能会进行BUG修复，特别是未来进行增强。MDPMlPyFFnetPyBrain如果我们遗漏了你最爱的Python机器学习包，通过评论让我们知道。我们很乐意将其添加到文章中。

❸ 如何用python实现随机森林分类

大家如何使用scikit-learn包中的类方法来进行随机森林算法的预测。其中讲的比较好的是各个参数的具体用途。
这里我给出我的理解和部分翻译：
参数说明：
最主要的两个参数是n_estimators和max_features。
n_estimators：表示森林里树的个数。理论上是越大越好。但是伴随着就是计算时间的增长。但是并不是取得越大就会越好，预测效果最好的将会出现在合理的树个数。
max_features：随机选择特征集合的子集合，并用来分割节点。子集合的个数越少，方差就会减少的越快，但同时偏差就会增加的越快。根据较好的实践经验。如果是回归问题则：
max_features＝n_features，如果是分类问题则max_features＝sqrt(n_features)。

如果想获取较好的结果，必须将max_depth＝None,同时min_sample_split=1。
同时还要记得进行cross_validated（交叉验证），除此之外记得在random forest中，bootstrap=True。但在extra-trees中，bootstrap=False。

这里也给出一篇老外写的文章：调整你的随机森林模型参数http://www.analyticsvidhya.com/blog/2015/06/tuning-random-forest-model/

这里我使用了scikit-learn自带的iris数据来进行随机森林的预测：

[python]view plain

• fromsklearn.

• fromsklearn.

• importnumpyasnp

• fromsklearn.datasetsimportload_iris

• iris=load_iris()

• #printiris#iris的4个属性是：萼片宽度萼片长度花瓣宽度花瓣长度标签是花的种类：setosaversicolourvirginica

• printiris['target'].shape

• rf=RandomForestRegressor()#这里使用了默认的参数设置

• rf.fit(iris.data[:150],iris.target[:150])#进行模型的训练

• #

• #随机挑选两个预测不相同的样本

• instance=iris.data[[100,109]]

• printinstance

• print'instance0prediction；',rf.predict(instance[0])

• print'instance1prediction；',rf.predict(instance[1])

• printiris.target[100],iris.target[109]





• 返回的结果如下：


• (150,)


• [[ 6.3 3.3 6. 2.5]


• [ 7.2 3.6 6.1 2.5]]


• instance 0 prediction； [ 2.]


• instance 1 prediction； [ 2.]


• 2 2




• 在这里我有点困惑，就是在scikit-learn算法包中随机森林实际上就是一颗颗决策树组成的。但是之前我写的决策树博客中是可以将决策树给显示出来。但是随机森林却做了黑盒处理。我们不知道内部的决策树结构，甚至连父节点的选择特征都不知道是谁。所以我给出下面的代码（这代码不是我的原创），可以显示的显示出所有的特征的贡献。所以对于贡献不大的，甚至是负贡献的我们可以考虑删除这一列的特征值，避免做无用的分类。



[python]view plain

• fromsklearn.cross_validationimportcross_val_score,ShuffleSplit

• X=iris["data"]

• Y=iris["target"]

• names=iris["feature_names"]

• rf=RandomForestRegressor()

• scores=[]

• foriinrange(X.shape[1]):

• score=cross_val_score(rf,X[:,i:i+1],Y,scoring="r2",

• cv=ShuffleSplit(len(X),3,.3))

• scores.append((round(np.mean(score),3),names[i]))

• printsorted(scores,reverse=True)





• 显示的结果如下：


• [(0.934, 'petal width (cm)'), (0.929, 'petal length (cm)'), (0.597, 'sepal length (cm)'), (0.276, 'sepal width (cm)')]




• 这里我们会发现petal width、petal length这两个特征将起到绝对的贡献，之后是sepal length，影响最小的是sepal width。这段代码将会提示我们各个特征的贡献，可以让我们知道部分内部的结构。

❹ 基于python的prosper借贷平台之数据分析

项目介绍：

p2p 借贷业务具有门槛低，渠道成本低的特性，风险防控对于出借企业来说非常重要。本项目需要

从大量借贷者的数据集中分析出容易违约和不容易违约的人群画像特征，以给业务做贷前决策使

用。同时使用机器学习算法，实现自动识别风险人群（精准率为 89.86%），加快人工审查效率。

项目具体内容：

1、使用 python pandas 工具进行数据清洗、缺失值、异常值处理以及特征指标筛选。

2、使用 python matplotlib 可视化工具进行探索式数据分析，展示用户关键特征如月收入、信用卡

透支情况对于违约率的影响情况。

3、使用机器学习随机森林进行建模分析，使用学习曲线、网格搜索、交叉验证，最终得到了一个评

分为 84.9%、精准率为 89.86%、召回率为 80.70%、auc 面积为 0.9337 数据预测模型。

    本次数据训练使用的模型是随机森林分类算法，通过对预处理过的数据集进行训练，使用学习曲线、网格搜索、交叉验证。最终得到了一个评分为84.9%、精准率为89.86%、召回率为80.70%、 auc面积为0.9337 数据预测模型。 

数据预处理的基本流程与思路：

1、首先要明确有多少特征，哪些是连续的，哪些是类别的。

2、检查有没有缺失值，对确实的特征选择恰当方式进行弥补，使数据完整。

3、对连续的数值型特征进行标准化，使得均值为0，方差为1。

4、对类别型的特征进行one-hot编码。

5、将需要转换成类别型数据的连续型数据进行二值化。

6、为防止过拟合或者其他原因，选择是否要将数据进行正则化。

7、在对数据进行初探之后发现效果不佳，可以尝试使用多项式方法，寻找非线性的关系。

8、根据实际问题分析是否需要对特征进行相应的函数转换。

导入数据集，并查看数据基本情况。可以看到prosper原始数据量比较庞大，一个有113937个样本，80个特征列，1个标签列。

1.1、特征较多，先共删减一部分无用的特征。

1.2 查看数据缺失情况，可以看到有40个特征是存在数据缺失的，缺失率从0.000219-0.882909不等。下面处理缺失数据。

1.2.1 删除缺失值比较多的特征

下面两个特征缺失率太高，且与我们要分析的相关性不大，直接删除掉。

1.2.2 获取数据类型是分类变量的所有特征，并使用unknown进行填充

1.2.3 特殊变量使用计算公式进行填充

1.2.4 去掉意义重复列

1.2.5 删除缺失率比较少的特征的缺失数据行

处理完缺失数据后，样本量为106290，特征量为55

1.3 数据过滤

1.3.1 从2009年7月开始，Prosper调整了对客户的评估方式，此次我们只对2009-07-01后的贷款进行分析。

过滤完数据后，样本量变为82931，特征量为54

2.1单变量分析

0为未违约人数，1位违约人数，可以看到2009.07以后，违约率为22.90%

2.1.1不同地区贷款数量分布

从图中可以看到加利福尼亚州贷款数量远比其他州的数量高。由于prosper总部就位于加利福尼亚州，这与实际情况一致。其他排名靠前的分别是得克萨斯、纽约、佛罗里达、伊利诺伊，贷款数据均超过了5000条。根据2015年美国各州的GDP排名，这5个州刚好排名前五，而且顺序也是一致的。说明Prosper平台的用户主要分布在美国经济发达的地区。

2.1.2 贷款人收入情况分布

年薪在25000美金以上在美国属于技术性白领或者有一定学历的职员，50000美金已经是近金领阶层，比如：大学教授，医生等。从图中可以看出Prosper平台用户的收入水平都相对较高，有利于用户还款，利于平台和投资者的风险控制。

2.1.3贷款人职业分布

从图中可以看出，除了不愿意透露具体职业的人，大部分用户是教授、程序员、企业高管等具有一定社会地位的人，这部分人受过高等教育，信用有一定保障。另外，这与之前看到的收入情况相符。

2.1.4贷款人债务收入比分布

大部分用户的债务收入比在0.2左右，超过0.5的占很少部分。说明Prosper平台用户的还款能力还是比较乐观的

2.1.5 贷款者信用卡使用情况

BankcardUtilization代表的是信用卡使用金额和信用卡额度的比值，可以体现用户的资金需求。Prosper用户多是0.5~1之间，说明用户每个月还有信用卡要还，降低了其还款能力。

2.2 相关的关键因素对贷款违约率的影响

2.2.1借贷人收入IncomeRange对违约率的影响

从图中可以看出：

1.一般来说收入越高违约率越低

2.贷款的人员主要集中在中等收入群体

2.2.2 债务收入比DebtToIncomeRatio对违约率的影响

从上图可以看出：

1.债务收入比小于0.6时，违约数明显小于未违约数，

2.当债务收入比大于0.6时，两者的差距不是很明显甚至违约数大于未违约数，说明了债务收入比越大的人越容易违约

2.2.3 借款人BankcardUtilization对违约率的影响

1.总的来说，随着信用卡的透支比例越来越高，违约率也越来越高

2.SuperUse的违约率到了37.5%，这部分人群需要严格了监控，No Use人群也有31%的违约率，当初将信用卡透支比例为0和NA的数据都归类为No Use，显然没有这么简单，应该是大部分人群的NA值是为了隐藏自己的高透支比例而填写的

2.2.4 消费信用分CreditScoreRange对违约率的影响

从上图可以看出：

1.随着信用分数CreditScore的上升，它的违约率在下降

2.大部分贷款者的信用分为650-800，违约率在0.06-0.02

2.2.5 过去7年借款人违约次数DelinquenciesLast7Years对违约率的影响

过去七年违约次数(DelinquenciesLast7Years)能够衡量一个人在过去七年中征信情况，违约一次或以上的人在借款时违约概率更大。

 从上图可以看出：

1.总体来说过去7年违约次数越多，违约率越高

2.过去7年未违约的人数相对来说比其他违约的人数高很多，具体看下面的分析

3.1 数据转化

3.1.1类变量进行哑变量化

样本量变为82931，特征量为127

3.1.2 标签变量进行二分类

已完成贷款的样本量变为26365，特征量为127

未违约率为：0.7709084012895885；违约率为0.22909159871041151

3.2 至此，数据预处理的工作就告一段落，保存预处理好的数据。

 导入经过预处理的prosper借贷数据集

4.1 手工挑选特征查看一下建模效果

准确率为0.7695

4.2 使用模型自己选取特征

准确率为0.7780

4.3 使用学习曲线选取最优n_estimators

在0-200/20内学习，得到最优n_estimators=161,score = 0.8508

在151-171/20内学习，得到最优n_estimators=163,score = 0.8511

4.4 使用网格搜索调其他参数

在0-60/5内学习，得到最优max_depth=41

在0-60/5内学习，得到最优max_features=16

这里由于比较耗时，没有进一步细化选择更高的参数

4.4 最终模型效果

最终准确率 0.8490528905289052

混淆矩阵 :

[[5552  554]

[1175 4914]]

精准率 : [0.82533076 0.89868325]

召回率 : [0.90926957 0.80702907]

roc和auc面积为0.9337

4.5 查看各特征的重要性

4.6 数据预测

预测的违约率0.0427

❺ python常用到哪些库

Python作为一个设计优秀的程序语言，现在已广泛应用于各种领域，依靠其强大的第三方类库，Python在各个领域都能发挥巨大的作用。
下面我们就来看一下python中常用到的库：
数值计算库：
1. NumPy
支持多维数组与矩阵运算，也针对数组运算提供大量的数学函数库。通常与SciPy和Matplotlib一起使用，支持比Python更多种类的数值类型，其中定义的最重要的对象是称为ndarray的n维数组类型，用于描述相同类型的元素集合，可以使用基于0的索引访问集合中元素。
2. SciPy
在NumPy库的基础上增加了众多的数学、科学及工程计算中常用的库函数，如线性代数、常微分方程数值求解、信号处理、图像处理、稀疏矩阵等，可进行插值处理、信号滤波，以及使用C语言加速计算。
3. Pandas
基于NumPy的一种工具，为解决数据分析任务而生。纳入大量库和一些标准的数据模型，提供高效地操作大型数据集所需的工具及大量的能快速便捷处理数据的函数和方法，为时间序列分析提供很好的支持，提供多种数据结构，如Series、Time-Series、DataFrame和Panel。
数据可视化库：
4. Matplotlib
第一个Python可视化库，有许多别的程序库都是建立在其基础上或者直接调用该库，可以很方便地得到数据的大致信息，功能非常强大，但也非常复杂。
5. Seaborn
利用了Matplotlib，用简洁的代码来制作好看的图表。与Matplotlib最大的区别为默认绘图风格和色彩搭配都具有现代美感。
6. ggplot
基于R的一个作图库ggplot2，同时利用了源于《图像语法》（The Grammar of Graphics）中的概念，允许叠加不同的图层来完成一幅图，并不适用于制作非常个性化的图像，为操作的简洁度而牺牲了图像的复杂度。
7. Bokeh
跟ggplot一样，Bokeh也基于《图形语法》的概念。与ggplot不同之处为它完全基于Python而不是从R处引用。长处在于能用于制作可交互、可直接用于网络的图表。图表可以输出为JSON对象、HTML文档或者可交互的网络应用。
8. Plotly
可以通过Python notebook使用，与Bokeh一样致力于交互图表的制作，但提供在别的库中几乎没有的几种图表类型，如等值线图、树形图和三维图表。
9. pygal
与Bokeh和Plotly一样，提供可直接嵌入网络浏览器的可交互图像。与其他两者的主要区别在于可将图表输出为SVG格式，所有的图表都被封装成方法，且默认的风格也很漂亮，用几行代码就可以很容易地制作出漂亮的图表。
10. geoplotlib
用于制作地图和地理相关数据的工具箱。可用来制作多种地图，比如等值区域图、热度图、点密度图。必须安装Pyglet（一个面向对象编程接口）方可使用。
11. missingno
用图像的方式快速评估数据缺失的情况，可根据数据的完整度对数据进行排序或过滤，或者根据热度图或树状图对数据进行修正。
web开发库：
12. Django
一个高级的Python Web框架，支持快速开发，提供从模板引擎到ORM所需的一切东西，使用该库构建App时，必须遵循Django的方式。
13. Socket
一个套接字通讯底层库，用于在服务器和客户端间建立TCP或UDP连接，通过连接发送请求与响应。
14. Flask
一个基于Werkzeug、Jinja 2的Python轻量级框架（microframework），默认配备Jinja模板引擎，也包含其他模板引擎或ORM供选择，适合用来编写API服务（RESTful rervices）。
15. Twisted
一个使用Python实现的基于事件驱动的网络引擎框架，建立在deferred object之上，一个通过异步架构实现的高性能的引擎，不适用于编写常规的Web Apps，更适用于底层网络。
数据库管理：

16. Mysql-python
又称MySQLdb，是Python连接MySQL最流行的一个驱动，很多框架也基于此库进行开发。只支持Python 2.x，且安装时有许多前置条件。由于该库基于C语言开发，在Windows平台上的安装非常不友好，经常出现失败的情况，现在基本不推荐使用，取代品为衍生版本。
17. mysqlclient
完全兼容MySQLdb，同时支持Python 3.x，是Django ORM的依赖工具，可使用原生SQL来操作数据库，安装方式与MySQLdb一致。
18. PyMySQL
纯Python实现的驱动，速度比MySQLdb慢，最大的特点为安装方式简洁，同时也兼容MySQL-python。
19. SQLAlchemy
一种既支持原生SQL，又支持ORM的工具。ORM是Python对象与数据库关系表的一种映射关系，可有效提高写代码的速度，同时兼容多种数据库系统，如SQLite、MySQL、PostgreSQL，代价为性能上的一些损失。
自动化运维：
20. jumpsever跳板机
一种由Python编写的开源跳板机（堡垒机）系统，实现了跳板机的基本功能，包含认证、授权和审计，集成了Ansible、批量命令等。
支持WebTerminal Bootstrap编写，界面美观，自动收集硬件信息，支持录像回放、命令搜索、实时监控、批量上传下载等功能，基于SSH协议进行管理，客户端无须安装agent。主要用于解决可视化安全管理，因完全开源，容易再次开发。
21. Mage分布式监控系统
一种用Python开发的自动化监控系统，可监控常用系统服务、应用、网络设备，可在一台主机上监控多个不同服务，不同服务的监控间隔可以不同，同一个服务在不同主机上的监控间隔、报警阈值可以不同，并提供数据可视化界面。
22. Mage的CMDB
一种用Python开发的硬件管理系统，包含采集硬件数据、API、页面管理3部分功能，主要用于自动化管理笔记本、路由器等常见设备的日常使用。由服务器的客户端采集硬件数据，将硬件信息发送至API，API负责将获取的数据保存至数据库中，后台管理程序负责对服务器信息进行配置和展示。
23. 任务调度系统
一种由Python开发的任务调度系统，主要用于自动化地将一个服务进程分布到其他多个机器的多个进程中，一个服务进程可作为调度者依靠网络通信完成这一工作。
24. Python运维流程系统
一种使用Python语言编写的调度和监控工作流的平台，内部用于创建、监控和调整数据管道。允许工作流开发人员轻松创建、维护和周期性地调度运行工作流，包括了如数据存储、增长分析、Email发送、A/B测试等诸多跨多部门的用例。
GUI编程：
25. Tkinter
一个Python的标准GUI库，可以快速地创建GUI应用程序，可以在大多数的UNIX平台下使用，同样可以应用在Windows和Macintosh系统中，Tkinter 8.0的后续版本可以实现本地窗口风格，并良好地运行在绝大多数平台中。
26. wxPython
一款开源软件跨平台GUI库wxWidgets的Python封装和Python模块，是Python语言的一套优秀的GUI图形库，允许程序员很方便地创建完整的、功能健全的GUI用户界面。
27. PyQt
一个创建GUI应用程序的工具库，是Python编程语言和Qt的成功融合，可以运行在所有主要操作系统上，包括UNIX、Windows和Mac。PyQt采用双许可证，开发人员可以选择GPL和商业许可，从PyQt的版本4开始，GPL许可证可用于所有支持的平台。
28. PySide
一个跨平台的应用程式框架Qt的Python绑定版本，提供与PyQt类似的功能，并相容API，但与PyQt不同处为其使用LGPL授权。
更多Python知识请关注Python自学网。

❻ python有哪些库

Arrow

Python中处理时间的库有datetime，但是它过于简单，使用起来不够方便和智能，而Arrow可以说非常的方便和智能。它可以轻松地定位几个小时之前的时间，可以轻松转换时区时间，对于一个小时前，2个小时之内这样人性化的信息也能够准确解读。

Behold

调试程序是每个程序员必备的技能，对于脚本语言，很多人习惯于使用print进行调试，然而对于大项目来说，print的功能还远远不足，我们希望有一个可以轻松使用，调试方便，对变量监视完整，格式已于查看的工具，而behold就是那个非常好用的调试库。

Click

现在几乎所有的框架都有自己的命令行脚手架，python也不例外，那么如何快速开发出属于自己的命令行程序呢?答案就是使用python的click库。click库对命令行api进行了大量封装，你可以轻松开发出属于自己的CLI命令集。终端的颜色，环境变量信息，通过click都可以轻松进行获取和改变。

Numba

如果你从事数学方面的分析和计算，那么Numba一定是你必不可少的库。NumPy通过将高速C库包装在Python接口中来工作，而Cython使用可选的类型将Python编译为C以提高性能。但是Numba无疑是最方便的，因为它允许使用装饰器选择性地加速Python函数。

Matlibplot

做过数据分析，数据可视化的数学学生一定知道matlab这个软件，这是一个收费的数学商用软件，在Python中，Matlibplot就是为了实现这个软件中功能开发的第三方Python库。并且它完全是免费的，很多学校都是用它来进行数学教学和研究的。

Pillow

图像处理是任何时候我们都需要关注的问题，平时我们看到很多PS中的神技，比如调整画面颜色，饱和度，调整图像尺寸，裁剪图像等等，这些其实都可以通过Python简单完成，而其中我们需要使用的库就是Pillow。

pyqt5

Python是可以开发图形界面程序的。而pyqt就是一款非常好用的第三方GUI库，有了它，你可以轻松开发出跨平台的图形应用程序，其中qtdesigner设计器，更是加速了我们开发图形界面的速度。

Scrapy

Python被很多人知道都是因为它的爬虫功能，而Python中说到爬虫框架，人们公认最好的就Scrapy没有之一。Scrapy可以说专门为爬虫而生，它的设计思想，还有他的简洁性，可以说至少再过几年，也没有能超过它的。

除了以上内容，比较常见的Python库还包括Splinter、Pygame、PyInstaller、Openpyxl等，Python的库多到你一身都学不完。

❼ 如何用python和scikit learn实现神经网络

1：神经网络算法简介

2：Backpropagation算法详细介绍

3：非线性转化方程举例

4：自己实现神经网络算法NeuralNetwork

5：基于NeuralNetwork的XOR实例

6：基于NeuralNetwork的手写数字识别实例

7：scikit-learn中BernoulliRBM使用实例

8：scikit-learn中的手写数字识别实例

一：神经网络算法简介

1：背景

以人脑神经网络为启发，历史上出现过很多版本，但最着名的是backpropagation

2：多层向前神经网络（Multilayer Feed-Forward Neural Network）

❽ Python异常样本识别 交叉验证出现错误

penalty = '12' 这个参数不对，只有L1和L2正则，打错了吧

❾ python基础知识有哪些需要背（记住是基础知识）我是初学者

或看好Python的广阔前景，或看中Python的语法简洁，越来越多零基础的人选择学Python。但是Python基础知识有哪些呢？Python部分基础知识点汇总
数据类型：编程中操作的每一个数据都是有其类型的，比如我们的程序需要进行数学计算，那么进行计算的参数和结果就都是数值，我们需要输入、输出一段话，那么这段话就是一个字符串。

变量和常量：变量有什么用？怎么使用？常量又是做什么的？

控制流语句：控制流语句让程序变得更加灵活，稍微复杂一些的程序都需要用到控制流语句中的判断和循环，那么如何在Python中高效应用控制流语句就显得非常重要。

函数：当程序开始复杂起来，某些功能可能需要多次使用的时候，我们就可以把这个功能封装成“函数”，函数就像是工具箱里一件件的工具，在需要的时候打开工具箱拿出即可使用。

数据结构：Python怎么处理数据?列表、元组、集合、字典分别有什么特性都需要详细了解。

异常处理：当你的程序开始复杂起来，可能会遇到某些不确定是否会出现错误的情况，这个时候怎样自定义异常、处理异常就十分重要。

注释：不写注释的程序员不是好程序员。

面向对象：面向对象是一种编程思想，可以让程序变得更可复用，同时逻辑更清晰，效率最高。

文件操作：很多时候我们需要对本地文件进行一些增删改查的操作。

模块和包：Python之所以如此受欢迎，很大程度上得益于它有非常丰富模块和包，这些东西可以让你少造轮子。

Python与网络：python获取网页信息、与其他计算机通信、访问数据库等。

以上大部分其实是编程基础，但是只学这些还是不够的，很多企业招聘的Python岗位均需要和其他方向内容相结合，比如大数据、运维、Web等等。因此零基础快速入门进阶Python技能还需要进行系统的学习。

❿ python多元线性回归怎么计算

1、什么是多元线性回归模型？

当y值的影响因素不唯一时,采用多元线性回归模型。

y =y=β0+β1x1+β2x2+...+βnxn

例如商品的销售额可能不电视广告投入,收音机广告投入,报纸广告投入有关系,可以有 sales =β0+β1*TV+β2* radio+β3*newspaper.

2、使用pandas来读取数据

pandas 是一个用于数据探索、数据分析和数据处理的python库

[python]view plain

• importpandasaspd

[html]view plain

• <prename="code"class="python">#

• data=pd.read_csv('/home/lulei/Advertising.csv')

• #displaythefirst5rows

• data.head()








上面代码的运行结果：

• TV Radio Newspaper Sales


• 0 230.1 37.8 69.2 22.1


• 1 44.5 39.3 45.1 10.4


• 2 17.2 45.9 69.3 9.3


• 3 151.5 41.3 58.5 18.5


• 4 180.8 10.8 58.4 12.9



上面显示的结果类似一个电子表格，这个结构称为Pandas的数据帧(data frame)，类型全称：pandas.core.frame.DataFrame.


pandas的两个主要数据结构：Series和DataFrame：

• Series类似于一维数组，它有一组数据以及一组与之相关的数据标签(即索引)组成。

• DataFrame是一个表格型的数据结构，它含有一组有序的列，每列可以是不同的值类型。DataFrame既有行索引也有列索引，它可以被看做由Series组成的字典。

[python]view plain

• #displaythelast5rows

• data.tail()

只显示结果的末尾5行

• TV Radio Newspaper Sales


• 195 38.2 3.7 13.8 7.6


• 196 94.2 4.9 8.1 9.7


• 197 177.0 9.3 6.4 12.8


• 198 283.6 42.0 66.2 25.5


• 199 232.1 8.6 8.7 13.4



[html]view plain

• #checktheshapeoftheDataFrame(rows,colums)

• data.shape

查看DataFrame的形状,注意第一列的叫索引，和数据库某个表中的第一列类似。

(200,4)


3、分析数据

特征：

• TV：对于一个给定市场中单一产品，用于电视上的广告费用（以千为单位）

• Radio：在广播媒体上投资的广告费用

• Newspaper：用于报纸媒体的广告费用

响应：

• Sales：对应产品的销量

在这个案例中，我们通过不同的广告投入，预测产品销量。因为响应变量是一个连续的值，所以这个问题是一个回归问题。数据集一共有200个观测值，每一组观测对应一个市场的情况。

注意：这里推荐使用的是seaborn包。网上说这个包的数据可视化效果比较好看。其实seaborn也应该属于matplotlib的内部包。只是需要再次的单独安装。

[python]view plain

• importseabornassns

• importmatplotlib.pyplotasplt

• #ots

• sns.pairplot(data,x_vars=['TV','Radio','Newspaper'],y_vars='Sales',size=7,aspect=0.8)

• plt.show()#注意必须加上这一句，否则无法显示。

[html]view plain

• 这里选择TV、Radio、Newspaper作为特征，Sales作为观测值

[html]view plain

• 返回的结果：




• seaborn的pairplot函数绘制X的每一维度和对应Y的散点图。通过设置size和aspect参数来调节显示的大小和比例。可以从图中看出，TV特征和销量是有比较强的线性关系的，而Radio和Sales线性关系弱一些，Newspaper和Sales线性关系更弱。通过加入一个参数kind='reg'，seaborn可以添加一条最佳拟合直线和95%的置信带。



[python]view plain

• sns.pairplot(data,x_vars=['TV','Radio','Newspaper'],y_vars='Sales',size=7,aspect=0.8,kind='reg')

• plt.show()


结果显示如下：




4、线性回归模型

优点：快速；没有调节参数；可轻易解释；可理解。

缺点：相比其他复杂一些的模型，其预测准确率不是太高，因为它假设特征和响应之间存在确定的线性关系，这种假设对于非线性的关系，线性回归模型显然不能很好的对这种数据建模。

线性模型表达式：y=β0+β1x1+β2x2+...+βnxn其中

• y是响应

• β0是截距

• β1是x1的系数，以此类推

在这个案例中：y=β0+β1∗TV+β2∗Radio+...+βn∗Newspaper

(1)、使用pandas来构建X(特征向量)和y(标签列)

scikit-learn要求X是一个特征矩阵，y是一个NumPy向量。

pandas构建在NumPy之上。

因此，X可以是pandas的DataFrame，y可以是pandas的Series，scikit-learn可以理解这种结构。

[python]view plain

• #

• feature_cols=['TV','Radio','Newspaper']

• #

• X=data[feature_cols]

• #

• X=data[['TV','Radio','Newspaper']]

• #printthefirst5rows

• printX.head()

• #checkthetypeandshapeofX

• printtype(X)

• printX.shape

输出结果如下：

• TV Radio Newspaper


• 0 230.1 37.8 69.2


• 1 44.5 39.3 45.1


• 2 17.2 45.9 69.3


• 3 151.5 41.3 58.5


• 4 180.8 10.8 58.4


• <class 'pandas.core.frame.DataFrame'>


• (200, 3)




[python]view plain

• #selectaSeriesfromtheDataFrame

• y=data['Sales']

• #

• y=data.Sales

• #printthefirst5values

• printy.head()

输出的结果如下：

• 0 22.1


• 1 10.4


• 2 9.3


• 3 18.5


• 4 12.9


• Name: Sales



（2）、构建训练集与测试集

[html]view plain

• <prename="code"class="python"><spanstyle="font-size:14px;">##构造训练集和测试集

• fromsklearn.cross_validationimporttrain_test_split#这里是引用了交叉验证

• X_train,X_test,y_train,y_test=train_test_split(X,y,random_state=1)








#default split is 75% for training and 25% for testing

[html]view plain

• printX_train.shape

• printy_train.shape

• printX_test.shape

• printy_test.shape




输出结果如下：

• (150, 3)


• (150,)


• (50, 3)


• (50,)



注：上面的结果是由train_test_spilit()得到的，但是我不知道为什么我的版本的sklearn包中居然报错：

• ImportError Traceback (most recent call last)<ipython-input-182-3eee51fcba5a> in <mole>() 1 ###构造训练集和测试集----> 2 from sklearn.cross_validation import train_test_split 3 #import sklearn.cross_validation 4 X_train,X_test, y_train, y_test = train_test_split(X, y, random_state=1) 5 # default split is 75% for training and 25% for testingImportError: cannot import name train_test_split



处理方法：1、我后来重新安装sklearn包。再一次调用时就没有错误了。

2、自己写函数来认为的随机构造训练集和测试集。(这个代码我会在最后附上。)

（3）sklearn的线性回归

[html]view plain

• fromsklearn.linear_modelimportLinearRegression

• linreg=LinearRegression()

• model=linreg.fit(X_train,y_train)

• printmodel

• printlinreg.intercept_

• printlinreg.coef_


输出的结果如下：

• LinearRegression(_X=True, fit_intercept=True, normalize=False)


• 2.66816623043


• [ 0.04641001 0.19272538 -0.00349015]



[html]view plain

• #

• zip(feature_cols,linreg.coef_)

输出如下：

• [('TV', 0.046410010869663267),


• ('Radio', 0.19272538367491721),


• ('Newspaper', -0.0034901506098328305)]







y=2.668+0.0464∗TV+0.192∗Radio-0.00349∗Newspaper
如何解释各个特征对应的系数的意义？

对于给定了Radio和Newspaper的广告投入，如果在TV广告上每多投入1个单位，对应销量将增加0.0466个单位。就是加入其它两个媒体投入固定，在TV广告上每增加1000美元（因为单位是1000美元），销量将增加46.6（因为单位是1000）。但是大家注意这里的newspaper的系数居然是负数，所以我们可以考虑不使用newspaper这个特征。这是后话，后面会提到的。

（4）、预测

[python]view plain

• y_pred=linreg.predict(X_test)

• printy_pred

[python]view plain

• printtype(y_pred)


输出结果如下：



• [ 14.58678373 7.92397999 16.9497993 19.35791038 7.36360284


• 7.35359269 16.08342325 9.3046 20.35507374 12.63160058


• 22.83356472 9.66291461 4.18055603 13.70368584 11.4533557


• 4.16940565 10.31271413 23.06786868 17.80464565 14.53070132


• 15.19656684 14.22969609 7.54691167 13.47210324 15.00625898


• 19.28532444 20.7319878 19.70408833 18.21640853 8.50112687


• 9.8493781 9.51425763 9.73270043 18.13782015 15.41731544


• 5.07416787 12.20575251 14.05507493 10.6699926 7.16006245


• 11.80728836 24.79748121 10.40809168 24.05228404 18.44737314


• 20.80572631 9.45424805 17.00481708 5.78634105 5.10594849]


• <type 'numpy.ndarray'>



5、回归问题的评价测度

(1) 评价测度

对于分类问题，评价测度是准确率，但这种方法不适用于回归问题。我们使用针对连续数值的评价测度(evaluation metrics)。
这里介绍3种常用的针对线性回归的测度。

1)平均绝对误差(Mean Absolute Error, MAE)

(2)均方误差(Mean Squared Error, MSE)

(3)均方根误差(Root Mean Squared Error, RMSE)

这里我使用RMES。

[python]view plain

• <prename="code"class="python">#计算Sales预测的RMSE

• printtype(y_pred),type(y_test)

• printlen(y_pred),len(y_test)

• printy_pred.shape,y_test.shape

• fromsklearnimportmetrics

• importnumpyasnp

• sum_mean=0

• foriinrange(len(y_pred)):

• sum_mean+=(y_pred[i]-y_test.values[i])**2

• sum_erro=np.sqrt(sum_mean/50)

• #calculateRMSEbyhand

• print"RMSEbyhand:",sum_erro




最后的结果如下：

• <type 'numpy.ndarray'> <class 'pandas.core.series.Series'>


• 50 50


• (50,) (50,)


• RMSE by hand: 1.42998147691



（2）做ROC曲线

[python]view plain

• importmatplotlib.pyplotasplt

• plt.figure()

• plt.plot(range(len(y_pred)),y_pred,'b',label="predict")

• plt.plot(range(len(y_pred)),y_test,'r',label="test")

• plt.legend(loc="upperright")#显示图中的标签

• plt.xlabel("thenumberofsales")

• plt.ylabel('valueofsales')

• plt.show()


显示结果如下：（红色的线是真实的值曲线，蓝色的是预测值曲线）

直到这里整个的一次多元线性回归的预测就结束了。

6、改进特征的选择
在之前展示的数据中，我们看到Newspaper和销量之间的线性关系竟是负关系（不用惊讶，这是随机特征抽样的结果。换一批抽样的数据就可能为正了），现在我们移除这个特征，看看线性回归预测的结果的RMSE如何？

依然使用我上面的代码，但只需修改下面代码中的一句即可：

[python]view plain

• #

• feature_cols=['TV','Radio','Newspaper']

• #

• X=data[feature_cols]

• #

• #X=data[['TV','Radio','Newspaper']]#只需修改这里即可<prename="code"class="python"style="font-size:15px;line-height:35px;">X=data[['TV','Radio']]#去掉newspaper其他的代码不变

# print the first 5 rowsprint X.head()# check the type and shape of Xprint type(X)print X.shape




最后的到的系数与测度如下：

LinearRegression(_X=True, fit_intercept=True, normalize=False)

• 2.81843904823


• [ 0.04588771 0.18721008]


• RMSE by hand: 1.28208957507



然后再次使用ROC曲线来观测曲线的整体情况。我们在将Newspaper这个特征移除之后，得到RMSE变小了，说明Newspaper特征可能不适合作为预测销量的特征，于是，我们得到了新的模型。我们还可以通过不同的特征组合得到新的模型，看看最终的误差是如何的。

备注：

之前我提到了这种错误：

注：上面的结果是由train_test_spilit()得到的，但是我不知道为什么我的版本的sklearn包中居然报错：

• ImportError Traceback (most recent call last)<ipython-input-182-3eee51fcba5a> in <mole>() 1 ###构造训练集和测试集----> 2 from sklearn.cross_validation import train_test_split 3 #import sklearn.cross_validation 4 X_train,X_test, y_train, y_test = train_test_split(X, y, random_state=1) 5 # default split is 75% for training and 25% for testingImportError: cannot import name train_test_split



处理方法：1、我后来重新安装sklearn包。再一次调用时就没有错误了。

2、自己写函数来认为的随机构造训练集和测试集。(这个代码我会在最后附上。)

这里我给出我自己写的函数：