源码挖掘项目

1. python大数据挖掘系列之基础知识入门 知识整理（入门教程含源码）

Python在大数据行业非常火爆近两年，as a pythonic，所以也得涉足下大数据分析，下面就聊聊它们。

Python数据分析与挖掘技术概述

所谓数据分析，即对已知的数据进行分析，然后提取出一些有价值的信息，比如统计平均数，标准差等信息，数据分析的数据量可能不会太大，而数据挖掘，是指对大量的数据进行分析与挖倔，得到一些未知的，有价值的信息等，比如从网站的用户和用户行为中挖掘出用户的潜在需求信息，从而对网站进行改善等。
数据分析与数据挖掘密不可分，数据挖掘是对数据分析的提升。数据挖掘技术可以帮助我们更好的发现事物之间的规律。所以我们可以利用数据挖掘技术可以帮助我们更好的发现事物之间的规律。比如发掘用户潜在需求，实现信息的个性化推送，发现疾病与病状甚至病与药物之间的规律等。

预先善其事必先利其器

我们首先聊聊数据分析的模块有哪些：

下面就说说这些模块的基础使用。

numpy模块安装与使用

安装：
下载地址是：http://www.lfd.uci.e/~gohlke/pythonlibs/
我这里下载的包是1.11.3版本，地址是：http://www.lfd.uci.e/~gohlke/pythonlibs/f9r7rmd8/numpy-1.11.3+mkl-cp35-cp35m-win_amd64.whl
下载好后，使用pip install "numpy-1.11.3+mkl-cp35-cp35m-win_amd64.whl"
安装的numpy版本一定要是带mkl版本的，这样能够更好支持numpy

numpy简单使用

生成随机数

主要使用numpy下的random方法。

pandas

使用 pip install pandas 即可

直接上代码：
下面看看pandas输出的结果， 这一行的数字第几列，第一列的数字是行数，定位一个通过第一行，第几列来定位：

常用方法如下：

下面看看pandas对数据的统计，下面就说说每一行的信息

转置功能：把行数转换为列数，把列数转换为行数，如下所示：

通过pandas导入数据

pandas支持多种输入格式，我这里就简单罗列日常生活最常用的几种，对于更多的输入方式可以查看源码后者官网。

CSV文件

csv文件导入后显示输出的话，是按照csv文件默认的行输出的，有多少列就输出多少列，比如我有五列数据，那么它就在prinit输出结果的时候，就显示五列

excel表格

依赖于xlrd模块，请安装它。
老样子，原滋原味的输出显示excel本来的结果，只不过在每一行的开头加上了一个行数

读取sql

依赖于PyMySQL，所以需要安装它。pandas把sql作为输入的时候，需要制定两个参数，第一个是sql语句，第二个是sql连接实例。

读取HTML

依赖于lxml模块，请安装它。
对于HTTPS的网页，依赖于BeautifulSoup4，html5lib模块。
读取HTML只会读取HTML里的表格，也就是只读取

显示的是时候是通过python的列表展示，同时添加了行与列的标识

读取txt文件

输出显示的时候同时添加了行与列的标识

scipy

安装方法是先下载whl格式文件，然后通过pip install “包名” 安装。whl包下载地址是：http://www.lfd.uci.e/~gohlke/pythonlibs/f9r7rmd8/scipy-0.18.1-cp35-cp35m-win_amd64.whl

matplotlib 数据可视化分析

我们安装这个模块直接使用pip install即可。不需要提前下载whl后通过 pip install安装。

下面请看代码：

下面说说修改图的样式

关于图形类型，有下面几种：

关于颜色，有下面几种：

关于形状，有下面几种：

我们还可以对图稍作修改，添加一些样式，下面修改圆点图为红色的点，代码如下：

我们还可以画虚线图，代码如下所示：

还可以给图添加上标题，x，y轴的标签,代码如下所示

直方图

利用直方图能够很好的显示每一段的数据。下面使用随机数做一个直方图。

Y轴为出现的次数，X轴为这个数的值（或者是范围）

还可以指定直方图类型通过histtype参数：

图形区别语言无法描述很详细，大家可以自信尝试。

举个例子：

子图功能

什么是子图功能呢？子图就是在一个大的画板里面能够显示多张小图，每个一小图为大画板的子图。
我们知道生成一个图是使用plot功能，子图就是subplog。代码操作如下：

我们现在可以通过一堆数据来绘图，根据图能够很容易的发现异常。下面我们就通过一个csv文件来实践下，这个csv文件是某个网站的文章阅读数与评论数。

先说说这个csv的文件结构，第一列是序号，第二列是每篇文章的URL，第三列每篇文章的阅读数，第四列是每篇评论数。

我们的需求就是把评论数作为Y轴，阅读数作为X轴，所以我们需要获取第三列和第四列的数据。我们知道获取数据的方法是通过pandas的values方法来获取某一行的值，在对这一行的值做切片处理，获取下标为3（阅读数）和4（评论数）的值，但是，这里只是一行的值，我们需要是这个csv文件下的所有评论数和阅读数，那怎么办？聪明的你会说，我自定义2个列表，我遍历下这个csv文件，把阅读数和评论数分别添加到对应的列表里，这不就行了嘛。呵呵，其实有一个更快捷的方法，那么就是使用T转置方法，这样再通过values方法，就能直接获取这一评论数和阅读数了，此时在交给你matplotlib里的pylab方法来作图，那么就OK了。了解思路后，那么就写吧。

下面看看代码：

2. java，eclipse中如何将源码装载到项目中，在使用某个方法时可以通过点击查看该源码

下载源码文件，然后import进去就好。

或者下载相应的jar包，然后右键你的project，选择properties，在Java Build Path里面把相关jar包配置进去，也能关联到jar里面的源码

3. 请问我手中有一个不错的项目的源代码，应该从哪里着手把这个项目给弄懂。

首先是要明白这个项目的业务逻辑，简单的说就是干什么用的？
然后看看都用到了哪些技术，struts的结果是几层？（一般都是3层）
最好可以把项目跑起来，这样可以按照业务逻辑一步步的继续，然后结合源代码看看是如果处理数据的，最核心的业务代码在哪，数据室如何存入数据库的，表的结构师什么样的，哪些表之间有关联等等
大概都弄明白之后再细细的看代码中的技巧，比如在取到很多数据时是如何分类及处理的，都用了哪些对象（hashtable，hashmap等等）
最后最重要的是你要学着去写，无论是UI还是BL，自由自己亲自动手才能更好的理解和发现问题
以上都是个人经验

4. 数据挖掘源代码

基本Kmeans算法实现 C++代码

#include<iostream>
#include<sstream>
#include<fstream>
#include<vector>
#include<math.h>
#include<stdlib.h>
#definek3//簇的数目
usingnamespacestd;
//存放元组的属性信息
typedefvector<double>Tuple;//存储每条数据记录

intdataNum;//数据集中数据记录数目
intdimNum;//每条记录的维数

//计算两个元组间的欧几里距离
doublegetDistXY(constTuple&t1,constTuple&t2)
{
	doublesum=0;
	for(inti=1;i<=dimNum;++i)
	{
		sum+=(t1[i]-t2[i])*(t1[i]-t2[i]);
	}
	returnsqrt(sum);
}

//根据质心，决定当前元组属于哪个簇
intclusterOfTuple(Tuplemeans[],constTuple&tuple){
	doubledist=getDistXY(means[0],tuple);
	doubletmp;
	intlabel=0;//标示属于哪一个簇
	for(inti=1;i<k;i++){
		tmp=getDistXY(means[i],tuple);
		if(tmp<dist){dist=tmp;label=i;}
	}
	returnlabel;	
}
//获得给定簇集的平方误差
doublegetVar(vector<Tuple>clusters[],Tuplemeans[]){
	doublevar=0;
	for(inti=0;i<k;i++)
	{
		vector<Tuple>t=clusters[i];
		for(intj=0;j<t.size();j++)
		{
			var+=getDistXY(t[j],means[i]);
		}
	}
	//cout<<"sum:"<<sum<<endl;
	returnvar;

}
//获得当前簇的均值（质心）
TuplegetMeans(constvector<Tuple>&cluster){
	
	intnum=cluster.size();
	Tuplet(dimNum+1,0);
	for(inti=0;i<num;i++)
	{
		for(intj=1;j<=dimNum;++j)
		{
			t[j]+=cluster[i][j];
		}
	}
	for(intj=1;j<=dimNum;++j)
		t[j]/=num;
	returnt;
	//cout<<"sum:"<<sum<<endl;
}

voidprint(constvector<Tuple>clusters[])
{
	for(intlable=0;lable<k;lable++)
	{
		cout<<"第"<<lable+1<<"个簇："<<endl;
		vector<Tuple>t=clusters[lable];
		for(inti=0;i<t.size();i++)
		{
			cout<<i+1<<".(";
			for(intj=0;j<=dimNum;++j)
			{
				cout<<t[i][j]<<",";
			}
			cout<<")
";
		}
	}
}

voidKMeans(vector<Tuple>&tuples){
	vector<Tuple>clusters[k];//k个簇
	Tuplemeans[k];//k个中心点
	inti=0;
	//一开始随机选取k条记录的值作为k个簇的质心（均值）
	srand((unsignedint)time(NULL));
	for(i=0;i<k;){
		intiToSelect=rand()%tuples.size();
		if(means[iToSelect].size()==0)
		{
			for(intj=0;j<=dimNum;++j)
			{
				means[i].push_back(tuples[iToSelect][j]);
			}
			++i;
		}
	}
	intlable=0;
	//根据默认的质心给簇赋值
	for(i=0;i!=tuples.size();++i){
		lable=clusterOfTuple(means,tuples[i]);
		clusters[lable].push_back(tuples[i]);
	}
	doubleoldVar=-1;
	doublenewVar=getVar(clusters,means);
	cout<<"初始的的整体误差平方和为："<<newVar<<endl;
	intt=0;
	while(abs(newVar-oldVar)>=1)//当新旧函数值相差不到1即准则函数值不发生明显变化时，算法终止
	{
		cout<<"第"<<++t<<"次迭代开始："<<endl;
		for(i=0;i<k;i++)//更新每个簇的中心点
		{
			means[i]=getMeans(clusters[i]);
		}
		oldVar=newVar;
		newVar=getVar(clusters,means);//计算新的准则函数值
		for(i=0;i<k;i++)//清空每个簇
		{
			clusters[i].clear();
		}
		//根据新的质心获得新的簇
		for(i=0;i!=tuples.size();++i){
			lable=clusterOfTuple(means,tuples[i]);
			clusters[lable].push_back(tuples[i]);
		}
		cout<<"此次迭代之后的整体误差平方和为："<<newVar<<endl;
	}

	cout<<"Theresultis:
";
	print(clusters);
}
intmain(){

	charfname[256];
	cout<<"请输入存放数据的文件名：";
	cin>>fname;
	cout<<endl<<"请依次输入:维数样本数目"<<endl;
	cout<<endl<<"维数dimNum:";
	cin>>dimNum;
	cout<<endl<<"样本数目dataNum:";
	cin>>dataNum;
	ifstreaminfile(fname);
	if(!infile){
		cout<<"不能打开输入的文件"<<fname<<endl;
		return0;
	}
	vector<Tuple>tuples;
	//从文件流中读入数据
	for(inti=0;i<dataNum&&!infile.eof();++i)
	{
		stringstr;
		getline(infile,str);
		istringstreamistr(str);
		Tupletuple(dimNum+1,0);//第一个位置存放记录编号，第2到dimNum+1个位置存放实际元素
		tuple[0]=i+1;
		for(intj=1;j<=dimNum;++j)
		{
			istr>>tuple[j];
		}
		tuples.push_back(tuple);
	}

	cout<<endl<<"开始聚类"<<endl;
	KMeans(tuples);
	return0;
}

5. 如何查看大型工程的源代码

程序员在工作过程中，会遇到很多需要阅读源码的场景，比如技术预研、选择技术框架、接手以前的项目、review他人的代码、维护老产品等等。可以说，阅读源代码是程序员的基本功，这项基本功是否扎实，会在很大程度上影响一个程序员在技术上的成长速度。2014年写《Qt on Android核心编程》和《Qt Quick核心编程》时，很多内容都是通过分析Qt源码搞明白的。这阵子研究CEF和PPAPI，也主要靠研究源代码来搞明白用法。最近工作上要修改已有项目的一个子系统，也是得硬着头皮先读懂代码。总之在开发工作这十来年中，读过太多源码了，从源代码中学习到太多东西了，如果不阅读源代码，真不知道自己能否成长起来。写代码是从模仿开始的，提高也是从观摩别人的优秀设计和代码开始的。所以阅读源码至关重要，接下来咱从下列方面聊聊阅读源码的事儿。不同的目的会有不同的心情，会影响到工作的进展，像修复他人的Bug这种事情，类似于没被掰弯的男猿捏着鼻子给另外一个男人擦屁股，是很恶心的，很容易让人拒绝的。所以因这种目标而阅读源码，往往是欲拒还迎、欲说还休，效率较低。然而修复实际工作中帮别人修复Bug这种情形，十有八九你要遇到，无可逃避。所以，心理调试很重要。为了学习去读源码，这是最愉快的最放松的。不过提醒一点，设定可检验的目标才会有收获，否则就会像走到大街上看见一美女擦肩而过那样，惊艳一下下，过后嘛关系嘛收获也没了。其他的目的，重构旧代码、添加新功能，比帮别人擦沟子（陕西话，屁股）略强，因为他带有创造性，创造性的活动能给人带来强烈的愉悦，所以虽然这两种目的也有很多让人不爽的部分，不过想到我可以让一棵老树焕发青春，不爽也就慢慢弱下去了。

6. 什么叫做挖漏洞

漏洞挖掘，顾名思义就是寻找漏洞，主要是通过综合应用各种技术和工具，尽可能地找出软件中的潜在漏洞，然而这并非一件很容易的事情，在很大程度上依赖于个人经验。根据分析对象的不同，漏洞挖掘技术可以分为基于源码的漏洞挖掘技术和基于目标代码的漏洞挖掘技术。
基于源码的漏洞挖掘的前提是必须能获取源代码，对于一些开源项目，通过分析其公布的源代码，就可能找到存在的漏洞，例如对Linux系统的漏洞挖掘就可采用这种方法。使用源码审核技术，对软件的源代码进行扫描，针对不安全的库存函数使用以及内存操作进行语义上的检查，从而发现安全漏洞，其中的典型有静态分析技术。

7. 谁有数据挖掘算法源代码啊

你也研究算法啊，我也刚开始，交个朋友呗，2674457337，你可以去程序员网站下载，我那也下载了点MATLAB的，如果是这个，我那也有。基本的。

8. 求助高手，数据挖掘相关的程序源代码，跪求啊！！！

.........\Ada_Boost.m
function D = ada_boost(train_features, train_targets, params, region);

% Classify using the AdaBoost algorithm
% Inputs:
% features - Train features
% targets - Train targets
% Params - [NumberOfIterations, Weak Learner Type, Learner's parameters]
% region - Decision region vector: [-x x -y y number_of_points]
%
% Outputs
% D - Decision sufrace
%
% NOTE: This algorithm is very tuned to the 2D nature of the toolbox!

[k_max, weak_learner, alg_param] = process_params(params);

[Ni,M] = size(train_features);
D = zeros(region(5));
W = ones(1,M)/M;
IterDisp = 10;

%Find where the training features fall on the decision grid
N = region(5);
mx = ones(N,1) * linspace (region(1),region(2),N);
my = linspace (region(3),region(4),N)' * ones(1,N);
flatxy = [mx(:), my(:)]';
train_loc = zeros(1,M);
for i = 1:M,
dist = sqrt(sum((flatxy - train_features(:,i)*ones(1,N^2)).^2));
[m, train_loc(i)] = min(dist);
end

%Do the AdaBoosting
for k = 1:k_max,
%Train weak learner Ck using the data sampled according to W:
%...so sample the data according to W
randnum = rand(1,M);
cW = cumsum(W);
indices = zeros(1,M);
for i = 1:M,
%Find which bin the random number falls into
loc = max(find(randnum(i) > cW))+1;
if isempty(loc)
indices(i) = 1;
else
indices(i) = loc;
end
end

%...and now train the classifier
Ck = feval(weak_learner, train_features(:, indices), train_targets(indices), alg_param, region);
Ckl = Ck(:);

%Ek <- Training error of Ck
Ek = sum(W.*(Ckl(train_loc)' ~= train_targets));

if (Ek == 0),
break
end

%alpha_k <- 1/2*ln(1-Ek)/Ek)
alpha_k = 0.5*log((1-Ek)/Ek);

%W_k+1 = W_k/Z*exp(+/-alpha)
W = W.*exp(alpha_k*(xor(Ckl(train_loc)',train_targets)*2-1));
W = W./sum(W);

%Update the decision region
D = D + alpha_k*(2*Ck-1);

if (k/IterDisp == floor(k/IterDisp)),
disp(['Completed ' num2str(k) ' boosting iterations'])
end

end

D = D>

9. 跪求：关联规则挖掘算法Java源码

用weka吧，里面多的是api，以前用过