编译libcaffe卡死

Ⅰ win10caffe安装后怎么使用

整了一晚上加一上午。网上关于python的记录较少，这里写一下。 这里的环境是WIN10+cuda v7.5 +cudnn v4 + opencv + pycharm+VS2013 使用的是GPU，我的GPU是titan16G+内存32G 首先是caffe的文件以及第三方库的编译，这里提供一个已经编译好的的连接，我就是从那里下好然后编译完毕的。 点击打开链接 happynear的 然后就是如何编译python接口。 1、首先先生成两个python文件，在src/caffe/proto/extract_proto.bat 里生成caffe_pb2.py 这个之后有用。 2、然后打开已经给好的caffe/buildVS2013，打开里面已经有的工程文件，正常的情况下应该是有7个工程，选中pycaffee单独作为要编译的项目。如图所示： 把pycaffe作为单启动。注意需要在release x64位下编译。 如果没有这个的话，就将这个文件夹里python文件夹中的项目加入即可。如果没有python项目，就自己建一个，将python文件夹里的cpp文件加入就可以了。 3、选择pycaffe的属性，将配置属性下的VC++目录中的包含目录和库目录填上你python所在的include和libs 再在C/C++的目录下的附加包含目录一项中添加 以我的python为例。D:/python27/Lib；D:/python/include/ 以及D:/Python27/Lib/site-packages/numpy/core/include 如果你安装了CUDNN这里可以在预处理器那里把USE_CUDNN加上，同时在LINKER的输入目录下的附加依赖库中加入cudnn的lib文件。 3、开始编译即可。这里要注意一定要和caffe、caffelib在一个项目里编译，否则会报错。 4、编译成功后会在caffe/python/caffe下生成_caffe.pyd 是打不开的 5、配置python环境：需要几个额外库 Cython>=0.19.2 numpy>=1.7.1 scipy>=0.13.2 scikit-image>=0.9.3 matplotlib>=1.3.1 ipython>=3.0.0 h5py>=2.2.0 leveldb>=0.191 networkx>=1.8.1 nose>=1.3.0 pandas>=0.12.0 python-dateutil>=1.4,<2 protobuf>=2.5.0 python-gflags>=2.0 pyyaml>=3.10 Pillow>=2.3.0 six>=1.1.0 其中numpy要装MKL版本的，不然scipy装上了BLAS不能用 leveldb没有windows版本的，不过我找到了可以使用的办法。见这个博客： 点击打开链接 如果有pip install 装不上的，可以上这个网站找 wheel文件安装就可以了 点击打开链接 6、最后把目录中python下的caffe文件夹复制到python27/Lib/site-packages就可以了。 测试的时候只需要在控制台下输入import caffe 看能载入就知道成功了：）

Ⅱ cublas.lib有win32版吗

cublas.lib有win32版
1.配置环境
我在自己的笔记本配置的caffe，配置的环境为：Windows 7 64位 + cuda6.5 + Opencv2.49 +VS2013。假设在配置caffe之前，你已经准备好这些。
本文中将给出一些编译好的依赖库，如果你也是用的Windows 7 64位+VS2013，可以直接使用。
2.准备依赖库
在Windows下配置caffe，一个很主要的问题就是依赖库的编译。不像在Ubuntu下那么方便，在Windows下，依赖库都需要使用vs2013进行编译才能使用。下面我将介绍caffe需要的依赖库（如果你也是win7 64位+VS2013，可以直接使用我提供的依赖库）。
2.1 boost
boost可以下载源码进行编译，也可以直接下载安装文件。我使用的是后者，方便、快捷。
我使用的是：boost_1.56_0-msvc-12.0-64.exe
注意下载适合你的配置环境的boost版本即可。
下载完毕，双击运行安装文件即可。
2.2 Glog+Gflag+Protobuf+LevelDB+HDF5+LMDB+Openblas
这一部分的很多都是谷歌的开源库，不容易下载（你懂的）。所以我使用的是Neil Z. SHAO‘s Blog
提供的编译好的。
下载完，解压得到3rdparty文件夹。在下一段将会用到。
3.建立caffe工程
准备好了caffe需要的依赖库和环境之后，下面就可以建立caffe的vs项目，进行编译了。
3.1 下载caffe源码
可以从caffe的github主页下载源码。
下载地址：Caffe’s GitHub
解压文件，假设caffe源码所在目录为CAFFE_ROOT。
3.2 准备项目需要的依赖库和系统环境变量
经过上一阶段的准备，caffe项目所需的依赖库都已经准备好。
1.首先设置系统环境变量(以我的为例):
CUDA_PATH_V6_5 安装好cuda6.5之后，会自动添加环境变量CUDA_PATH_V6_5
OPENCV_2_49 D:/Tools/opencv2.49/build/
BOOST_1_56 D:/Tools/boost_1_56_0
2.将3rdparty文件夹放到CAFFE_ROOT
3.3 用vs建立caffe项目
1.用VS2013在CAFFE_ROOT下建立 win32 console application，选择空项目。
将项目的平台由32位改为64位
2.修改项目属性
项目——属性——C/C++——常规——附加包含目录
添加：
../include;
../src；
../3rdparty/include;
../3rdparty;
../3rdparty/include;
../3rdparty/include/openblas;
../3rdparty/include/hdf5;
../3rdparty/include/lmdb;
../3rdparty/include/leveldb;
../3rdparty/include/gflag;
../3rdparty/include/glog;
../3rdparty/include/google/protobuf;
项目——属相——VC++目录——包含目录
添加：
$(CUDA_PATH_V6_5)\include;
$(OPENCV_2_49)\include;
$(OPENCV_2_49)\include\opencv;
$(OPENCV_2_49)\include\opencv2;
$(BOOST_1_56)
项目——属性——链接器——常规——附加库目录
添加：
$(CUDA_PATH_V6_5)\lib\$(PlatformName);
$(OPENCV_2_49)\x64\vc12\lib;
$(BOOST_1_56)\lib64-msvc-12.0;
..\3rdparty\lib;
项目——属性——链接器——输入——附加依赖项

Ⅲ 大数据培训到底是培训什么

一、基础部分：JAVA语言 和 linux系统

二、数据开发:

1、数据分析与挖掘

一般工作包括数据清洗，执行分析和数据可视化。学习Python、数据库、网络爬虫、数据分析与处理等。

大数据培训一般是指大数据开发培训。

大数据技术庞大复杂，基础的技术包含数据的采集、数据预处理、分布式存储、数据库、数据仓库、机器学习、并行计算、可视化等各种技术范畴和不同的技术层面。

2、大数据开发

数据工程师建设和优化系统。学习hadoop、spark、storm、超大集群调优、机器学习、Docker容器引擎、ElasticSearch、并发编程等；

课程学习一共分为六个阶段：

7

Ⅳ linux caffe支持的cuda capability 最小是多少

由于最近安装了Ubuntu16.04，苦于之前配置Caffe的教程都在版本14.04左右，无奈只能自己摸索，最终配置成功。本文教程的特点是不需要降级gcc的版本，毕竟cuda7.5不支持gcc5以上(默认不支持，实际支持)，避免出现一系列乱七八糟的问题，反正之前我是碰到了。
本文是在参考caffe官网教程（http://caffe.berkeleyvision.org/installation.html）结合自己总结经验而来，对此表示感谢。

1.所需文件下载
1.1.Ubuntu16.04在官网下载（http://www.ubuntu.org.cn/download/desktop），然后在windows下用UltraISO制作，相关文章搜索有一大片，此处不再赘述。
1.2.cuda7.5下载，下载的版本是ubuntu15.04的run文件，个人感觉比较方便。
1.3.cudnn4.0下载（https://developer.nvidia.com/cudnn），进去之后如果有注册过nvidia的账户直接点击download，否则需要注册一个账户，注册完之后有一个调查，随便选几个钩就可以，然后下一步是接受条款开始就可以下载了。
1.4.caffe下载（https://github.com/BVLC/caffe）就在官方的github下载就可以了。

2.显卡驱动安装
2.1.第一种方法是直接在ubuntu系统设置，软件和更新里面，选择中国的服务器源刷新之后，点击附加驱动选项，在Nvidia Corporation选择361.42(强迫症必须安装最新的)，然后点击应用更改，下载安装完之后重启。
2.2.第二种方法是去官方下载（http://www.geforce.cn/drivers）好驱动的run文件，选择对应显卡型号下载。然后关机把显示器插到集成显卡接口上，或者终端下
sudo gedit /etc/modprobe.d/blacklist.conf
输入密码后在最后一行编辑上
blacklist nouveau
Ctrl +C保存后终端输入
sudo update-initramfs -u
重启之后在界面按Ctrl+Alt+F2，输入root以及密码，然后
service lightdm stop
sh 你自己的驱动文件的完整路径，默认选项就可以安装了，安装后重启

3.Cuda7.5安装
3.1.以文件名为cuda.run为例，终端下输入
sh cuda.run --override 启动安装程序，此处有大量的条款，一路空格到最后 输入accept，依次输入y回车，然后n(不安装显卡驱动)，然后一路y回车，有一个地方需要输入密码，还有两个地方确认安装路径，直接回车即可，完成安装，默认安装路径是/usr/local
将下载下来的cudnn-7.0-linux-x64-v4.0-prod.tgz 解压之后，解压后的cuda文件夹先打开里面的include文件夹，空白右键在终端打开输入：
sudo cp cudnn.h /usr/local/cuda/include/
cd ~/cuda/lib64
sudo cp lib* /usr/local/cuda/lib64/
继续更新文件链接
cd /usr/local/cuda/lib64/
sudo rm -rf libcudnn.so libcudnn.so.4
sudo ln -s libcudnn.so.4.0.7 libcudnn.so.4
sudo ln -s libcudnn.so.4 libcudnn.so
然后设置环境变量
sudo gedit /etc/profile
在末尾加入
PATH=/usr/local/cuda/bin:$PATH
export PATH
保存之后创建链接文件
sudo vim /etc/ld.so.conf.d/cuda.conf
键盘按i进入编辑状态，添加文字
/usr/local/cuda/lib64
然后按esc，输入:wq保存退出。
终端下接着输入
sudo ldconfig 使链接生效

4.生成Cuda Sample测试
首先在此之前先把需要的依赖包都安装好，为接下来make caffe做准备
sudo apt-get install libprotobuf-dev libleveldb-dev libsnappy-dev libopencv-dev libhdf5-serial-dev protobuf-compiler
sudo apt-get install --no-install-recommends libboost-all-dev
sudo apt-get install libatlas-base-dev
sudo apt-get install libgflags-dev libgoogle-glog-dev liblmdb-dev
然后开始make samples ，终端下
cd /home/gomee/NVIDIA_CUDA-7.5_Samples
sudo make all -j4
我是4核电脑所以用了j4，正常情况下肯定会报错“unsupported GNU version! gcc versions later than 4.9 are not supported!”，原因就是这个cuda不支持gcc5.0以上，终端运行
cd /usr/local/cuda-7.5/include
cp host_config.h host_config.h.bak
sudo gedit host_config.h
Ctrl+F寻找有”4.9”的地方，应该是只有一处，在其上方的
#if __GNUC__ > 4 || (__GNUC__ == 4 && __GNUC_MINOR__ > 9)将两个4改成5，保存退出，继续
cd /home/gomee/NVIDIA_CUDA-7.5_Samples
sudo make all -j4
这就应该开始make了，此处大约有5、6分钟。完成之后
cd /home/gomee/NVIDIA_CUDA-7.5_Samples/bin/x86_64/linux
./deviceQuery
会出现类似以下的信息
CUDA Device Query (Runtime API) version (CUDART static linking)
Detected 1 CUDA Capable device(s)
Device 0: "GeForce GTX 750 Ti"
CUDA Driver Version / Runtime Version 8.0 / 7.5
CUDA Capability Major/Minor version number: 5.0
Total amount of global memory: 2047 MBytes (2146762752 bytes)
( 5) Multiprocessors, (128) CUDA Cores/MP: 640 CUDA Cores
GPU Max Clock rate: 1228 MHz (1.23 GHz)
Memory Clock rate: 3004 Mhz
Memory Bus Width: 128-bit
L2 Cache Size: 2097152 bytes
Maximum Texture Dimension Size (x,y,z) 1D=(65536), 2D=(65536, 65536), 3D=(4096, 4096, 4096)
Maximum Layered 1D Texture Size, (num) layers 1D=(16384), 2048 layers
Maximum Layered 2D Texture Size, (num) layers 2D=(16384, 16384), 2048 layers
Total amount of constant memory: 65536 bytes
Total amount of shared memory per block: 49152 bytes
Total number of registers available per block: 65536
Warp size: 32
Maximum number of threads per multiprocessor: 2048
Maximum number of threads per block: 1024
Max dimension size of a thread block (x,y,z): (1024, 1024, 64)
Max dimension size of a grid size (x,y,z): (2147483647, 65535, 65535)
Maximum memory pitch: 2147483647 bytes
Texture alignment: 512 bytes
Concurrent and kernel execution: Yes with 1 engine(s)
Run time limit on kernels: Yes
Integrated GPU sharing Host Memory: No
Support host page-locked memory mapping: Yes
Alignment requirement for Surfaces: Yes
Device has ECC support: Disabled
Device supports Unified Addressing (UVA): Yes
Device PCI Domain ID / Bus ID / location ID: 0 / 1 / 0
Compute Mode:
< Default (multiple host threads can use ::cudaSetDevice() with device simultaneously) >
deviceQuery, CUDA Driver = CUDART, CUDA Driver Version = 8.0, CUDA Runtime Version = 7.5, NumDevs = 1, Device0 = GeForce GTX 750 Ti
Result = PASS
这就说明成功了。

5.Python配置
将之前github下载的caffe压缩文件解压缩到任一目录，然后安装python
python的版本安装有两种方式：
第一是直接安装anaconda，去官网下载 ，选择linux 64bit 2.7版本下载安装，anaconda安装方便但是需要在最后的make配置文件中更改python包含路径。
第二种方法就是使用原生的python2.7版本，终端下
sudo apt-get install python-pip 安装pip
这里我们用pip安装一些python需要的依赖包，不过为了避免各种问题，也可以通过apt-get安装，反正我这两种方式都安装了一遍(-.-)
sudo apt-get install python-numpy python-scipy python-matplotlib ipython ipython-notebook python-pandas python-sympy python-nose
以caffe默认解压到/home/user(你的用户名)/ ，文件夹名名称caffe为例
cd /home/user/caffe/python
sudo su
for req in $(cat requirements.txt); do pip install $req; done
这里用pip安装可能速度很慢，很可能下载好几个小时，推荐用清华大学的pip源临时安装，所以命令改为如下：
for req in $(cat requirements.txt); do pip install -i https://pypi.tuna.tsinghua.e.cn/simple $req; done
这里如果第一次有很多红字错误，建议再运行几遍指导安装成功，对于黄字提示无需理会，可能是pip版本需要更新。

6.Caffe编译过程
接下来要进入最后的步骤了，终端中
cd /home/user/caffe
cp Makefile.config.example Makefile.config
gedit Makefile.config
将USE_CUDNN := 1 取消注释，在
INCLUDE_DIRS := $(PYTHON_INCLUDE) /usr/local/include后面打上一个空格 然后添加/usr/include/hdf5/serial 如果没有这一句可能会报一个找不到hdf5.h的错误
PYTHON_INCLUDE := /usr/include/python2.7 \
/usr/lib/python2.7/dist-packages/numpy/core/include先不做更改。
如果是需要生成matlab的caffe wrapper 请取消注释MATLAB_DIR然后替换为自己的目录
说一下提前会出现的问题：
第一，make过程中出现比如 string.h ‘memcy’ was not declared in this scope的错误是由于gcc编译器版本太新，解决方法是打开makefile搜索并替换
NVCCFLAGS += -ccbin=$(CXX) -Xcompiler -fPIC $(COMMON_FLAGS)
为
NVCCFLAGS += -D_FORCE_INLINES -ccbin=$(CXX) -Xcompiler -fPIC $(COMMON_FLAGS)
保存退出
第二，在make过程中还会报一个ld找不到libhdf5 和libhdf5_hl的链接问题，这个原因可能也是因为hdf5的问题，首先看/usr/lib/x86_64-linux-gnu 目录下有没有libhdf5.so和libhdf5_hl.so，如果有的话，查看属性是否有正确的链接(正常情况下应该是没有这两个文件)，然后右键在终端中打开
sudo ln libhdf5_serial.so.10.1.0 libhdf5.so
sudo ln libhdf5_serial_hl.so.10.0.2 libhdf5_hl.so
注意，10.1.0和10.0.2可能不同电脑安装版本不同，注意看当前目录下存在的文件然后
sudo ldconfig 生效
接下来就是直接编译的过程
cd /home/user/caffe
make all -j4
make test -j4
make runtest
make pycaffe
make matcaffe
如果编译没报错正常的话，基本就没问题了。测试python打开
cd /home/user/caffe/python
python
import caffe
如果不报错就说明编译成功
测试matlab打开./caffe/matlab/+caffe/private，看有没有生成一个caffe的mex文件，可以运行+test文件夹里面的程序测试。
小问题：
在使用python接口的时候，可能会报一个什么错误(我给忘记了–!)，对了是’Mean shape incompatible with input shape.’的错误，处理方法是python/caffe文件夹，编辑io.py文件，将
if ms != self.inputs[in_][1:]:
raise ValueError('Mean shape incompatible with input shape.')
替换为
if ms != self.inputs[in_][1:]:
print(self.inputs[in_])
in_shape = self.inputs[in_][1:]
m_min, m_max = mean.min(), mean.max()
normal_mean = (mean - m_min) / (m_max - m_min)
mean = resize_image(normal_mean.transpose((1,2,0)),in_shape[1:]).transpose((2,0,1)) * (m_max - m_min) + m_min
然后make clean再重新make

7.总结
至此，Ubuntu16.04下编译Caffe的教程就结束了，作者历时三天，装了好几遍系统，刚开始用Ubuntu14.04，结果系统出现问题，强迫症实在受不了，就尝试着装16.04继续折腾，最终折腾成功。以后可能会更新python3下的编译教程，需要自己编译boost版本，总之也很麻烦。

Ⅳ windows-caffe ImportError: No mole named skimage.io怎么解决谢谢

pip install scikit-image

Ⅵ 现在tensorflow和mxnet很火，是否还有必要学习scikit-learn等框架

很有必要，但不用太深入，在Kaggle上认真搞2,3个比赛能进10%的程度就够了