Ubuntu14.04caffe安装配置详细指南.docx

Ubuntu 14.04 + caffe安装配置详细指南Edit: Kevin (Q&A )Reference: /shiorioxy/article/details/52652831特别说明网上关于caffe的安装教程非常多，但是对于每一步是否操作成功，出现了什么样的错误又该如何处理却没有给出说明。因为大家的操作系统的环境千差万别，按照博客中的教程一步步的安装，最后很可能失败，有的教程甚至省略了一些细节部分，让小白更不知道如何判断每一步是否操作成功，如何处理出现的错误。作者花费了很长时间才成功地将caffe装完，期间遇到好多错误，多次重装操作系统。现在将经验写下来，一方面为了和大家分享讨论，另一方面是为了记录一下。1. Caffe 官网地址：/ 2. 本文使用2016年9月27日下载的caffe-master版本，运行平台为：Ubuntu 14.04，CUDA8.0，cuDNN v5.1，Intel Parallel Studio XE Cluster 2015，OpenCV 3.1.0, Matlab 2014b. pycharm community，anaconda( python, numpy, scipy, matplotlib, et.al.)版本说明：1. Ubuntu 版本问题Ubuntu 16.04是目前最新的系统，但装完cuda 8.0显卡驱动，重启系统后一直在登录界面循环而无法进入，原因是ubuntu16.04与cuda8.0不兼容。Ubuntu15.04在cuda官网上不再提供相关驱动文件（只有ubuntu16.04和ubuntu14.04的），因此还是选择ubuntu14.04这个版本的系统。2. GCC 和 G+ 编译器版本问题 Matlab 2014b-gcc/g+ 4.7.x, Matlab 2016a-gcc/g+ 4.9.x Ubuntu 14.04-gcc/g+ 4.8.x, Ubuntu 16.04-gcc/g+ 5.4.x Matlab支持的编译器版本需要和Ubuntu版本一致，否则编译matcaffe时会报错，但ubuntu14.04默认装的编译器版本比Matlab2014的高，因此要按照降级（或强制安装）的方法才可以正常使用，怀疑和显卡驱动有关。3. 本文主要包含七个部分，包括： - 第一部分 Linux（ubuntu 14.04）的安装- 第二部分 gcc 4.7 和 g+ 4.7 的安装- 第三部分 nVidia CUDA+cudnn的安装（*.deb方法） - 第四部分 Matlab2014b 的安装 - 第五部分 Pycharm的安装- 第六部分 Anaconda的安装- 第七部分 Caffe-Master的安装和测试第一部分 Linux安装1. 我的分区设置如下： 根分区： 100G， Swap交换分区：128G（等于内存大小） ，小于16G的内存，就设置成内存的1.5-2倍 boot分区：200M Home分区：剩余的空间，多多益善 2. 解决启动分区错误（可选）装双系统需要先安装Windows 再安装Ubuntu。如果遇到启动分区表损坏，需要还原Windows分区：$ sudo gedit etc/default/grub设置：GRUB_DEFAULT = 2$ sudo update-grub第二部分 gcc4.7 和 g+ 4.7 的安装1. 为什么要先安装GCC和G+，并需要降级呢？Ubuntu14.04版本默认的GCC和G+都是4.8。而Matlab2014b默认支持的mex编译器是GCC4.7.x和G+4.7.x。因此需要额外安装GCC4.7和G+4.7并降级。2. 为什么需要先安装编译器GCC和G+，而不是先安装显卡驱动和cuda等等呢？首先，先安装显卡驱动，后安装GCC并降级的安装顺序过程中，遇到了很多问题。比如，在安装CUDA SAMPLES的过程中，遇到了问题/usr/bin/ld: cannot find lGL，后面通过网上教程，重新连接该库文件，仍然不能通过OpenCV的编译。但是，先安装GCC，再安装显卡驱动，就不会遇到这个问题了。3. 解决编译器gcc/g+版本问题。 A. 降级安装gcc/g+版本为4.7.x$ sudo apt-get install -y gcc-4.7 g+-4.7$ cd /usr/bin$ sudo mv gcc gcc-4.9.2$ sudo ln -s gcc-4.7 gcc$ sudo mv g+ g+-4.9.2$ sudo ln -s g+-4.7 g+B. 暴力引用新版本GLIBCXX_3.4.20$ sudo cp /usr/lib/x86_64-linux-gnu/libstdc+.so.6.0.20 /usr/local/MATLAB/R2014b/sys/os/glnxa64/libstdc+.so.6.0.20$ cd /usr/local/MATLAB/R2014b/sys/os/glnxa64$ sudo mv libstdc+.so.6 libstdc+.so.6.backup$ sudo ln -s libstdc+.so.6.0.20 libstdc+.so.6$ sudo ldconfig -v通过命令“strings /usr/local/MATLAB/R2014b/sys/os/glnxa64/libstdc+.so.6 | grep GLIBCXX_” 可以看一下，是否成功包含了GLIBCXX_3.4.21，如果已经存在，基本上就成功了。第三部分：nVidia CUDA Toolkit+cudnn的安装（*.deb方法）1. 为什么需要安装NVIDIA显卡驱动，Ubuntu没有自带的显卡驱动吗？Ubuntu自带的显卡驱动是开源的Nouveau，但是cuda不支持Nouveau。如果想使用cuda进行GPU计算，必须安装NVIDIA显卡驱动。2. 选择哪个版本的显卡驱动呢这个问题需要结合操作系统，操作系统影响显卡驱动的版本。比如cuda7.5需要显卡驱动最低版本是nvidia-352；cuda7.0需要显卡驱动最低版本是nvidia-336；cuda6.5需要显卡驱动最低版本是nvidia-33*； 3. 显卡驱动的安装方式有哪些方法一：去NVIDIA官网下载相应的驱动二进制安装包，然后安装。方法二：通过apt-get来安装。区别：apt-get安装方便，但是不能安装最新的显卡驱动，目前ubuntu14.04通过apt-get可以安装nvidia-346显卡。安装过程中注意事项：需要关闭显示管理器，二进制安装需要修改文件4. 安装 CUDA Toolkit官方下载地址：/cuda-toolkit (.deb格式)$ sudo dpkg -i cuda-repo-ubuntu1404-8-0-local_8.0.44-1_amd64.deb$ sudo apt-get update$ sudo apt-get install -y cuda5. 安装 nVidia cuDNN library (cudnn-8.0-linux-x64-v5.1)官方下载地址：/cudnn$ tar zxvf cudnn-7.5-linux-x64-v5.1.tgz$ cd cuda$ sudo cp include/cudnn.h /usr/local/include$ sudo cp lib64/libcudnn.* /usr/local/lib$ sudo ln -sf /usr/local/lib/libcudnn.so.5.1.3 /usr/local/lib/libcudnn.so.5$ sudo ln -sf /usr/local/lib/libcudnn.so.5 /usr/local/lib/libcudnn.so$ sudo ldconfig v6. 处理ubuntu 14.04 GCC版本过高，编译Caffe-master报错问题$ sudo gedit /usr/local/cuda/include/host_config.h搜索（Ctrl+F）：#error - unsupported GNU version! gcc versions later than 5.3 are not supported!修改为：/#error - unsupported GNU version! gcc versions later than 5.3 are not supported!第四部分 Matlab安装和调试（Matlab 2014b）1. 下载 MATLAB 2014b 下载地址：/s/1qYngXXi 密码: rfd22. 直接解压 matlab_R2014b.iso 到文件夹matlab_R2014b/3. 用 crack 中的 install.jar 替换 matlab_R2014b/java/jar/ 中的install注：解压 iso 出来的文件夹很可能是只读的，所以要先给文件夹加权限。sudo chmod a+w -R matlab_R2014b4. 运行 matlab_R2014b 目录下的 install：sudo ./install -接下来就是和windows差不多的安装界面了。默认安装目录是 /usr/local/MATALAB/R2014b/ 安装密钥为：29797-39064-48306-324525. 激活A. 其实之前的激活是不会成功的，因为还没有补丁，接下来，把 Crack 中的 libmwservices.so 复制到 /usr/local/MATLAB/R2014b/bin/glnxa64/ 中（覆盖原来的）： sudo cp crack/libmwservices.so /usr/local/MATLAB/R2014b/bin/glnxa64 /把补丁拷过来B. sudo /usr/local/MATLAB/R2014b/bin/activate_matlab.sh -propertiesFile /usr/local/MATLAB/R2014b/etc/activate.ini /执行破解命令接下来会再次弹出让你输入证书的窗口，继续找 Crack 中的 license.lic6. 接下来可以设置环境变量：sudo vim /etc/profile在文件尾添加：export PATH=/usr/local/MATLAB/R2014b/bin:$PATH保存并退出后使设置生效source /etc/profile第五部分 pycharm的安装1. 下载/pycharm/download/选择Linux Tab，选择下载免费的Community Edition.2. 安装PyCharm$ cd Downloads/（1）Unpack the pycharm-*.tar.gz ：$ sudo tar xfz pycharm-*.tar.gz（2）Run pycharm.sh from the bin subdirectory12$ cd pycharm/bin/$ ./pycharm.sh3. 添加桌面快捷方式 （可选）12345678910$ sudo gedit /usr/share/applications/Pycharm.desktopDesktop Entry Type=Application Name=Pycharm GenericName=Pycharm3 Comment=Pycharm3:The Python IDE Exec=/pycharm/bin/pycharm.sh %f Icon=/pycharm/bin/pycharm.png Terminal=pycharm Categories=Pycharm;然后双击打开，再锁定到启动器就好了.第六部分 anaconda的安装anaconda面集成了很多函数包，如ipython，mkl，numpy等都预装了，省去了很多麻烦。如果有 edu 邮箱的话，还可以获得 anaconda accelerate，在矩阵运算的时候，可以启用并行计算，速度快很多。1. 首先是去anoconda官网下载，需要所需版本。官网如下：https:/www.continuum.io/downloads， 2. 打开终端，输入 bash /Downloads/Anaconda3-4.0.0-Linux-x86_64.sh #名字要换成自己对应版本的sh.安装过程中记得一直选择默认的就行3. 是否在bashrc中添加路径，这里选择“yes”就可以，否则后面会报错，你需要将以下代码添加到你的bash shell环境变量中。cd #转到主目录，准备执行shell，注意其他目录不行。 vim .bashrc export PATH=”/home/username/anaconda2/bin:$PATH” #最下面一行添加就行,：wq保存退出。记得对应更改自己的用户名和anaconda名字 source .bashrc #更新 关掉终端，完成安装。4. 安装accelerate 版本 （可选）$ conda update conda$ conda install accelerate第七部分 Caffe-Master的安装和测试1. 安装BLAS 这里可以选择（ATLAS，MKL或者OpenBLAS），我这里使用MKL，因为它最快。首先下载并安装英特尔 数学内核库 Linux* 版MKL(Intel(R) Parallel Studio XE Cluster Edition for Linux 2015)，下载链接是：/en-us/qualify-for-free-software/student， 使用学生身份（邮件 + 学校）下载Student版，填好各种信息，可以直接下载，同时会给你一个邮件告知序列号。下载完之后，要把文件解压到home文件夹(注意任何一级文件夹不能包含空格，否则安装会失败)$ sudo tar zxvf parallel_studio_xe_2015.tar.gz （解压文件）$ sudo chmod a+x parallel_studio_xe_2015 R (修改权限)$ sh install_GUI.shPS: 安装的时候，建议使用root权限安装，设置方法：命令行：$ sudo su）2. MKL与CUDA的环境设置 2.1新建intel_mkl.conf， 并编辑之：$ sudo gedit /etc/ld.so.conf.d/intel_mkl.conf/opt/intel/lib/intel64/opt/intel/mkl/lib/intel642.2 新建cuda.conf，并编辑之：$ sudo gedit /etc/ld.so.conf.d/cuda.conf/usr/local/cuda/lib64/lib2.3完成lib文件的链接操作，执行：$ sudo ldconfig v3. 安装OpenCV 3.1.0 3.1 下载并编译OpenCV（官网原版OpenCV：/）， 或者使用我提供的修改版的安装包（下面的安装方式使用该包完成，安装包修改了dependencies.sh文件并增加了OpenCV 3.0.0的安装文件） 3.2 切换到文件保存的文件夹，然后安装依赖项和OpenCV：$ sudo sh Ubuntu/dependencies.sh$ sudo sh Ubuntu/3.0/opencv3_0_0.sh保证网络畅通，因为软件需要联网这里时间较长，请耐心等待。4. 安装其他依赖项 4.1 Google Logging Library（glog），下载地址：/p/google-glog/，然后解压安装：$ tar zxvf glog-0.3.3.tar.gz$ ./configure$ make$ sudo make install如果没有权限就sudo chmod a+w -R glog-0.3.3 4.2 其他依赖项，确保都成功$ sudo apt-get install build-essential$ sudo apt-get install vim cmake git$ sudo apt-get install libprotobuf-dev libleveldb-dev libsnappy-dev libopencv-dev libboost-all-dev libhdf5-seri$ sudo apt-get install -y libprotobuf-dev libleveldb-dev libsnappy-dev libopencv-dev libboost-all-dev libhdf5-serial-dev libgflags-dev libgoogle-glog-dev liblmdb-dev protobuf-compiler protobuf-c-compiler protobuf-compiler python-numpy python-scipy python-matplotlib python-sklearn python-skimage python-h5py python-protobuf python-leveldb python-networkx python-nose python-pandas python-gflags cython ipython5. 安装Caffe并测试 5.1切换到Caffe-master的文件夹，生成Makefile.config配置文件，执行：$ cp Makefile.config.example Makefile.config5.2 配置Makefile.config文件（仅列出修改部分） a. 启用CUDNN，去掉”#”USE_CUDNN := 1b. 配置一些引用文件（增加部分主要是解决新版本下，HDF5的路径问题）INCLUDE_DIRS := $(PYTHON_INCLUDE) /usr/local/include /usr/lib/x86_64-linux-gnu/hdf5/serial/includeLIBRARY_DIRS := $(PYTHON_LIB) /usr/local/lib /usr/lib /usr/lib/x86_64-linux-gnu/hdf5/serialc. 启用Intel Parallel Studio XE 2016BLAS := mkld. 配置路径，实现caffe对Python和M