ubuntu16.04下caffe配置说明.docx

Ubuntu+16.04下caffe的配置说明BY: 李竑宙 李英嘉 综合网上许多教程，以及亲身的操作实践经历，在过去的两周时间内，我们在ubuntu系统下整理总结了Caffe的配置方式及其使用教程说明，并将整个流程分为两个步骤。分别为：ubuntu的安装、caffe的配置与编译部分。其中我们对caffe的配置过程中，有gpu加速项与无gpu的两种情况分别进行了阐述。具体内容如下。一、 ubuntu的安装首先是ubuntu的安装，具体可以参考如下教程：/article/ff42efa9423991c19e22020d.html同时为了避免ubuntu对原有计算机的性能造成浪费，我们以caffe及别的CNN平台为出发点，对ubuntu的安装教程写了一点补充。1.1下载ubuntu16.04的镜像文件/16.04/ubuntu-16.04-desktop-amd64.iso选择这个版本的原因是caffe的开发人员只对最新版本的linux系统提供安装caffe的详细教程，虽然各种论坛里有很多其他版本linux安装caffe的教程，但我个人认为caffe官方提供的安装教程更让人信任。1.2准备一个u盘，用UltraISO将iso文件写到u盘，用作启动盘。1.3整理硬盘，空出大约30g的空间，使用windows自带的磁盘管理工具，将这30g空间置为未分配可以将原来空间足够的分区再分为两个分区，一个30g，再将30g的分区删除，这30g就成了未分配的空间。1.4bios设置中开启从usb启动的选项。（不同电脑进入的bios的方式不同，主流的进入方式为F2、F11、Del键，其他的电脑如sony则有assist独立键用于进入bios这里不再赘述）1.5从u盘引导进入ubuntu安装页面，全程gui，注意在安装类型页面时选择其他选项，我们需要ubuntu装入刚刚分配出的30g硬盘中。值得注意的是安装过程中比较关键的地方在于挂载点的选择。在挂载点页面，我们可以找到刚才的30G的未分配空间，光标选中这一项，点击加号，为/boot挂载200M，为/ （根目录）挂载25G，为swap交换空间挂载剩余的空间。这里与上述网页中的略有不同，但实际作用一样。1.6继续执行下一步并等待安装完成。二、 caffe的配置与编译部分参考caffe的官方教程，综合实际应用方向，我们翻译并修改了一部分，希望能有帮助：原教程：/BVLC/caffe/wiki/Ubuntu-16.04-or-15.10-Installation-Guide2.1首先，执行下列命令，安装依赖项：sudo apt-get updatesudo apt-get upgradesudo apt-get install -y build-essential cmake git pkg-configsudo apt-get install -y libprotobuf-dev libleveldb-dev libsnappy-dev libhdf5-serial-dev protobuf-compilersudo apt-get install -y libatlas-base-dev sudo apt-get install -y -no-install-recommends libboost-all-devsudo apt-get install -y libgflags-dev libgoogle-glog-dev liblmdb-dev# (Python general)sudo apt-get install -y python-pip# (Python 2.7 development files)sudo apt-get install -y python-devsudo apt-get install -y python-numpy python-scipy# (or, Python 3.5 development files)sudo apt-get install -y python3-devsudo apt-get install -y python3-numpy python3-scipy# (OpenCV 2.4)sudo apt-get install -y libopencv-dev2.2 前往caffe的github页面下载源码：（克隆和压缩包都可以）/BVLC/caffe2.3在终端进入caffe-master目录：将配置文件makefile拷贝一下cp Makefile.config.example Makefile.config2.4编辑makefile.config文件，根据需求配置里面的各项参数：如果没有gpu，可将CPU_ONLY := 1的注释标志去掉；若有gpu的配置，在下面的教程中会有详尽说明。*以下是没有gpu的配置项目：PYTHON_INCLUDE := /usr/include/python2.7 /usr/lib/python2.7/dist-packages/numpy/core/includeWITH_PYTHON_LAYER := 1INCLUDE_DIRS := $(PYTHON_INCLUDE) /usr/local/include /usr/include/hdf5/serialLIBRARY_DIRS := $(PYTHON_LIB) /usr/local/lib /usr/lib /usr/lib/x86_64-linux-gnu /usr/lib/x86_64-linux-gnu/hdf5/serial2.5配置完毕后保存退出，进入终端，输入如下命令：find . -type f -exec sed -i -e shdf5.hhdf5/serial/hdf5.hg -e shdf5_hl.hhdf5/serial/hdf5_hl.hg ;cd /usr/lib/x86_64-linux-gnusudo ln -s libhdf5_serial.so.10.1.0 libhdf5.sosudo ln -s libhdf5_serial_hl.so.10.0.2 libhdf5_hl.so2.6进入caffe-master目录，输入如下命令：cd pythonfor req in $(cat requirements.txt); do pip install $req; done2.7在这之后ubuntu系统若进行了升级，将会导致一些问题，此时可以执行下面的命令for req in $(cat requirements.txt); do pip install $req; doneIn case of any problems, try:for req in $(cat requirements.txt); do sudo -H pip install $req -upgrade; done2.8现在进入caffe-master目录，执行下列命令，对caffe源码进行编译：make all j8make test j8make runtest j8make pycaffe -j8 make distribute j8需要注意的是，命令中-j8为调用cpu多核心来执行编译，可以极大提升编译效率，若使用的cpu为16核心，可以换为-j16。2.9为了使python能和caffe一起工作，打开/.bashrc文件，加入如下一行，写入后保存并退出。export PYTHONPATH=/path/to/caffe-master/python:$PYTHONPATH2.10使用终端将caffe-master目录下distribute目录里的lib、include、bin中的文件都拷贝到/usr目录下相应的目录，由于需要root权限，所以需要在终端里执行。现在执行如下命令，验证安装：sudo apt-get install checkinstallsudo checkinstall至此，无gpu加速的caffe的配置完成了。另附一张make runtest 命令通过的截图，基本这一步通过了，后面就不会有问题了。*回到第2.4步，下面说明gpu加速的caffe配置：（仅写出了对于Nvidia显卡的配置）A. 进入ubuntu自带的附加驱动，将显卡驱动设置为最新的专用驱动，注意一定是闭源的专用驱动，而不是开源适配驱动。B. 保存配置后，reboot，会出现一个x server setting，进入确保如下的设置为你的独立显卡。C. 在如下网站下载cuda 8.0/cuda-toolkit在如下网站下载CuDNN 5/cudnnD. 解包安装cuda toolkit 8 。安装方式和之前依赖项安装类似，不再赘述。这里的.deb文件相当于windows中的exe文件，直接双击安装即可。附：由于caffe不支持高版本的gcc，如果出现如下错误 #error - unsupported GNU version! gcc versions later than 5.3 are not supported!可以注释下面这个文件中的如下信息 ：/usr/local/cuda/include/host_config.h#if _GNUC_ 5 | (_GNUC_ = 5 & _GNUC_MINOR_ 3)/#error - unsupported GNU version! gcc versions later than 5.3 are not supported!#endif /* _GNUC_ 5 | (_GNUC_ = 5 & _GNUC_MINOR_ 1) */E.解包CuDNN 5 ，也如上找到.deb文件，安装即可。附：如果cuda和cudnn是低版本的，很可能需要手动安装。所以推荐安装我提到的版本。之后执行如下命令：cd caffe-master /（进入caffe目录。按照自己存放的位置）su