人工智能tensorflow实验报告

一、软件下载为了更好的到达预期的效果，本次tensorflowLinux环境下进展，所需的软件及相关下载信息如下：1.CentOS软件介绍：CentOS是一个基于RedHatLinux供给的可自由使用源代码的企业级LinuxCentOS都会获得十年的支持〔通过安全更方式〕。版本的CentOS大约每两年发行一次，而每个版本的CentOS会定期〔或许每〕更一次，以便支持的硬件。这样，建立一个安全、低维护、稳定、高推测性、高重复性的Linux环境。CentOS是CommunityEnterpriseOperatingRHEL的根底上修正了不少的Bug，相对于其他Linux发行版，其稳定性值得信任。软件下载：本次试验所用的CentOS版本为CentOS7,可在CentOS官网上直接下载DVDISO镜像文件。下载链接：“:///centos/7/isos/x86_64/CentOS-7-x86_64-DVD-1611.i“:///centos/7/isos/x86_64/CentOS-7-x86_64-DVD-1611.iso.2.Tensorflow软件介绍：TensorFlowDistBelief进展研发的其次代人工智能学习系统，其TensorFlow为张量从流图的一端流淌到另一端计算过TensorFlow是将简单的数据构造传输至人工智能神经网中进展分析和处理过2023DistBeliefTensorFlow将完全开源，任何人都可以用。软件下载：本次试验所用的Tensorflow版本为Tensorflow0.5.0,Linux下进展TensorflowGitHubLinux版本的。下载链接：s://github/tensorflow/tensorflow/tree/0.5.03.Anaconda软件介绍：AnacondaPythonLinux,Mac,Windows系统，供给了包治理与环境治理的功能，可以很便利地解决多版本python并存、Anaconda利用工具/conda来进展packageenvironmentPython和相关的配套工具。软件下载：Anaconda2-4.2.0,Linux中AnacondaLinux版本的。下载链接：“://continuum.io/downloads/#linux“s://continuum.io/downloads/#linux.4.VMwareWorkstation软件介绍：VMwareWorkstation〔中文名“威睿工作站”〕是一款功能强大的桌面虚拟计VMwareWorkstation可在一部实体IT开发人员和系统治理员而言，VMwarePXE等方面的特点使它成为必不行少的工具。软件下载：VMwareWorkstation官网上下载。下载链接：s://my.vmware/web/vmware/info/slug/desktop_end_user_computing/vmware_workstation/10_0.5.Xshell软件介绍：WindowsTELNETXshell通过互联网到远程主机的安全连接以及它创性的设计和特色帮助用户在简单的网络环境中享受他们的工作。XshellWindows界面下用来访问远端不同系统下的效劳器，从而比较好的到达远程掌握终端的目的。软件下载：Xshell5.0.0964,可直接在百度软件中心下载，Xshell官网上下载〔包含中文汉化版的〕。下载链接：“://netsarang/xshell_download.html“://netsarang/xshell_download.html.二、软件安装环境下进展，所以需要安装一个虚拟机，其软件的安装如下：VMwareWorkstation10.7zVMwareWorkstation10.7z为一个可执行的exe名目，双击便可安装。安装截图如下：成功安装后截图：2.CentOS7CentOS7ISOVMwareWorkstation10.7z中建虚拟机来进展安装。由于安装步骤比较繁琐，这里选取主要截图〔其具体安装可参考链接s://jingyan.baidu/article/eae0782787b4c01fec548535.html〕：成功安装后截图：成功安装后截图：运行截图：3.Anaconda2-4.2.0本次实验的Anaconda2-4.2.0 为一个sh Anaconda2-4.2.0-Linux-x86_64.sh进展安装。安装截图如下：ipython界面：4.Tensorflowwhlpipinstalltensorflow-0.5.0-cp27-none-linux_x86_64.whl进展安装。安装截图如下：成功安装截图：5.Xshell本上试验的Xshell5.0.0964为一个可执行的exe文件，选择好安装名目，双击即可进展安装。安装截图如下：成功安装后截图：运行截图：三、算法原理inceptionCNNCNNinception模型做一个简洁的介绍：CNN卷积神经网络：卷积神经网络是近年进展起来，并引起广泛重视的一种高效识别方法。2060年月，HubelWiesel在争论猫脑皮层中用于局部敏感和方向选择的神K.Fukushima1980年提出的识别机是卷积神经网络的第一个实现网络。随后，更多的科研工作者对该网络进展了改进。其中，具有代表性的争论成果是Taylor提出的“改进认知机”，该方法综合了各种改进方法的优点并避开了耗时的误差反向传播。一般地，CNN的根本构造包括两层，其一为特征提取层，每个神经元的输sigmoid函数作为卷积网络的激活函数，率。CNNCNN时，避开了显示的特征提取和分类过程中数据重建的简单度。ConvolutionLayers卷积层maps被一个可学习的卷积核进展卷积，然后mapmap可能是组合卷maps的值： xfjj

x1*k

b

i ij j这里M 表示选择的输入maps的集合，那么到底选择哪些输入maps呢？有j选择一对的或者三个的。但下面我们会争论如何去自动选择需要组合的特征mapbmap，mapsmapj和输出特征mapk都是从输入mapi〔1〕ComputingtheGradients梯度计算W1T“◦”表示每个元素相乘。E

1f(”u )

(1)W

x1()TEWW

(2)我们假定每个卷积层都会接一个下采样层+1BP来说，我们知道，要想求得层的每一个神经节点的灵敏度δ〔也就是权值更的公式〔2〕〕。为了求这个灵敏度我们就需要先对下一层的节点〔连接到当前层的感兴趣节点的第+1层的节点〕的灵敏度求和〔得到1〕，然后乘以这些连接对应的权值〔层感兴趣节点和第+1层节点的权值〕W。再乘以当前层u的激活函f的导数值〔也就是那个灵敏度反向传播的公式〔1〕的的求解〕，这样就可以得到当前层每个神经节点对应的灵敏度了。然而，由于下采样的存在，采样层的一个像素〔神经元节点〕对应的灵敏度δ对应于卷积层〔上一层〕的输出map的一块像素〔采样窗口大小〕。因此，层map的每个节点只与+1map的一个节点连接。为了有效计算层的灵敏度，我们需要上采样upsample 这个下采样层对应的灵敏度map〔特征map中每个像素对应一个灵敏度，所以然后再将层的map的激活值的偏导数与从第+1层的上采样得到的灵敏度map逐元素相乘〔也就是公式〔1〕〕。β就可以完成第δ的计算。mapjmap〔参考公式〔1〕〕：1(f”(u) up(1))j j j jup(.)表示一个上采样操作。假设下采样的采样因子是n的话，它简洁的将每个像素水平和垂直方向上拷贝n次。这样就可以恢复原来的大小了。实际上，这Kronecker乘积来实现：up(x)x1nn到这里，对于一个给定的map，我们就可以计算得到其灵敏度map了。然后我们就可以通过简洁的对层中的灵敏度map中全部节点进展求和快速的计算bias基的梯度了：E ()b juvj u,v (3)最终，对卷积核的权值的梯度就可以用BP算法来计算了〔公式〔2〕〕。另bias基的梯度计算一样：E()

(p1)(p1)i uv

x1i

kij u,v

juv i uvkij这里，

patch，输出卷积ijkij的(u,v)位置的值是由上一层的(u,v)patch与卷积核

逐元素相乘的结果。Sub-samplingLayers子采样层对于子采样层来说，有Nmaps，就有Nmaps，只是每个输出map都变小了。xf(down(x1)b)j j j jnxn的块nmapβb。〔1〕ComputingtheGradients梯度计算的偏置参数β和b就可以轻而易举了〔公式〔3〕〕。假设下一个卷积层与这BPmaps。mappatch对应mapmappatchδ递推，也就是灵敏度反向传播回来。另外，需要乘以输入patch与输出像素之间连接的权值，这个权值实际上就是卷积核的权值〔已旋转的〕。f”(u) conv2(1,rot180(k1),”full”)j j j j到这里，我们就可以对bβ计算梯度了。首先，加性基b的计算和上面卷map中全部元素加起来就可以了：E()bj u,v

juvβ，由于涉及到了在前向传播过程中下采样map的计算，所以我们最好在前向的过程中保存好这些maps，这样在反向的计算中就不用重计算了。我们定义：)j j这样，对β的梯度就可以用下面的方式计算：E ( jj u,v

d)j uvLearningCombinationsofFeatureMapsmap的组合大局部时候，通过卷积多个输入maps，然后再对这些卷积值求和得到一个mapCNN在训练的过程中mapsmapij

jmapimap的权jmap可以表示为：xf

n

(x1*k)b需要满足约束：

j ij i i ji1 1,and 0ij

1.这些对变量ij

的约束可以通过将变量ij

表示为一个组无约束的隐含权值c softmax〔softmax的因变量是自变量的指数函数，他们ij的变化率会不同〕。

exp(c ) ijij exp(c )k kjj来说，每组权值cij

mapmap的更mapj不同而已。Softmax函数的导数表示为：kc ki

i kiδKroneckerdelta。对于误差对于第层变量的导数为：iE

Eu

( (x1*k)) ui

i

i i uv最终就可以通过链式规章去求得代价函数关于权值ci

的偏导数了：E

E

E E i k

ck

ii k

k kkk〔1〕EnforcingSparseCombinations加强稀疏性组合为了限制i

map只与某些而不是全部的输Ω(α)。对于单个样本，重写代价函数为：EnEn

i,j

|() |ijci

求导的奉献。规章化项Ω(α)对求导i是：然后，通过链式法则，对ci

sign() ii的求导是：

k

||)c

i i k所以，权值ci

i k k i k最终的梯度是inception模型：

Enci

Enci

ciGoogLeNet出来之前，大家的主流——过拟合和计算量的增加。化的，稀疏矩阵虽然数据量少，但是所耗的时间却是很难缺少。矩阵优化的东风。Inception就是在这样的状况下应运而生。pooling也是CNN成功的缘由之一，所以把pooling也算到了里面，然后将结果在拼起Inception。到特征，因而层级越高，卷积核的数目就应当增加。1×1，3×3，5×5只是随便想出来的，不是必需这样。Inception，还有一个问题，由于全部的卷积核都在上一层的NINInception。NIN构造中非线性变换的强大表达力量。大大削减，由于四个分支之间是不需要做计算的。再同时，还具有不同的视野尺度，由于不同尺寸的卷积核和pooling是在一起使用的。GoogLeNet的模型参数具体如下：inception模型就是在这样的背景下产生的，这里只是简洁介绍其原理，后期