《深度学习文本分类算法分析综述》1700字

深度学习文本分类算法分析综述深度学习从发展之初，一直面临两个巨大的难题，一个是参数量巨大的问题，深层次神经网络由于学习率等问题，往往得到的是极小值，而不是最小值，也就是非全局最优解，这成为了阻碍深度神经网络发展的最主要因素。第一个问题随着计算设备的发展可以得到解决，但是第二个问题不是换上更好的计算设备就可以解决。直到2006年，深度学习大牛，Hinton教授发表的论文中提出了两个重要的观点：（1）复杂的神经网络能够学到特征越好越本质；（2）为了解决得不到全局最优解问题可以一层一层来训练。这时起，深度学习引来了快速发展。深度学习在应用到非线性问题中表现极佳，准确率高，对比一些传统的机器学习算法，它不需要进行一些人为筛选的过程，减少了很多的人力成本。它通过一种维度的转换，解决了很多维度爆炸问题，并且它能够在众多特征向量中选择最适合本问题的特征向量。深度学习它可以将现有的较为火热的，比如语音识别，图像处理，情感分析都有深度学习的影子，它们都是运用深度学习得到一个深层次的特征向量，和人一样可以进行深层次的学习。在国内中，很多学者把深度学习应用到中文文本的情感分析上。1.1卷积神经网络卷积神经网络REF_Ref68555014\r\h[34]的出现得益于Hubel和Wiesel对生物视觉的研究。近年来，人们对这一领域进行了大量研究，把CNN用于NLP的语义分析REF_Ref68555043\r\h[35]、句子建模REF_Ref68555052\r\h[36]、搜索查询检索REF_Ref68555062\r\h[37]和其他NLP任务取得了优异的成果。卷积神经网络作为前馈神经网络最为特殊的存在，顾名思义就是含有卷积操作。一般的人工神经网络，它的上一层神经元和下一层神经网络都是相互连接，然后通过反向传播进行一个参数的更新，但是神经网络复杂的参数会降低其速度。而卷积神经网络使得相邻层的神经元细胞和前一层部分神经元细胞相连接，极大的减少了神经网络参数的复杂度，训练速度得到了提高，这一系列的操作被称为局部连接。图2.4CNN的局部连接图2.4为卷积神经网络的局部连接图，神经网络的第K层的3神神经元不是和K-1层的神经元全部连接，K+1层中的每个神经元和k层的所有神经元都进行了连接，网络则通过K-1层到K层的连接模式局部来接收输入到网络中的信息，再通过K层到K+1层的连接模式综合全部信息。权值共享是CNN最大特点。卷积核的作用就是进行特征提取。卷积核就和滑轮一样不断滑动，按照一定步长，然后在不同区域得到不同的特征，每一个卷积核都有它独特的特征，都是不一样。图2.5CNN的权值共享图2.5是卷积神经网络权值的权值共享图，我们将局部感知和滑动步长分别设置为3和1.将挨着的两层神经元相连。本来是15个参数，但是通过权值共享以及局部连接两个功能，可以降低参数数目，减低模型复杂度，提高拟合能力。图2.6卷积模型上图为卷积模型图，卷积网络的检测和提取功能由卷积层和池化层来完成，再由卷积网络完成信息整合以及去除表层意思，以达到提取深层信息和特征提取。神经网络当中只能够识别数字形式的向量形式，所以需要用模型把微博短文本变为向量形式，由于文本向量化后值的差异较大，所以需要把文本统一变成0到1之间的数，也就是归一化操作。每一个尺寸的卷积核可以提取的特征尺寸不一样，从问题本质出发，卷积过程就是池化操作，池化操作的作用很强，具有对重点特征进行筛选的功能，所以在经过池化操作后，收敛所需的epoch会减少。还有一个深度学习普遍面临的问题，就是过拟合问题，但是通过池化操作可以减少过拟合发生的机会。池化操作如2.7所示图2.7池化图全连接层就是最后一层隐藏层和输出层相连接，起到映射样本作用，把多维数据表示为一维数据，起到降维的作用。图2.8CNN文本分类示意图图2.8以中国地大物博、风景秀丽、交通便捷舒适，对这个输入文本进行一个词向量转化，然后特征提取的工作由卷积层来做。接着深度特征提取和特征筛选是池化层来完成，最后经过全连接之后就完成了文本分类。1.2长短期记忆网络长短期记忆网络REF_Ref68557045\r\h[38]（LSTM）是RNN的后代，为解决梯度消失而产生出来的，这一模型的提出有效解决了梯度消失的问题。LSTM在文本分类REF_Ref68557058\r\h[39]REF_Ref68557059\r\h[40]，手写体识别REF_Ref68557070\r\h[41]REF_Ref68557071\r\h[42]表现出极大的优势。记忆门如图2.9所示。图2.9记忆门LSTM网络计算过程如下：（1）遗忘门计算。（2.22）（2）记忆门计算。（2.23）（2.24）（3）计算当前时刻细胞状态。（2.25）（4）计算输出门和当前时刻隐层状态：（2