深度学习论文解读

1、Character-based Parsing with Convolutional Neural Network基于特征的卷积神经网络分析复旦大学xiaoqing zheng基本结构 句法分析 神经网络 卷积神经网络 基于特征的卷积神经网络 实验分析句法分析-定义图灵测试 人工智能实现的关键在于对自然语言的分析和处理，而如何让计算机“理解”所接受到的自然语言，并且根据“分析”生成相应的回答是人工智能所面临的两大挑战。从语言学角度看 语言学家不得不面对着这样一个问题：到底人类头脑中的语法结构和语言知识是如何获得的，一派是以乔姆斯基为代表的理性主义者；另一派是经验主义者，经验主义和统计自然语言处

2、理成为当前研究的主流。句法分析的定义 给定相应的语法体系，自动推导出句子的语法结构，将句子转化成对应相应语法体系的句法分析树，其中包含了句子中不同的句法单位以及之间的关系句法分析-句法分析树句法分析树 句子“政府鼓励民营企业家投资国家基础设施”的句法分析结果 (a) CTB中的句子分析树 (b) 二叉树 句法分析-研究现状句法分析研究现状 句法分析，就是在给定的语法体系下，对于给定的句子，自动推导出句子的语法结构，将句子转化成相应语法结构的句法分析树，要解决以下三个问题。 1.用怎样的语法体系来对句法结构表示，选取时所需要衡量的因素是什么？ 例如： 汉语： “一个 穿黑衣服的 男人 在河边 走

3、。 ” 英语： “A man dressed in black walk by the river.” 衡量的因素包括：语料库的构建成本，计算成本，应用需求，语言特点 句法分析-研究现状 2.对于给定的语法体系，可能出现同一句子对应不同的句法结构，如何进行消歧？ 基于规则的消歧被基于统计模型消歧取代，统计建模的两个步骤：第一是构建模型，也就是将设计的模型形式化表示出来。第二是模型参数估计，也就是从树库中通过学习得到所需的参数 3.如何在有限的时间内得到句子的句法结构？ 如何在有限的时间内给出最优的句法分析树是句法分析算法所要考虑的问题，研究者们针对这些问题做了大量的研究，其中应用动态规划方法到

4、句法分析算法中是最普遍的做法。句法分析-语料库语料库大部分的句法分析模型都是通过有指导的学习方式从已标注好的语料库中学习模型，参数标注规模和标注质量直接影响句法分析的性能。汉 语 树 库 CTB (ChineseTreebank) CTB6大约有80万个词。神经网络-感知器训练法则我们主要考虑两种算法 感知器法则 delta法则 1.感知器训练法则其中 iiiwwwiixotw)( 神经网络-感知器训练法则 2. delta法则克服感应器法则的不足，在线性不可分的训练样本上，收敛到 目标概念的最佳近似delta法则的关键思想是，使用梯度下降来搜索可能的权向量的假设空间，以找到最佳拟合训练样例的

5、权向量delta法则为反向传播算法提供了基础，而反向传播算法能够学习多个单元的互连网络把delta训练法则理解为训练一个无阈值的感知器指定一个度量标准来衡量假设相对于训练样例的训练误差xwxo)(DdddotwE2)(21)(神经网络-反向传播算法 用来学习多层网络的权值 采用梯度下降方法试图最小化网络输出值和目标值之间的误差平方 网络的误差定义公式，对所有网络输出的误差求和 DdoutpuskkdkdotwE2)(21)(卷积神经网络前言-深度学习深度学习（deep learning） 深度学习是机器学习领域一个新的研究方向,近年来在语音识别、计算机视觉等多类应用中取得突破性的进展，其动机在

6、于建立模型模拟人类大脑的神经连接结构,在处理图像、声音和文本这些信号时,通过多个变换阶段分层对数据特征进行描述 ,进而给出数据的解释。 深度学习之所以被称为“深度”,是相对支撑向量机 ( support vector machine, SVM)、 提 升 方 法(boosting)、最大熵方法等“浅层学习”方法而言的,深度学习所学得的模型中,非线性操作的层级数更多。卷积神经网络前言-深度学习 深度神经网络(deep neuralnetworks, DNN)由多个单层非线性网络叠加而成的，常见的单层网络按照编码解码情况分为3 类:只包含编码器部分、只包含解码器部分、既有编码器部分也有解码器部分。

7、前馈深度网络卷积卷积神经网络-基本结构卷积神经网络(convolutional neural networks, CNN) 属于深度神经网络中前馈深度网络，在这种网络中,信息只沿一个方向流动,从输入单元通过一个或多个隐层到达输出单元,在网络中没有封闭环路。 卷积神经网络是由多个单层卷积神经网络组成的，每个单层卷积神经网络包括卷积、非线性变换和下采样 3 个阶段。卷积神经网络-卷积阶段卷积阶段,通过提取信号的不同特征实现输入信号进行特定模式的观测，其观测模式也称为卷积核，每个卷积核检测输入特征图上所有位置上的特定特征,实现同一个输入特征图上的权值共享。卷积阶段的输入是由 n 1 个 n 2 n

8、3 大小的二维特征图构成的三维数组，每个特征图记为 xi ，该阶段的输出 y 也是个三维数组,由 m 1 个 m 2 m 3 大小的特征图构成在卷积阶段,连接输入特征图 x i 和输出特征图 yj 的权值记为 wij ，即可训练的卷积核，卷积核的大小为 k 2 k 3 。输出特征图为：卷积神经网络-非线性变换阶段非线性阶段,对卷积阶段得到的特征按照一定的原则进行筛选,筛选原则通常采用非线性变换的方式,以避免线性模型表达能力不够的问题.非线性阶段将卷积阶段提取的特征作为输入,进行非线性映射 R = h(y)。 传统卷积神经网络中非线性操作采用 sigmoid、tanh 或 softsign 等饱

9、和非线性(saturating nonlinearities)函数 ，如下为sigmoid函数图像及公式：卷积神经网络-网络模型 将单层的卷积神经网络进行多次堆叠，前一层的输出作为后一层的输入，便构成卷积神经网络。其中每 2 个节点间的连线，代表输入节点经过卷积、非线性变换、下采样 3 个阶段变为输出节点，一般最后一层的输出特征图后接一个全连接层和分类器。 在训练卷积神经网络时,最常用的方法是采用反向传播法则以及有监督的训练方式。卷积神经网络-应用及趋势 1.深度学习在大规模图像数据集中的应用深度学习在大规模图像数据集中的应用 A. Krizhevsky 等 首次将卷积神经网络应用于 Imag

10、eNet 大规模视觉识别挑战赛中，所训练的深度卷积神经网络在 ILSVRC2012 挑战赛中，取得了图像分类和目标定位任务的第一，其中，图像分类任务中错误率为 15. 3%，远低于第 2 名的 26. 2% 的错误率。 2. 深度学习在人脸识别中的应用深度学习在人脸识别中的应用 采用基于卷积神经网络的学习方法，香港中文大学的 DeepID2 项目将人脸识别率提高到了99.15%,超过目前所有领先的深度学习和非深度学习算法在 LFW 数据库上的识别率以及人类在该数据库的识别率。 3. 深度学习问题及趋势深度学习问题及趋势 单一的深度学习方法,往往并不能带来最好的效果，通常融合其他方法或多种方法进

11、行平均打分，会带来更高的精确率。因此,深度学习方法与其他方法的融合，具有一定的研究意义。基于特征的卷积神经网络 摘要 KMCNN(a convolutional neural network with k-max pooling layer)网络结构 实验分析基于特征的卷积神经网络-摘要 描述了一种新的K-MAX汇集层卷积神经网络结构，能够成功地恢复汉语句子的结构。这个网络可以捕获不可见部分有效特征衡量该部分多大可能成为构成句子部分。给定一个输入的句子，在所有可能部分的分数被计算后，一个有效的动态规划算法被用来发现最优分析树。类似的网络被应用到解析树每个节点预测语法分类。在与最新的方法在CTB

12、-5上做测试我们的方法具有优势。基于特征的卷积神经网络-网络结构输入=“政府鼓励.”特征矩阵表第一层卷积第二层卷积隐藏层输出第二层k-Max第一层k-Max基于特征的卷积神经网络-步骤步骤一步骤一：把句子映射为二进制特征向量 步骤二步骤二：每个字只与周围字有关，通过卷积层计算特征 是矩阵是二进制向量，是字符词典，是句子中一个字，是句子，MeDcckiin: 1函数是带有可训练参数其中winf是特征检测值是训练权重，bw基于特征的卷积神经网络-步骤步骤三步骤三：k-Max汇聚层产生下面矩阵步骤四步骤四：选择sigmoid函数做仿射变换，抽取非线性特征，输出块分数列行第第是jiffconjicon,值子序列（）是具有最高kkmaxyey11)(基于特征的卷积神经网络-步骤步骤五步骤五：动态规划解码-得到最优