人工智能基础 课件 6.1~6.10 自然语言处理

自然语言处理学习目标—6.1—知识目标了解自然语言处理的含义理解自然语言数字化的基本方法了解神经网络在自然语言处理中的作用项目引导—6.2—6.2.1问题引导假设有一句话：“小明和同学们经常乘地铁去动物园观看动物，去植物园观赏植物。”你可以如何将这句话转变为数字，以方便计算机处理呢？地图可以将一个地名转变为对应的经纬度数字表示，我们可以用类似方法建立一个语言地图，实现我们日常语言转换为语言地图上的坐标吗？这样是不是就可以实现语言到数字的转变了呢？6.2.2初步分析假设每个词都可以在地图上找到对应的位置，你如何将每个词数字化呢？这些数字化后的词可以比较词义关系吗？想一想知识准备—6.3—自然语言处理能实现人与计算机之间用自然语言进行有效通信，是一门融语言学、计算机科学、数学于一体的科学。它包括很多的内容，如语义分析、信息抽取、机器翻译等。其主要难点有单词之间的分界的确定、词义的消歧、句法的模糊性和有瑕疵的或不规范的输入等。6.3.1自然语言处理是什么一个解决方法就是词嵌入，即将词映射到一个向量空间，也就是将词嵌入另一个便于计算的空间。6.3.2机器如何理解自然语言6.3.3一个数字代表一个词（独热编码）

设想最简单的词嵌入表达方法，我们用自然数对应各个词。例如，要把英文数字化，假设从“a”到“zoom”有100个词，如图所示，就用1代表“a”，2代表“abbreviation”，一直到100代表“zoom”。在计算机中，为了使用方便，会将这些数字以另外一种形式存储。例如，在上面的英文数字化例子中，设计一个长度为100的由0或者1组成的数字串（向量），此数字串（向量）只有一个位置为1，其他99个位置全是0。若将1看作“热”，0看作“冷”，则这个向量只有一个位置“热”，所以叫作独热编码。6.3.3一个数字代表一个词（独热编码）“a”用1表示，独热编码后就是只有第一个位置为1；“abbreviation”用2表示，独热编码后就是第2个位置为1；“zoom”用100表示，独热编码后就是第100个位置为1。6.3.3一个数字代表一个词（独热编码）此模型可以分辨词与词之间的关系吗?想一想设想有一个小动物园，有三种动物：狮子、老虎、斑马，如果采用独热编码，这三种动物就可以分别编码为（0,0,1），（0,1,0）和（1,0,0）这样的向量。这三个向量如果放在一个三维空间中，就是如图所示的样子。

6.3.3一个数字代表一个词（独热编码）凭我们对动物的了解，狮子和老虎都是食肉动物，关系应该比跟斑马要近吧，但是从图中，我们看不出谁跟谁关系更近。这说明目前的独热编码无法解决词义关联的问题，我们需要某种方法，能告诉我们一个词和另一个词的关系有多远或者多近。6.3.3一个数字代表一个词（独热编码）6.3.4词袋模型要解决词与词之间的关系问题并不是很容易，如果只比较一段文本和另一段文本的关系呢？人们想出了另外一个简单的方法，词袋（BagofWords，BoW）模型。深入分析—6.4—神经网络语言模型（NeuralNetworkLanguageModel，NNLM）它可以采用Word2Vec等词嵌入方法，很好地捕获每个词的意义。这些方法相对之前的方法很好地表达了自然语言。6.4.1神经网络语言模型虽然Word2Vec等方法看起来十分优秀，但是在实际工作中并没有表现得十分出色。这是为什么呢？主要就是一词多义的问题。6.4.2一词多义如图沿着这个思路，我们可以得到ELMo，即EmbeddingfromLanguageModels。ELMo可以在实际使用中根据上下文动态调整词的向量表示（即语义）。6.4.2一词多义ELMo使用LSTM提取特征，那么什么是提取特征？LSTM又是什么呢？语言数字化为向量之后怎么用呢？所有向量作为特征输入某个模型吗？特征提取就像在图像识别中，我们很难将成千上万的向量输入模型中直接运算，而是想要提取出特征，然后将这些特征作为后面模型的输入。RNN特征提取ConvolutionalNeuralNetworks，CNN特征提取每一个输出不仅与当前输入有关，还和前面的输出有关。长短期记忆网络LSTM一种特殊的RNN网络，长短期记忆网络(LongShortTermMemorynetworks，LSTM)不仅仅能记住附近有什么词，还能够记住较远的词,但是长句不理想，并行计算也不好Transformer它是谷歌在2017年做机器翻译任务的“Attentionisallyouneed”论文中提出的。其中使用了Attention，即注意力机制。这就解决了LSTM的处理长句方面不太理想和并行计算能力有限这两个问题。2018年出现的BERT（BidirectionalEncoderRepresentationsfromTransformers）即在ELMo和Transformer基础上，进一步提高了自然语言处理（NLP）在各个任务中的表现。本章小结—6.5—本章介绍了不使用神经网络的传统的方法进行自然语言处理。重点是理解自然语言处理的数字化方法，了解神经网络语言模型的意义。通过使用“橙现智能”软件，读者可以完成语句的分词等基本任务，并理解在分词基础上可以进行更深入的分