Python自然语言处理 课件10-1-词嵌入算法

深度学习与自然语言处理Python自然语言处理第十章CONTENT目录

01词嵌入算法03循环神经网络02训练词向量实践04Seq2Seq模型实战课前回顾常见机器学习方法无监督学习的文本分类文本分类实战文本聚类实战深度学习概述深度学习（DeepLearning）方法基于人工神经网络（ArtificialNeuralNetwork）自动学习合适的特征与多层次的表达与输出

应用于信息抽取、词性标注、搜索引擎和推荐系统等方面使用词向量来表示各个级别的元素本章概述

深度学习算法：词嵌入

循环神经网络模型

Seq2Seq实例词嵌入算法01词向量Word2vec简介词向量模型CBOW和Skip-gram模型词嵌入算法

词嵌入算法：一种模仿动物神经网络行为特征，进行分布式并行信息处理的算法数据模型依靠系统复杂程度和调节内部大量节点之间相互连接的关系，从而达到处理信息的目的其核心为上下文表达和上下文与目标词汇之间的映射关系词向量

词向量(WordEmbedding)离散表示（One-Hot）：把每个词表示为一个长向量。这个向量的维度是词表大小，向量中只有一个维度的值为1，其余维度为0例：苹果[0，0，0，1，0，0，0，0，0，……]缺点：无法捕获词与词之间的相似性词向量

分布式表示：将每个词映射到K维实数向量，并根据词之间的距离，作为判断它们之间的语义相似度的标准word2vec模型优点：词之间存在相似关系词嵌入算法01词向量Word2vec简介词向量模型CBOW和Skip-gram模型word2vec简介

word2vec：用于训练词向量的工具神经网络语言模型（NeuralNetworkLanguageModel，简称NNLM）算法：产生词向量的相关模型NNLM模型架构word2vec简介

word2vec模型01连续词袋模型（ContinuousBag-Of-Words，简称CBOW）02Skip-Gramword2vec简介

词袋模型将所有词语装进一个袋子里，不考虑其词法和语序的问题例：JanewantstogotoShenzhen.Bob

wantstogotoShanghai.[Jane,wants,to,go,Shenzhen,Bob,Shanghai][1,1,2,1,1,0,0][0,1,2,1,0,1,1]word2vec简介语料选取语料必须充分：词量足够大，尽可能多地包含反映词语之间关系的句子语料必须准确：能够正确反映该语言的语义和语法关系word2vec简介

Skip-gram模型可以跳过某些符号例：“中国足球踢得真是太烂了”提取4个3元词组为“中国足球踢得”、“足球踢得真是”、“踢得真是太烂”、“真是太烂了”Skip-gram可以组成“中国足球太烂”word2vec简介

word2vec模型可以将文本内容的处理简化为K维向量空间中的向量运算，并且向量空间中的相似度也可以用来表达文本的语义相似度word2vec可用于聚类、找同义词、词性分析等任务word2vec简介

词向量的评价方式：1将词向量集成到系统中以提高整个系统的准确性2从语言学的角度分析词向量，例如句子相似度分析，语义偏移等词嵌入算法01词向量Word2vec简介词向量模型CBOW和Skip-gram模型词向量模型神经网络结构：词向量模型算法流程：①②③对于每个词，随机初始化一个特征向量；设计神经网络；通过数据训练神经网络以获得合理的特征向量和神经网络参数。词向量模型

词向量模型

词向量模型

词向量模型

词向量模型

词向量模型词嵌入算法01词向量Word2vec简介词向量模型CBOW和Skip-gram模型CBOW和Skip-gram模型

CBOW（ContinuousBag-Of-WordsModel）和Skip-gram模型：CBOW和Skip-gram模型

CBOW计算流程：（1）随机生成所有单词的词向量矩阵，每一行对应一个单词的向量；（2）从矩阵中提取某一个单词（中心词）的周边单词词向量；（3）求周边单词词向量的均值向量；（4）在该均值向量上用logisticregression训练，激活函数用softmax；（5）期望回归得到的概率向量能与真实的概率向