深度学习理论与实践 习题及答案 第7章

第7章选择题：1.平凡循环神经网络采用如（A）这种形式循环单元。A.B.C.D.2.（B）是自然语言处理领域的主流网络架构。卷积神经网络B.循环神经网络C.深度神经网络D.BERT3.ConvSeq2Seq中的位置向量为表示词的位置关系提供了（A）的可能性。可并行性B.可串行性C.可继承性D.可跟随性4.（A）在整个Transformer架构中处于核心地位。注意力B.可靠性C.执行速度D.准确性5.Google在NIPS上发表的（D）翻开了自然语言处理的新一页。ParsingUniversalDependencieswithouttrainingAmaximumentropyapproachtonaturallanguageprocessingMinimumErrorRateTrainingforStatisticalMachineTranslationAttentionIsAllYouNeed判断题：1.统计方法在自然语言处理领域中仍然是主流的方法。（√）2.RNNLM中，核心的网络架构是一个n-game语言模型。（×）3.机器翻译可以被看作一种条件语言模型。（√）4.人类使用的自然语言不全是以序列的形式出现的。（×）5神经网络究其本质，是一个带参函数。（√）填空题：1.自然语言处理中，最根本的问题就是语言建模。2.多层感知机对于各神经元是并行计算的。3.循环神经网络展开可以分为输出层、隐藏层和输入层。4.梯度消失和梯度爆炸的问题一般有改进优化和使用带有门限的循环单元两类办法。5.Transformer中一个编码器单元有多头的自注意层和全连接层两层。简答题：EIMo相比于早期的词向量方法有哪些改进？答：①把双向多层循环神经网络利用到极致。②加入了其他的训练任务用于调优。③采取了动态生成的办法。2.画出循环神经网络的展开形式。3.简述基于多层感知机的神经网络架构的语言学意义它实际上模拟了n-gram的条件概率，给定一个固定大小窗口的上下文信息，预测下一个词的概率。4.画出简单的编码器-解码器架构5.循环神经网络的弱点是什么？循环神经网络中，下一时步的隐状态总是取决于上一时步的隐状态，这就使得计算无法并行化，而只能逐时步地按顺序计算。应用题1.利用jieba库对给定文本词条化后的词条（token）进行打印。文本内容为：自然语言处理(NLP)是一种机器学习技术，使计算机能够解读、处理和理解人类语言。2.使用Huggingface的transformers库直接对文本进行词条化处理，不需要分词。文本内容为：对公司品牌进行负面舆情实时监测，事件演变趋势预测，预警实时触达，帮助公司市场及品牌部门第一时间发现负面舆情，及时应对危机公关，控制舆论走向，防止品牌受损。答案1.使用pip安装jieba:pipinstalljieba代码和输出如下：importjiebatext='''自然语言处理(NLP)是一种机器学习技术，使计算机能够解读、处理和理解人类语言。'''text_segment=jieba.lcut(text)print(text_segment)输出：['自然语言','处理','','(','NLP',')','','是','一种','机器','学习','技术','，','使','计算机','能够','解读','、','处理','和','理解','人类','语言','。']2.使用pip安装transformers:pipinstalltransformers代码和输出如下：fromtransformersimportAutoTokenizertext='''对公司品牌进行负面舆情实时监测，事件演变趋势预测，预警实时触达，帮助公司市场及品牌部门第一时间发现负面舆情，及时应对危机公关，控制舆论走向，防止品牌受损。'''#初始化tokenizertokenizer=AutoTokenizer.from_pretrained('bert-base-chinese')#使用tokenizer对文本进行编码inputs=tokenizer.encode(text)print(inputs)#使用tokenizer对文本编码进行解码outputs=tokenizer.decode(inputs)print(outputs)输出：[101,2190,1062,1385,1501,4277,6822,6121,6566,7481,5644,2658,2141,3198,4664,3844,8024,752,816,4028,1359,6633,1232,7564,3844,8024,7564,6356,2141,3198,6239,6809,8024,2376,1221,1062,1385,2356,1767,1350,1501,4277,6956,7305,5018,671,3198,7313,1355,4385,6566,7481,5644,2658,8024,1350,3198,2418,2190,1314,3322,1062,1068,8024,2971,1169,5644,6389,6624,1403,8024,7344,3632,1501,4277,1358,2938,119,102][CLS]对公司品牌进行负面舆情实时监测，