用深度学习解决自然语言处理中的7大问题 - 光环大数据培训-

1、http:/hadoop.aura-用深度学习解决自然语言处理中的7大问题_光环大数据培训本文讲的是用深度学习解决自然语言处理中的7大问题,文本分类、语言建模、机器翻译等,自然语言处理领域正在从统计学方法转向神经网络方法。在自然语言中,仍然存在许多具有挑战性的问题。但是,深度学习方法在某些特定的语言问题上取得了state-of-the-art的结果。不仅仅是在一些benchmark 问题上深度学习模型取得的表现,这是最有趣的;事实上,单个模型可以学习单词的含义和执行语言任务,从而避免需要一套专门的、人工的方法。这篇文章将介绍深度学习方法正在取得进展的7类有趣的自然语言处理任务。文本分类语言建模

2、语音识别字幕生成机器翻译文档摘要问题回答每个任务都提供了对问题的描述,一个例子,以及有关演示方法和结果的论文的引用。大多数参考资料来自Goldberg的A Primer on Neural Network Models for Natural Language Processing(/abs/1510.00726。1. 文本分类给定一个文本的例子,预测一个预定义的类标签。http:/hadoop.aura-文本分类的目的是对文档的话题或主题进行分类。统计自然语言处理基础(Foundations of Statistical Natural Language Pr

3、ocessing,1999流行的分类示例是情绪分析,其中类标签表示源文本的情绪基调,例如“积极”或“消极”。以下是另外3个例子:垃圾邮件过滤,将电子邮件文本分类为垃圾邮件。语言识别,对源文本的语言进行分类。流派分类,对虚构故事的流派进行分类。此外,这个问题也可能是一个文本被分为多个类的方式,即所谓的多标签分类。例如,预测源推文的多个标签。更多阅读:文本分类-学术百科/article/Text_categorization文档分类-维基百科/wiki/Document_classification下面是有关文本

4、分类的一些深度学习论文:对烂番茄影评的情感分析http:/hadoop.aura-Deep Unordered Composition Rivals Syntactic Methods for Text Classification, 2015. /miyyer/pubs/2015_acl_dan.pdf对amazon产品评论、IMDB电影评论和分类主题新闻文章情绪分析Effective Use of Word Order for Text Categorization with Convolutional Neural Networks, 2015. htt

5、ps://abs/1412.1058对电影评论的情绪分析,将句子归类为主观或客观,对问题类型进行分类,对产品评论的情感进行分类,等等。Convolutional Neural Networks for Sentence Classification, 2014. /abs/1408.58822. 语言建模语言建模实际上是一个更有趣的自然语言问题的子任务,特别是那些在其他输入条件下调节语言模型的问题。这个问题是根据前面的单词预测下一个单词。该任务是语音识别或光学字符识别(OCR的基础,也用于拼写校正、手写识别和统计机器翻译。Foundations

6、 of Statistical Natural Language Processing (page 191, by Christopher D. Manning & Hinrich Schtze除了语言建模的学术兴趣,它是许多深度学习自然语言处理架构的关键组成部分。语言模型学习词汇之间的概率关系,生成在统计上与源文本一致的新的词汇序列。http:/hadoop.aura-单独来说,语言模型可以用于文本或语音生成;例如:生成新的文章标题生成新的句子、段落或文档生成一个句子的后续句子有关语言建模的更多内容,参阅:语言建模-维基百科/wiki/Langu

7、age_model循环神经网络的不合理有效性(The Unreasonable Effectiveness of Recurrent Neural Networks2015基于生成模型的文本到语音合成 e 10 Text to Speech.pdf下面是一个关于语言建模深度学习例子:英语文本、书籍和新闻文章的语言模型一种神经概率语言模型(A Neural Probabilistic Language Model /papers/v3/bengio03a.html3.语音识别语音识别是指理解所说的问题。语音识别的任务是将一个包含自然语言话语的声音信号映射到说话者预期的相应

8、序列。深度学习(page 458http:/hadoop.aura-给定话语的音频数据,语音识别模型需要生成人类可读的文本。考虑到这个过程的自动性质,这个问题也可以被称为自动语音识别(ASR。使用语言模型来创建文本输出,该输出基于音频数据。一些例子包括:转录讲话为电影或电视节目制作文字说明开车时用语音发出指令有关语音识别的更多信息,请参阅:语音识别-维基百科/wiki/Speech_recognition下面是三个用于语音识别的深度学习方法的例子:英语语音转文本Connectionist Temporal Classification: Label

9、ling Unsegmented Sequence Data with Recurrent Neural Networks,2006/graves/icml_2006.pdfSpeech Recognition with Deep Recurrent Neural Networks, 2013./abs/1303.5778Exploring convolutional neural network structures and optimization techniques for speech recognition, 20

10、14. nvolutional-neural-network-structures-and-optimization-techniques-for -speech-recognition/http:/hadoop.aura-4. 字幕生成字幕生成是有关描述图像内容的问题。给定例如照片等数字图像,生成图像内容的文本描述。语言模型用于创建以图像为条件的描述。一些例子包括:描述场景内容创建照片标题描述视频这不仅仅是为听力障碍者的应用,而且还可以生成可用于搜索图像和视频的具有可读性的文本,例如在网络上。以下是3个字幕生成深入学习方法的例子:生成照片标题Show, Attend and Tell: Ne

11、ural Image Caption Generation with Visual Attention, 2016./abs/1502.03044Show and tell: A neural image caption generator, 2015./abs/1411.4555生成视频字幕Sequence to Sequence Video to Text, 2015./abs/1505.004875. 机器翻译http:/hadoop.aura-机器翻译是将一种语言的源文本转换为另一种语言的问

12、题。机器翻译,将文本或语音从一种语言自动翻译成另一种语言,是NLP最重要的应用之一。统计自然语言处理基础,463页,1999。考虑到神经网络的使用,这一领域也被称为神经机器翻译。在机器翻译任务中,输入已经由某种语言的符号序列组成,并且计算机程序必须将其转换成其他语言的符号序列。这通常适用于自然语言,例如从英语翻译成法语。深度学习最近开始在这类任务上有重要影响。深度学习,98页,2016语言模型用于以另一种语言输出目标文本,以源文本为条件。一些例子包括:将文本文件从法语翻译成英语将西班牙语音频转换为德语文本将英语文本翻译成意大利语音频有关神经机器翻译的更多信息,参阅:神经机器翻译-维基百科htt

13、ps://wiki/Neural_machine_translation以下是机器翻译深度学习方法的3个例子:将英语翻译成法语http:/hadoop.aura-Sequence to Sequence Learning with Neural Networks, 2014./abs/1409.3215Neural Machine Translation by Jointly Learning to Align and Translate, 2014./abs/1409.0473Joint Lang

14、uage and Translation Modeling with Recurrent Neural Networks, 2013. ge-and-translation-modeling-with-recurrent-neural-networks/6. 文档摘要文档摘要是创建文本文档的简短描述的任务。即,使用语言模型来输出基于完整文档的总结性摘要。文件摘要的一些例子包括:创建文档的标题创建文档的概要有关该主题的更多信息,请参阅:Automatic summarization-维基百科/wiki/深度学习是否(成功地被应用于自动文本摘要? t-

15、summarization-successfullyhttp:/hadoop.aura-以下是关于文档摘要深度学习方法的3个例子:新闻文章中的句子概要:A Neural Attention Model for Abstractive Summarization, 2015./abs/1509.00685Abstractive Text Summarization Using Sequence-to-Sequence RNNs and Beyond, 2016./abs/1602.06023Neural Summarization

16、by Extracting Sentences and Word, 2016./abs/1603.072527. 问题回答问题回答是给出一个主题(例如文本文档回答有关该主题的具体问题的任务。一些例子:回答有关维基百科页面的问题回答有关新闻文章的问题回答有关病例的问题参阅:Question answering 维基百科/wiki/Question_answering回答有关新闻文章的问题Teaching Machines to Read and Comprehend, 2015.papers.nips.cc/paper

17、/5945-teaching-machines-to-read-and-comprehenhttp:/hadoop.aura-d回答一般知识问题Question Answering over Freebase with Multi-Column Convolutional Neural Networks, 2015./anthology/P15-1026回答基于特定文件的实质性问题Deep Learning for Answer Sentence Selection, 2015.为什么大家选择光环大数据!大数据培训、人工智能培训、Python培训、大数据培训机构、大数据培训班、数据分析培训、大数据可视化培训,就选光环大数据!光环大数据,聘请大数据领域具有多年经验的讲师,提高教学的整体质量与教学水准。讲师团及时掌握时代的技术,将时新的技能融入教学中,让学生所学知识顺应时代所需。通过深入浅出、通俗易懂的教学方式,指导学生较快的掌握技能知识,帮助莘莘学子实现就业梦想。光环大数据启动了推进人工智能人才发