深度学习及自动驾驶应用 课件 第7章 循环神经网络及自动驾驶车辆换道行为预测

Chapter7循环神经网络及自动驾驶车辆换道行为预测第七章DeepLearningAndAutonomousDriving深度学习与自动驾驶应用DeepLearningAndAutonomousDriving深度学习与自动驾驶应用第2页7.4扩展到图结构7.1循环神经网络概述7.3深层模型7.2应用到机器学习7.5循环网络应用目录ContentDeepLearningAndAutonomousDriving深度学习与自动驾驶应用第3页7.1循环神经网络概述前馈网络：连接存在层与层之间，每层的节点之间是无连接的。（无循环）输入和输出的维数都是固定的，不能任意改变。无法处理变长的序列数据DeepLearningAndAutonomousDriving深度学习与自动驾驶应用第4页7.1循环神经网络概述前馈网络：假设每次输入都是独立的，也就是说每次网络的输出只依赖于当前的输入。DeepLearningAndAutonomousDriving深度学习与自动驾驶应用第5页7.1循环神经网络概述有限状态自动机（FiniteAutomata）如何用FNN去模拟一个有限状态自动机？DeepLearningAndAutonomousDriving深度学习与自动驾驶应用第6页7.1循环神经网络概述图灵机一种抽象数学模型，可以用来模拟任何可计算问题。DeepLearningAndAutonomousDriving深度学习与自动驾驶应用第7页7.1循环神经网络概述可计算问题可计算问题函数

有限状态机图灵机前馈网络需要记忆能力通用近似定理如何给网络增加记忆能力？DeepLearningAndAutonomousDriving深度学习与自动驾驶应用第8页7.1循环神经网络概述如何给网络增加记忆能力？延时神经网络（TimeDelayNeuralNetwork，TDNN）建立一个额外的延时单元，用来存储网络的历史信息（可以包括输入、输出、隐状态等）这样，前馈网络就具有了短期记忆的能力。/publication/12314435_Neural_system_identification_model_of_human_sound_localizationDeepLearningAndAutonomousDriving深度学习与自动驾驶应用第9页7.1循环神经网络概述如何给网络增加记忆能力？/publication/12314435_Neural_system_identification_model_of_human_sound_localization

DeepLearningAndAutonomousDriving深度学习与自动驾驶应用第10页7.1循环神经网络概述非线性自回归模型/publication/12314435_Neural_system_identification_model_of_human_sound_localization/publication/234052442_Braking_torque_control_using_reccurent_neural_networksDeepLearningAndAutonomousDriving深度学习与自动驾驶应用第11页7.1循环神经网络概述循环神经网络（RecurrentNeuralNetwork，RNN）/publication/12314435_Neural_system_identification_model_of_human_sound_localization循环神经网络通过使用带自反馈的神经元，能够处理任意长度的时序数据。循环神经网络比前馈神经网络更加符合生物神经网络的结构。循环神经网络已经被广泛应用在语音识别、语言模型以及自然语言生成等任务上活性值状态第12页7.1循环神经网络概述循环神经网络（RecurrentNeuralNetwork，RNN）按时间展开第13页7.1循环神经网络概述简单循环网络（SimpleRecurrentNetwork，SRN）状态更新：一个完全连接的循环网络是任何非线性动力系统的近似器。第14页7.1循环神经网络概述循环神经网络作用输入-输出映射机器学习模型（本节主要关注这种情况）存储器联想记忆模型第15页7.1循环神经网络概述循环神经网络作用输入-输出映射机器学习模型（本节主要关注这种情况）存储器联想记忆模型DeepLearningAndAutonomousDriving深度学习与自动驾驶应用第16页7.4扩展到图结构7.1循环神经网络概述7.3深层模型7.2应用到机器学习7.5循环网络应用目录Content第17页7.2应用到机器学习序列到类别同步的序列到序列模式异步的序列到序列模式第18页7.2应用到机器学习序列到类别第19页7.2应用到机器学习序列到类别：情感分类…我觉太得好了带着愉悦的心情看了这部电影这部电影太糟了这部电影很棒Positive(正面)Negative(负面)Positive(正面)…第20页7.2应用到机器学习同步的序列到序列模式第21页7.2应用到机器学习同步的序列到序列模式：中文分词他说实的在理确SSESBEB第22页7.2应用到机器学习同步的序列到序列模式：信息抽取(InformationExtraction，IE)从无结构的文本中抽取结构化的信息，形成知识小米创始人雷军表示，该公司2015年营收达到780亿元人民币，较2014年的743亿元人民币增长了5%。第23页7.2应用到机器学习同步的序列到序列模式：信息抽取(InformationExtraction，IE)ConnectionistTemporalClassification

(CTC)[AlexGraves,ICML’06][AlexGraves,ICML’14][HaşimSak,Interspeech’15][JieLi,Interspeech’15][AndrewSenior,ASRU’15]好φφ棒φφφφ好φφ棒φ棒φφ“好棒”“好棒棒”语音识别第24页7.2应用到机器学习异步的序列到序列模式第25页7.2应用到机器学习异步的序列到序列模式：机器翻译learningmachine机习器学。第26页7.2应用到机器学习参数学习机器学习给定一个训练样本(x,y)，其中x=(x1,…,xT)为长度是T的输入序列，y=(y1,…,yT)是长度为T的标签序列。时刻t的瞬时损失函数为总损失函数第27页7.2应用到机器学习梯度随时间反向传播算法

δt,k为第t时刻的损失对第k步隐藏神经元的净输入zk的导数第28页7.2应用到机器学习梯度消失/爆炸梯度其中由于梯度爆炸或消失问题，实际上只能学习到短周期的依赖关系。这就是所谓的长程依赖问题。第29页7.2应用到机器学习长程依赖问题循环神经网络在时间维度上非常深！梯度消失或梯度爆炸如何改进？梯度爆炸问题权重衰减梯度截断梯度消失问题改进模型第30页7.2应用到机器学习长程依赖问题改进方法循环边改为线性依赖关系增加非线性残差网络？第31页7.2应用到机器学习长短期记忆神经网络（LongShort-TermMemory,LSTM）第32页7.2应用到机器学习LSTM的各种变体没有遗忘门耦合输入门和遗忘门peephole连接第33页7.2应用到机器学习GatedRecurrentUnit,GRU更新门重置门DeepLearningAndAutonomousDriving深度学习与自动驾驶应用第34页7.4扩展到图结构7.1循环神经网络概述7.3深层模型7.2应用到机器学习7.5循环网络应用目录Content7.3深层学习堆叠循环神经网络7.3深层学习双向循环神经网络DeepLearningAndAutonomousDriving深度学习与自动驾驶应用第37页7.4扩展到图结构7.1循环神经网络概述7.3深层模型7.2应用到机器学习7.5循环网络应用目录Content7.4扩展到图结构序列循环神经网络树递归神经网络图图网络7.4扩展到图结构树结构程序语言的句法结构7.4扩展到图结构树结构自然语言的句法结构7.4扩展到图结构递归神经网络RecursiveNeuralNetwork递归神经网络实在一个有向图无循环图上共享一个组合函数7.4扩展到图结构递归神经网络RecursiveNeuralNetwork退化为循环神经网络7.4扩展到图结构递归神经网络RecursiveNeuralNetwork给定一个语法树，p2

→ap1,p1

→bc.7.4扩展到图结构图网络在实际应用中，很多数据是图结构的，比如知识图谱、社交网络、分子网络等。而前馈网络和循环网络很难处理图结构的数据。7.4扩展到图结构图数据/pdf/1806.01261.pdf7.4扩展到图结构图网络7.4扩展到图结构图网络7.4扩展到图结构图网络对于一个任意的图结构G(V,E)更新函数读出函数DeepLearningAndAutonomousDriving深度学习与自动驾驶应用第49页7.4扩展到图结构7.1循环神经网络概述7.3深层模型7.2应用到机器学习7.5循环网络应用目录Content7.5循环网络应用语言模型

N元语言模型7.5循环网络应用语言模型7.5循环网络应用生成LINUX内核代码7.5循环网络应用作词机RNN在“学习”过汪峰全部作品后自动生成的歌词/phunterlau/wangfeng-rnn我在这里中的夜里就像一场是一种生命的意旪就像我的生活变得在我一样可我们这是一个知道我只是一天你会怎吗可我们这是我们的是不要为你我们想这有一种生活的时候7.5循环网络应用作诗7.5循环网络应用传统统计机器翻译

7.5循环网络应用基于序列到序列的机器翻译一个RNN用来编码另一个RNN用来解码7.5循环网络应用看图说话7.5循环网络应用看图说话7.5循环网络应用VisualQuestionAnswering(VQA)

DemoWebsiteVQA:Givenanimageandanaturallanguagequestionabouttheimage,thetaskistoprovideanaccuratenaturallanguageanswerPicturefrom(Antoletal.,2015)7.5循环网络应用