北风大数据o2o十三期课程-03.课堂循环神经网络

法 品法EDUCATIONTOCREATEABRIGHT 课 咨循环神经网络

品EDUCATIONTOCREATEABRIGHT

品EDUCATIONTOCREATEABRIGHT认真听，善摘录，勤思多温故，乐实践，再发 不请 ，不拖延作“四不原

品EDUCATIONTOCREATEABRIGHT 品 EDUCATIONTOCREATEABRIGHT应用场RNN描

品EDUCATIONTOCREATEABRIGHT

品EDUCATIONTOCREATEABRIGHT语言模型与文本生

品EDUCATIONTOCREATEABRIGHTInput

Hidden Hidden

Output

品EDUCATIONTOCREATEABRIGHT为什么 神经网络 N的输入输出都是互相独立的；但是实际应用中有些场景输出内容和之的内容是有关联RNN引入 ”的概念；循环指其每一个元素都执行相同的任务，但是输出依赖于输和 ”

品EDUCATIONTOCREATEABRIGHTXt是时间t处的输

品EDUCATIONTOCREATEABRIGHTSt是时间t处的 ”，St=f(UXt+WSt-1)，f可以是非线性转换函数，比如tanhOt是时间t处的输出，比如是预测下一个词的话，可能是softmax输出的属于每个候选概率

品EDUCATIONTOCREATEABRIGHT

品EDUCATIONTOCREATEABRIGHT

品EDUCATIONTOCREATEABRIGHTBidirectionalRNN(双向RNN)假设当前t行预测；BidirectionalRNN是一个相对简单的RNNs，由两个RNNs上下叠加在

品EDUCATIONTOCREATEABRIGHTDeepBidirectionalRNN(深度双向RNN)类似BidirectionalRNN

品EDUCATIONTOCREATEABRIGHT 版的算法叫做BackpropagationThroughTime(BPTT)；BPTT算法和BP算法 ˆ Etyt,ˆtytlogˆ

品EDUCATIONTOCREATEABRIGHTˆtˆ

E

yˆ 3 3 3

3 3 s3

sttanhUxtWst1

k0

s3sk

品EDUCATIONTOCREATEABRIGHT 3 k0

yˆ3s3s3sk

k0

jk1sj1

品EDUCATIONTOCREATEABRIGHT LSTM的 细胞”是改造过该记录的信息会一直传递，不该记录的信息会被截断

品EDUCATIONTOCREATEABRIGHT

品EDUCATIONTOCREATEABRIGHT

品EDUCATIONTOCREATEABRIGHT

品EDUCATIONTOCREATEABRIGHT细胞状态类似于传送带。直接在整个链上运行，只有一些少量的 互。信息在上面传保持不变很容

品EDUCATIONTOCREATEABRIGHTLSTM可以通过gates(“门”)结构来去除或者增加“细胞状态”的信包含一个sigmoid神经网络层次和一个pointwist乘法Sigmoid层输出一个0到1之间的概率值，描述每个部分有多少量可以通过，0表示“不许任务变量通过”，1表示“运行所有变量通过LSTM中主要有三个“门”结构来控制“细胞状态

品EDUCATIONTOCREATEABRIGHT

品EDUCATIONTOCREATEABRIGHTSigmoid层决定什么

品EDUCATIONTOCREATEABRIGHT更新Ct-1为将旧状态与ft相乘，丢失掉确定不要的信加上新的候选值it*Ct得到最终更新后的“细胞状态

品EDUCATIONTOCREATEABRIGHT首先运行一个sigmoid层来确定细胞状态的那个部分将输ta处理细胞状态得到一个-1到1之间的值，再将它和imoi门的输出相乘，输出

品EDUCATIONTOCREATEABRIGHT增加“peepholeconnections让门层也接受细胞状态的输

品EDUCATIONTOCREATEABRIGHT通过耦合忘记门和更新输入门(第一个和第二个门)；也就是不再单独的考虑忘记什加什么信息，而是一起进行考虑

品EDUCATIONTOCREATEABRIGHTGatedRe