TensorFlow +OpenVINO 整合开发CR-A12-鉴往知来- RNN(循环神经网路)

_1.时间序列数据与RNN3.训练RNN:正向推演4.训练RNN:反向传播5.RNN医疗应用：搭配NLP6.RNN模型设计范例：以血铁沉积模型为例7.观摩RNN模型的训练流程9.优化模型：使用OpenVINO优化器10.测试模型：使用OpenVINO推论引擎时间序列数据与RNN模型时间序列数据介绍时间序列资料(数据)赖的。时间序列数据以学校宿舍餐厅为例期一到星期五不断地循环。·如果昨天吃披萨，今天就是寿司；如果昨天吃寿司，今天就会是松饼，非常有规律。如下图：以学校宿舍餐厅为例·每天晚餐都從3種餐點中，選取其一來提供給學生們。sushiyesterday以学校宿舍餐厅为例·如果學生問CRM:每天晚餐預計會提供何種餐點呢?入，還不知道呀。以学校宿舍餐厅为例·如果學生問NLP:每天晚餐預計會提供何種餐點呢?·NLP回答：今天餐廳没開張，還没有正確答案呀。但是，從過去幾周的歷史數據看來，似乎twodaysagoyesterdaypizza以学校宿舍餐厅为例·所以，我猜今天晚餐很可能會提供夀司餐點。时间序列数据·如果您昨天不在宿舍里吃晚餐，那么您是否就无法推测今天晚上将是什么餐点?·当然可以的。因为您可以利用前天晚上的餐点资料，来预测昨天晚上的餐点。然后，也就能预测今晚的餐点了。·所以，我们不只能利用昨天晚上的餐点来预测今晚的餐点，而且还能利用今晚预测的结果，来进一步的明天、后天的晚餐，等等。yesterdaypizza时间序列数据predictedwafflesforyesterday○sushi时间序列数据昨晚的预测，可以推论出今晚的预测值AA二AAA×A/~tingwuwang/rnntutorial.pdfhttps;//calvinfeng.gitbookio/machine-learning-notebook/supervised-learning/https;//calvinfeng.gitbookio/machine-learning-notebook/supervised-learning//a-beginners-guide-on-recurrent-neura/-networks-with-pytorch/RNN基本计算方法RNN基本计算方法1RNN基本计算方法11wphohoWwphoW[1,1]t-2WOwphoho[y0]y0WOwphoRNN基本计算方法W1W1wpHiddenWW000wpHiddenWWWWX21WWWX21WW1W1WwpHidden1W1WW1W1WW1W1W1W1WW=0.81W1WWWWWWW11WWWWW11=0.711RNN基本计算方法RNN基本计算方法RNN基本计算方法Processing)是人工智慧的一项分支，它使电脑能够理解和解释人类的语音和文句，更善解人意。集，将资料组织为更具逻辑性的形式，例如将文本量，让NLP系统更易于探索资料里潜藏的规律。irregularheartbeats(arrhythmias)."此程式输出：heartbeats(arrhythmias).']heartbeats(arrhythmias)."2.将分解出来的Sentences,存入档案里：此程式诞生一个档案：文字文件(1)档案的内容：Myjointsfeelsopain.Ihaveheartflutters,andirregularheartbeats(arrhythmias).RESTARTUsersTomAppDataLocalProgramsP[('I',3),(feelpainhaveMyjoints,1),('so',1),('heartfluttersandirregular('heartbeats(arrhythmias).'littlebitabdominalusually',1),('lack',1),('of',1),('energy.',1),('',#BERT范例程式#设置预训练模型的路径configpath=os.path.join(pretrainedpath,"bertconfig.json')checkpointpath=os.path.join(pretrainedpath,bertmodel.ckpt)vocabpath=os.path.join(pretrainedpath,'vocab.txt)#构建字典#(接续上页)#载入预训练模型fromkerasbertimportloadtrainedmodelfromcheckpoint#提取特征predicts=model,predict([np.array([indices]),np.array([segments])][0]BERT模型的使用主要有两种用途：·当作文本特征提取的工具，类似Word2vec模型一样===RESTART:C:/Users/Tom/AppData/Local/Programs/Python/Python36/txx05.py===[CLS][-0.21009989082813263,0.22673292458057404,-0.13677680492401123,0.03907008469104767,0.7898624539375305]我[0.7921491861343384,0.10040614008903503,0.22747650742530823,-0.09929467737關[0.17062997817993164,0.13864503800868988,-0.30594873428344727,0.1217014566節[0.8748294711112976,-0.04525848850607872,-0.02020929753780365,0.8299053907痛[0.5487751960754395,-0.10608281940221786,-1.2462304830551147,-0.0103497654·作为一个可训练的层，后面可接入客制化的网路，做迁移学习BERT可以很好的解决sentence-level的建模问任务，像诗词对句的Fine-tuning应用情境·如·医疗资料挖掘发展迅速，然而过去许多医疗数据(如电子病历资料)仍然以自然语言文本形式存在。·由于自然人的学习能力有限，因此通过NLP来辅助汇集医疗知识和资料挖掘的工作，然后将知识提炼出来，萃取有用资讯，最终形成Al智慧。>##stoい生物NER,是从生物医学文本中识别出指定类型的名称，比如基因、蛋白质、核糖核酸、去氧核糖核酸、疾病、细胞、药物的名称等。由于生物医学文献的规模庞大，各种专有名词不断涌现，一个专有名词往往有很多同义词，而且普遍存在大量的缩写词，人工识别费时费力，因此如何对命名实体进行识别就变得尤为重要。命名实体识别是文本挖掘系统中的一个重要的基础步骤，命名实体识别的准确程度是其他文本挖掘技术如信息提取或文本分类等的先决条件。6.将刚才<血铁沉积症>的Named-Entities(即Words)出现频率，以及向量，做为Al模型的X空间资料。檔案常用插入CD校閲檢視L23456789關節痛201010112000101110001000腹痛010010010111模行了：檔案A123456789常用插入版面配置公式资料校開横视關節痛2關節痛201010心律不整112000101110體重消失001000腹痛010010疲务010111完成了!0:無症狀来学习人类专家的果因性智慧。程度6项症状檔案常用插入版面配置資料校開檢視123456789X(症状組合)關節痛心律不整膚色變化E體重消失0010002:顯著F腹痛010010这个果因性Al模型，搭配其他Regression因果性Al模型，成为美好的组合：·一个做因果性思考，另一个做果因性思考。常常可以帮助人类更多。:输入(层)特征器官输血量器官输血量排铁剂量H值各器官因输血而受到影响。输血方案。·人的期望：从果追溯其因，然后提出来改善因，就能改变果。于是，人机共舞模式是：·Al基于单纯回归模型：找出因果性，就能提出风险预警，来帮助人类。·人的任务：基于Al的预警，从果追溯其真正的因，然后改善因，来改变果。不一定是真正的<因果性>。·真正的因果性：仍完全依赖于人类专家。改善的途径之一是：的果因性智慧。例如，让Al像人类专家一样，从输血前的ECG心电图，可以删除患者心悸是来自心脏机能萎缩之因，就能更确定患者心悸，主要是源于输血之因。朴素的RegressionModel只依赖资料相矣性，并无法像人类一样进行<果因性>如果缩小上述模的范围：因输血而出现的血铁沉积症状，如：心悸、矣节痛、疲倦、体重消失等。输血方案。来改善因，就能改变果。H值练习一下：增添一个搭配的Al模型：来学习人类专家6项症状檔案常用插入版面配置資料校開檢視123456789X(症状組合)關節痛心律不整膚色變化E體重消失0010002:顯著F腹痛010010症狀模型-1初期H值輸血量輸血量排鐵劑量程度程度以血铁沉积为例伤害，尤其是心脏与肝脏，甚至可能造成生命的危险。一位长期输血者的时序性数据，如下：ABCDEFGHIJKLM1X(t-1)X(t)2血鐵沉積程度翰血量排鐵劑量血鐵沉積程度翰血量排鐵劑量血鐵沉積程度翰血量排鐵劑量3T(目標值)4412210320234567&1234567&ABC2D2E1F0G沉積程度3HX(t)2I0W沉积程度输血量排ABCDEFGHM1X(t-2)X(t-1)2血鐵沉積程度翰血量排鐵劑量血鐵沉積程度翰血量排鐵劑量血鐵沉積程度翰血量排鐵劑量3T(目標值)44122103202345678123456789000初期值12345678913AB44C排鐵DEFGH排鐵wpW412345678913AB4C排鐵D血鐵EF排鐵G血鐵HI0血铁沉积程度W输血量输血量排铁剂量412345678913AB4C排鐵D血鐵EF排鐵G血鐵HI0血铁沉积程度血铁4W输血量排铁剂量2C2C2ABH翰血量212342沉積程度翰血量F0G35678翰入層翰入層420W2==->2123456789AB42劑量沉積程度翰血量排鐵血鐵劑量沉積程度翰血量翰入層隠藏層排鐵血铁2血铁沉积程度W输血量排铁剂量0血铁血铁沉积程度ABCDEFGHIJKLM1X(t-1)2血鐵沉積程度翰血量排鐵劑量血鐵沉積程度翰血量排鐵劑量血鐵沉積程度翰血量排鐵劑量3T(目標值)441221032023456789翰入層隠藏層tZerror412000022103血铁4W输血量排铁剂量2123456789AB2311220000.54451F0G3H20wp血铁沉积程度血铁沉积程度W输血量排铁剂量2血铁血铁ABCDEFGHIJKLM1X(t-1)2血鐵沉積程度翰血量排鐵劑量血鐵沉積程度翰血量排鐵劑量血鐵沉積程度翰血量排鐵劑量3T(目標值)441221032023456789翰入層隠藏層tZ4120000221033204W输血量输血量排铁剂量血铁血铁沉积程度ABCDEFGHIJKLM1X(t-1)2血鐵沉積程度翰血量排鐵劑量血鐵沉積程度翰血量排鐵劑量血鐵沉積程度翰血量排鐵劑量3T(目標值)441221032023456789翰入層隠藏層tZ4120000221033204血铁W输血量排铁剂量此模型的输入值与目标值观摩RNN模型的训练流程e5Nphoo天字洲到pojtpont.l范例实现ABCDEFGHIJKLM1X(t-1)23血鐵沉積程度翰血量排鐵劑量血鐵沉積程度翰血量排鐵劑量血鐵沉積程度翰血量排鐵劑量T(目標值)441221032023456789翰入屑隠藏層tZerror412000022103(t-2)血铁(t-1)血铁(t)血铁沉积程度沉积程度沉积程度(t-3)血铁(t-2)(t-2)(t-2)血铁(t-1)(t-1)(t-1)血铁(t)(t)沉积程度输血量排铁剂量沉积程度输血量排铁剂量沉积程度输血量排铁剂量W(t-2)血铁(t-1)(t-1)(t-1)血铁(t)(t)沉积程度输血量排铁剂量沉积程度输血量排铁剂量沉积程度WW排铁剂量沉积程度WWW输血量排铁剂量沉积程度W(t)(t)输血量排铁剂量(t-3)血铁(t-2)(t-2)沉积程度输血量沉积程度输血量沉积程度输血量排铁剂量详细的权重(W),表示如下图：设定h[]X0x1X2X0x1X2yWimporttensorflowastfclassMinimalRNNCell(Layer):definit(self,__stanel)H层的计算ph=continuedN0layer=Dense(1,name='result')ALayer=Activation('linear',name='outlaye#createRNNmodelx=准备#Trainingdatanp,array([[[4,1,2]][2,1,0][0,2,0][2,3,0][[2,1,1],[1,1,0],{3,i,i}}j,np.array([[4][1]2[2]],dtype=np.float32)汇出['result/BiasAdd'])tf.io.writegraph(frozengraph,"C:/pb/","rnnmodel.pb",astext=False)tf.io.writegraph(frozengraph,"C:/pb/","rmnmodel.pbtxt"print(np.round(zo,1))进行推论输出结果：输出结果：优化模型：行优化动作。将模型优化，然后输出IR档案·刚才已经从TensorFlow汇出*pb档案了