TensorFlow +OpenVINO 整合开发CR-A01-简介TensorFlow+OpenVINO整合开发

的角色mxnet美好的目标Al开发+布署&运维Al模型开发与OpenVino的完美结合Al模型开发布署&运维mxnet产业现况mxnet课程特色Al模型开发与OpenVino的完美结合Caffe&运维&开发&开发Al模型設計雕龍18招RNVmxnetAl模型設計雕龍18招RNVmxnetCaffe基本工作流程训练模型模型优化器转换&优化在线推理推理引擎CPU插件GPU插件知乎@孤理Optimizer训练模型转换&优化Optimizer模型优化器在线推理推理引擎CPU插件GPU插件Optimizer模型优化器推理引擎CPU插件GPU插件FPGA插件Myriad插件Optimizer模型优化器在线推理推理引擎OptimizerOptimizerPytorch→ONNXOptimizer训练好的模型/数据标记文件等设计&训练模型OpenVino提供Optimizer(使用TF/Caffe等)ML模型优化·及于CPU/GPU等frameworkUserIntelDeeplearningDevelopmenttoolkit在推理时，针对这些新数据来进行预测(推理)InteloDeeplearningDevelopmenttoolkit在推理时，需要输入新数据对输入新数据进行推论前的预处理toolkit开始进行推论toolkit进行推论后数据处理输出结果frameworkframeworkOptimizer乱，因而您需要一项懂您的工具，例如在您想听歌的时候，它推荐您喜欢的音乐，当你想去一个陌生地方时，它就为您规划一条好路线，这种工具就通帮你过滤你不感兴趣(噪声),精确锁定你希望得到的有价值的讯息。·也就是，它不需要客户有明确需求，会根据您(客户)的偏好和行为，来向您呈现您可能会感兴趣的物的喜好，以便向您荐一个您很有可能会喜欢的物·以电商购物场景为例，如果能找到一群与您相“邻居”成员，然后从这一群相似的邻居的偏好来协同分析、挖掘出您潜在的兴趣。·例如，下图里的客户A和客户B是邻居(具有高是从一群邻居的偏好来协同分析的，所以称为：协同居，然后将邻居客户喜欢的物品推荐给该客户。通称为：基于用户的协同过滤(User-basedCF,简称User这种CF能够提供给他更准确度的估算和推荐。ABABCDEFGH1基於大數據分析的CF推薦模式2客户(User)對産品(Item)的評比資料3400450156021710281119讀取評比資料124142206215222231247301333342407415431446规划Al模型ABCDEFGH1J14葡萄草莓西瓜橘子香蕉254513K3214246521751326751678AI推薦(預測評比)9规划Al模型ABCEFGHI14葡萄草莓西瓜橘子香蕉25451243K32143246521651143267511778AI推薦(預測評比)9比，并呈现出来：ABCDEFGH1J15葡萄草莓西瓜橘子香蕉25451243K321432465216511432675117789(推薦)推薦表:43322安装相矢套件·至于安装步骤，请另参阅相矢的<<安装指南>>。y4vinoA0101.py-C:\Users\misoo\AppData\Local\Programs\Python\Pytho.一importtensorflowastf00[-0.1,0.1,0.1,-0.1,0.1]],dtype=np.float32)boo=np.array([0.0,0.0,0.0,0.0dtypenpfloatbatchsize=5_#---------------Continued----------------------Ilayerencoder=Dense(H,activation='sigmoid',name='res')decoder=Dense(0,activation='linear',name='result')foriin,range(S):forjinrange(N):dtype='float32',name='examplevar')#-------------Continued-------------------#-DefiningLayers----Ilayer=Input(shape=(N,))encoder=Dense(H,activation='sigmoid',name='res')decoder=Dense(O,activation='linear',name='result')Ilayer=Input(shape=(N.))encoder=Dense(H,activation='sigmoid',decoder=iense(o,activation='1inear',name='res)#----=Dense(=Dense(0,activation='linear',name='result')h1X3y3Xy4Ydefsqdiff=tf.square(Err)returntf.reducemean(sqdiff,axis=-1)#Addingmylosslayercy=myLossLayer()([x,yo])aicfmodel=Model(x,cy)aicfpile(optimizer='rmsprop') Continued-------#----Training---aicfmodel.fit(dx,__tf.io,writegraph(frozengraph,"C:/pb/","AI0101model.pb",astext=False)print("\n----.Y(Prediction)------------")z=aicfmodel.predict(dx)zz=np.round(z*10)#.aicfmodel.fit(dx,aicfmodel.fit(dx,aicfmodel.fit(dx,batchsize=batchsize,verbose=0)45100214451002140265216100327501#-----451002140265216100327501#-----aicfmodel.fit(dx,__此程序输出(预测评比):---X(Testingdata)[[4.5.1.-1.-1.]EFGH1葡萄草莓西瓜EFGH1葡萄草莓西瓜橘子香蕉4512421432652161143275117[6.5.2.1.7.[1,-1,-1.3.2.-Y(Prediction)-[[4..][.2.[.7.][.2.][7.5,1.1.6.]]dx=dx/10aicfmodel.fit(dx,__#-----Generating*.pbfilessess=K.getsession()sess.run(tf.localvariablesinitializer())frozengraph=tf.graphutil.convertvariablestoconstants(sess,tf.getdefaultgraph(),asgraphdef(),['result/BiasAdd'])tf.io.writegraph(frozengraph,"C:/pb/","AI0101model.pb",astext=False)tf.io.writegraph(frozengraph,"C:/pb/","AI0101model.pbtxt",astext=True)print("\n----X(Testingdata)----------")print(TX)print("\n--:-,Y(Prediction)------------")z=aicfmodel.predict(dx)zz=np.round(z*10)OptimizerPytorch→ONNX入行优化动作。使用<<优化器>>型进行优化。·模型优化器支持的深度学习框架有：使用<<优化器>>使用<<优化器>>BN+Relu),以及内存优化。RunOptimizerEngine.xml.binOpenVINO"操作范例：延续刚才的Al推荐模型ABCDEFGHIJ15葡萄草莓西瓜橘子香蕉25451243K321432465216511432675117789(推薦)推薦表:43322操作流程：起步·在上一阶段里，已经从TensorFlow汇出*pb档案了，步骤-1:进入优化器的工作区1.3从上述画面上，点选<以系统管理员身分执行>,就会出现命令行窗口：MicrosoftWindows[版本10.0.16299.2166]1.4输入命令：cd"C:\ProgramFiles(x86)\IntelSWTools\openvino\deploymenttools\modeloptimizer"并且按<Enter>。1.5就进入到模型优化器(ModelOptimizer)的工作区了：管理员：命令提示符MicrosoftWindows[版本10.0.16299.2166]WindowssystemcdPrograProgramFilesIntelSWToolsopenvinodep步骤-2:展开优化2.1输入命令：ProgramFilesIntelSWT●这指示它：刚才从TensorFlow所产生的*.pb档案是--“C:\\pb\\A0101mode.pb”。●也告诉它：转换出来的IR档案的储存路径(活页夹),例如指定放在”C:\\pb\\”里。输入资料的格式是：[1,5]。2.2优化完成了●完成时，会出现画面：SUCCESS]Totalexecutiontime:6.61seconds.It'sbeenawhile,checkforanewversionofIntel(R)DistributionofOpenVINO(com/en-us/openvino-toolkit/choose-download?cid=&source=upgrade&content=20203LTProgramFilesIntelSWTools●此时优化器将PB模型文件，成功地转换出IR档案了。●这里所谓的IR档案，就包括了这3个档案：入步骤-3:圆满成功推论引擎推论引擎使用推论引擎(IR)Optimizer使用推论引擎(IR)使用推论引擎(IR)该套件可以将各种开源框架训练好的模型进行在OpenCV,视频处理工具包MediaSDK。使用推论引擎(IR)·在做推理的时候，大多数情况需要前处理和后处理，前处理如通道变换，取均值，要将检测框等特征迭加至原图等，都可以使用OpenVINO工具套件里的API接口完使用推论引擎(IR)使用推论引擎(IR)使用推论引擎(IR)使用推论引擎(IR)ABCDEFGH1J15葡萄草莓西瓜橘子香蕉25451243K321432465216511432675117789(推薦)推薦表:43322使用推论引擎(IR)·在上一阶段里，已经从Optimizer汇出IR档案了，其路________步骤-1:开始撰写Python代码vinoA0101app.py-C:\UsersmisooAppDataLocalProgramsPythonmodelxml="C:\\pb\\A0101model.xml"modelbin="C:\\pb\\A0101model.bin"net=ie.readnetwork(model=modelxml,weights=modelbin)supportedlayers=ie.querynetwork(network=net,devicename="CPU")ie.loadnetwork(net,"CPU")print("IRsuccessfullyloadedintoInferenceEngine,")net=ie.readnetwork(model=modelxml,weights=modelbin)supportedlayers=ie.querynetwork(network=net,devicename="CPU")读取并加载IR檔步骤-1:开始撰写Python代码InputInfoPtr=net.inputinfoInputLayer=next(iter(InputInfoPtr)),