TensorFlow +OpenVINO 整合开发CR-A09-ML的创作技能-补值(Imputation)

0.从补值、插值到创作1.善用AE(Autoencoder)模型2.AE的学习和推论3.AE补值的原理4.AE补值的计算过程5.范例实现-16.范例实现-27.优化模型：使用OpenVINO优化器8.测试模型：使用OpenVINO推论引擎--从补值、插值到创作从补值、插值到创作·目的：寻找一个合理的值来替换缺失的值。(..tofindaplausiblevaluetoreplaceonethatismissing.)5从补值、插值到创作·例如，5位客人买过5种水果，并给了评分，但是有买过才有评分，因而有些资料从缺(missing)了。G西瓜142AKG西瓜142AK453F草莓515JI香蕉H橘子12123456424261713127267899规划AI模型推荐>范例BCEFGH114葡萄草莓西瓜橘子香蕉25451243K32143246521651143267511778AI推薦(預測評比)91123456补值完成了，就可以进行推荐了。789443332222从补值、插值到创作算法，可以用来填补数据。例如，图像(image)放大时，最从补值、插值到创作·首先观摩一个Python程序，它绘出一张图像。cv2.imshow("lyImage",img)cv2.waitKey(0)从补值、插值到创作从补值、插值到创作有明显的锯齿状从补值、插值到创作采取人工智能的GAN模型来补值(插值)path="c:/pb/FSRCNNx3,pb"sr.readModel(path)sr.setModel("fsrcnn",3)从补值、插值到创作·例如，下述左图是鉴赏者所握有的原图，而右图则是创作者所生成的创作品。可以看出来了，透过生成对抗协同创新，所生成的作品已经几可乱真了。/uai2017/media/tutorials/shakir.从补值、插值到创作GAN模型最具创作能力掌握Al补值技能的源头。Al的创作能力。从补值、插值到创作从补值、插值到创作Cscalarnator从补值、插值到创作ZGZXhttps://saicoco.github.io/EBGAN/从补值、插值到创作GAN模型最具创作能力能和原理出发。创作仙境。·目的：寻找一个合理的值来替换缺失的值。(..tofindaplausiblevaluetoreplaceonethatismissing.)理的新数据来替代它们。理的新数据来替代它们。imputation.·Encoder在降维时，也过滤掉不显着的特征。复习AE模型的面貌。有招→无招→千变万化1国Internal无招千变万化Y心X过滤生成归纳推论AE像瑞士刀AE像瑞士刀·当谈到在一个充满机器学习问题的世界中生存时，有一种演算法可能像瑞士刀一样通用，它是一种自动编码器。(WhenitcomestosurvivalinaworldfullofmachinelearningproblemsthereisonealgorithmwhichmaybeasversatileasSwissKnife,anditisanautoencoder.)AE的学习和推论AE模拟人类：从所阅历的现象(以X表示)中学习。AE的学习和推论AE像人类：当阅历多了，就会在心中沉淀、过滤、进而归纳出其内涵的规律或法则。·这是一个水果店，记录了3位客人的满意度(即对各水果的评分值。ABCDEFGHIJKLMN01X(翰入值)2香蕉草莓H(潜藏空間)T(目標值)Y(预测值)3104Mike1075821678正規化學習還原9其为典型的3x2x3AE架构：首先进行正规化(Normalization)值传换成为介于0～1之间的数值。ABCDEFGHIJKLMN0X(翰入值)2香蕉草莓奇異果空間)T(目標值)Y(预測值)3104Mike1075821678正規化學習還原9请按下<正规化>按钮，得出：ABCDEFGHIJKLMN01X(翰入值)2香蕉草莓奇異果空間)T(目標值)Y(预測值)310104Mike005John678正規化學習還原9·现在，请按下<学习>,就开始训练这个AE模型了。·经过约1分钟，就训练完成了。123456789A正規化還原還原123456789香蕉草莓奇異果正規化0Sigmoid(Yo)=Y公式，计算出Y值(预测值):123456789學習正規化學習N按下<还原>·就将Y值乘以10,得到：ABCDEFGHIJKLMN01X(翰入值)2香蕉草莓H(潜藏空間)T(目標值)Y(预测值)31010104Mike1071071075John821821821678正規化學習還原9AE的学习和推论Encoder会过滤掉不显着的特征愈相似的资料愈相似的资料在H空间里会更群聚1801018010711234123456710211香蕉10211180121212071189學習學習包括<正規化、包括<正規化、學習和還原>三個步驟依据相似性而分群●请您先看看输入资料，依据其资料的相似度●例如，其中第0笔和第2笔，相似度较高：AE的学习和推论依据相似性而分群21801草莓212120711相似性高归为同一群包括包括<正規化、學習和還原>三個步驟AE的学习和推论2香蕉草莓212120711T(目標值)Y(预測值)相似性高归为第2群包括<正規化、學習和還原>三個步驟2345234567180121212071189還原>三個步驟归为第3群還原>三個步驟AE的学习和推论然后按下<学习>,就开始训练Al了。得出了：89·Al并不让人们失望，看看上图的H值，就是5笔输入资料，在这平面上的对应点座标。如下图：123456789包括<正規化、學習·然后按下<学习>,就开始训练Al了。得出了：123456789包括<正規化、學習香蕉香蕉2011782101121·经由Encoder过滤之后，各群的主要特征更为明显，意谓着各群的共同特征更为明显着。H(潜藏空間)-1.152XXY(预测值)Y(预测值)2001782001121·然后基于H空间里各点的向量(更具群共性),由Decoder来生成其外貌(含有群共性)。H(潜藏空間)-1.152生成AE补值的原理香蕉草莓奇異果20Mike11782101121香蕉草莓奇異果20Mike11782101121AE补值的原理Encoder会过滤掉不显着的特征在H空间里，更加聚集在一群里。20相似性高21011210AE021211AE补值的原理接续上述的范例ABCDFGHIJKLMN0X(翰入值)2香蕉草莓奇異果H(潜藏空間)T(目標值)Y(预测值)320104117107582182160101712111189學習0123含<正規化、456AE补值的原理然后按下<学习>,就开始训练Al了。得出了：1234123456789180121212071 18011021107110801212120701含<正規化、學習和還原>三步驟AE补值的原理AE补值的原理ABCDEFGHIJK1補值2喜好評比香蕉草莓奇異果H(潜藏空間)Y(预测值)34Mike5John8160789補0(不参舆)補值(推論)AE补值的原理实际操作按下<补0>,出现：ABCDEFGHIJK1補值2喜好評比香蕉草莓奇異果H(潜藏空間)Y(预测值)34Mike5801600789補0(不参舆)補值(推論)John80100800800香蕉草莓奇異果208210112100081 香蕉草莓奇異果20821011212222820&群共性XX-1.825-0.790.282820AE补值的原理然后按下<补值>,就开始训练Al了。得出了：ABCDEFGHIJK12喜好評比香蕉草莓奇異果H(潜藏空間)Y(预测值)34Mike5801820600-1.13701789補0(不参舆)補值(推論)8010082001AE补值的原理请在看一项补值范例ABCDEFGHIJK12喜好評比香蕉草莓奇異果H(潜藏空間)Y(预測值)3457656789補0(不参舆)補值(推論)AE补值的原理按下<补0>,出现：ABCDEFGHIJK12喜好評比香蕉草莓奇異果H(潜藏空間)Y(预測值)3450076560789補0(不参舆)補值(推論) 760Peter76香蕉草莓奇異果Lily2117Iohn80126180草莓2112奇異果71222282&群共性X-1.825-0.790.282560060060H向量1820&群共性XX-1.825-0.790.2828720X-1.825-0.790.282AE补值的原理·然后按下<补值>,就开始训练Al了。得出了：ABCDEFGHIJK12喜好評比香蕉草莓奇異果H(潜藏空間)Y(预測值)3450070186560720789補0(不参舆)補值(推論) 760018720接续上述的范例·建立一个AE模型，准备从5笔资料中来学习：ABCDEFGHIJKLMN0P1X(翰入值)2香蕉草莓奇異果H(潜藏空間)T(目標值)Y(预测值)320104Mike117107582182160101712111189學習AE补值的计算过程然后按下<学习>,就开始训练Al了。得出了：1234123456789180121212071 180110211071108012121207018010082001·得出W值如下图：-0.15-0.47-1.7261.6681-1.825-0.790.282值如下图：2.6841-0.499-0.15-0.47-1.7261.66811.634-0.174-2.83-1.825-0.790.282值如下图：-0.15-0.47-1.7261.66811.634-0.174-2.83-1.825-0.790.282-0.15-1.3-0.75AE补值的原理ABCDEFGHIJK12喜好評比香蕉草莓奇異果H(潜藏空間)Y(预测值)34Mike580182060001789補0(不参舆)補值(推論)AE补值的原理·请按下<补值>,就输出预测值：123456789A補值1818000HI80202AE补值的原理·请仔细看第0笔，看看它是如何计算的?ABCDEFGHIJK1補值2喜好評比香蕉草莓奇異果H(潜藏空間)Y(预測值)3 Lily5 Mike80182060001789補0(不参舆)補值(推論)Encoder的计算：John.0-1.8341.731.071.67-0.75141.731.071.67乙入以U00808IuuofI0.59-1.3-0.7580280201.63-1.31.07-0.757600187200Missing特征不参与0Missing特征不参与-1.3y2GLO-乙入以U09SH(潜藏空間)070780H(潜藏空間)-1.3-0.75范例实现-1·纽西兰科学家ValerieMulukom指出，在心理学是自动、快速、潜意识(Subconscious)。·分析推理：后者刻意、缓慢、逻辑性和有意识。·国际象棋大师、职业棒球运动员、获奖作家和作曲家就说不清自己是如何完成工作的。许多技能是不能用语言描述的。·你可能也有过这样的一种体验——当你在某一领域里经历了长期的训练后，你会发展出某种常人没有的直觉。·人们透过无意识的「直觉」做出的判断，有时比慎思熟虑更为有效。·但从生物演化的角度看来，任何事情在等到「完全确定」后再行动，反而是极其危险的——当原始人在森林中漫步时听到怪声，他应该立刻提高警惕，而不是等到野兽扑面而来时才做出反应。·当我们身处于自身具有丰富经验的领域里时，应该相信自身的直觉，而不是刻意思考。AE的经验直觉当今的ML(机器学习)可以学习<专家直觉>·例如，您打电话向自助餐老板订购，老板问您：今天想吃什么?您说：今天吃排骨。老板接着问您：要配什么菜?您回答：都可以。·中午吃饭时，打开便当，发现便当里有一个鲁蛋。想一想，这老板如何预测：1颗鲁蛋呢?·请您欣赏一下冯彦霖小姐的4格漫画(摘自她的<<AI学习绘本>>):3一個猪腳一個.AE的经验直觉当今的ML(机器学习)可以学习<专家直觉>·请看看AE(自编码器),也能学习一些历史数据中，学习一些专家直觉了。·于是AE也能具备像这位餐厅老板的直觉智慧。·未来能拥有更丰富、精湛的直觉。AE的经验直觉首先建立一个3x2x3的AE模型：AE的经验直觉首先建立一个3x2x3的AE模型：ABDE1學習(完整資料)2主食性别配菜3客人11114客人21005客人30116客人40007客人51018客人610091:排骨1:男士1:油蛋0:難腿0:女士0:荷苞蛋建立一个3x2x3的AE模型：ABCDEFGHIJK1學習(完整資料)2主食性别配菜H(潜藏空間)Z(预測值)3客人11114客人21005客人30116客人40007客人51018客人610091:排骨1:男士1:油蛋0:難腿0:女士0:荷苞蛋學習(歸納/過滤)ABCDEFGHIJKL1學習(完整資料)2主食性别配菜H(潜藏空間)Z(预測值)3客人111114客人2100005客人3011116客人40007客人510118客人61000091:排骨1:男士1:滴蛋0:難腿0:女士0:荷苞蛋 (歸納/過滤) (歸納/過滤)1.1257餐了。ABCDEF12新客人主食性别配菜3訂餐1104訂餐2訂餐30150061:排骨1:男士1:油蛋70:難腿0:女士0:荷苞蛋89新客人性别配菜訂餐110 訂餐2訂餐30100现在来实际操作，如下：餐了。ABCDEFGHIJ12新客人主食性别配菜3訂餐1104訂餐2訂餐3015006789推論(補值)推論推論请按下<推论>,AE就运用其专家直觉，将客人没有填写的(遗失)资料，填补起来：123456789D性别0EFHJC主食1D性别0EFHJC主食100GI0000訂餐2主食性别配菜客人1111客人2客人3100101客人4000客人5101客人6客人6100于得到满意的结果：00(配荷苞蛋)(配滴蛋)(配荷苞蛋)1:排骨1:男士1:漓蛋0:難腿0:女士0:荷苞蛋bo=np,array([0.5,-0bo=np,array([0.5,-0dtypenpfloatbh=np,array([0dtypenpfloatdefsigmoid(s):return1/(1+np.exp(-s))[1,0,0], dtype=np.float32)wh=np.array([[0.1,0.2]:准备初期值deftrain():globalwh,bh,wo,boN=3H=2#定义Hidden层Inputlayer=Input(shape=(N,))dh=Dense(H,activation='sigmoid',name="hresult")d=Dense(0,activation='sigmoid',name="oresult")x=zh#训练1000回合model.fit(dx,dt,1,2000,0,shuffle=False)建立设定W&B初期值设定W&B初期值continueddeftrain():globalwh,bh,wo,boN=3H=2Inputdh=Dense(H,activation='sigmoid',name="hresult")d=Dense(0,activation='sigmoid',name="oresult")x=zhmodelCompilelossmseoptimmodel.fit(dxdtshuffleFalsedeftrain():globalwh,bh,wo,boN=3H=2Inputdh=Dense(H,activation='sigmoid',name="hresult")d=Dense(0,activation='sigmoid',name="oresult")x=zh展开训练print("\n-------Training-------")print("Wh:")print("\nBh:")print(bh)print(bo)TX=np.array([0,1,-1Data设为0Data设为0正向推演正向推演输出结果print(TX)输出结果print("\nPredicted:")实际运行，输出结果：-----PredictionTestingdata:[0.1,-1.[[0.90.0.][][]]00·在刚才的范例里，AE都是从完整的历史资料中学习·现在，就来想一想：如果这些历史资料有所缺失，那么AE也可以从这些MissingData中学习其智慧吗?ABCDE2主食性别配菜3客人14客人2105客人36客人4007客人5108客人61091:排骨1:男士1:油蛋0:難腿0:女士0:荷苞蛋现在来实际操作，如下：·这也是一个3×2x3架构的AE模型：ABCDEFGHIJK12主食性别配菜H(潜藏空間)Z(预测值)3客人11114客人2105客人3116客人40007客人5108客人610091:排骨1:男士1:油蛋0:難腿0:女士0:荷苞蛋學習(歸納/過滤)(四捨五入)请按下<学习>,就训练出Encoder和ABCDEFGHIJK12主食性别配菜H(潜藏空間)Z(预测值)3客人111114客人2105客人31116客人4000007客人5108客人610091:排骨1:男士1:油蛋0:難腿0:女士0:荷苞蛋學習(歸納/過滤)(四捨五入)完成了! 按下<四舍五入>,就把遗失的资料填补起来了：ABCDEFGHJKL12主食性别配菜H(潜藏空間)Z(预测值)3客人111111114客人2101005客人3111116客人40000007客人5101008客人610010091:排骨1:男士1:油蛋0:難腿0:女士0:荷苞蛋學習(歸纳/過滤)(四捨五入)完成了!H(潜藏空間)112主食性别配菜3客人14客人2105客人3116客人40007客人5108客人610091:排骨1:男士1:油蛋0:難腿0:女士12主食性别12主食性别配菜3客人14客人2105客人3116客人40007客人5108客人610091:排骨1:男士1:油蛋00:難腿0:女士0:荷苞蛋10110010Choollet的访问及交流内容。未来发展之路·总结一下，我们认为未来Al模型将会融合直觉模式识别模组与形式推理模组。未来发展之路·科技产业资讯室-Kyle发表于2020年9月29日人工智慧進入第四代人工直覺成為下一步發展Source:科技政策研究舆資訊中心-上述文章里提到…·AI是有史以来最强大的科技之一，但已经历经四次的演变。实际上，自1950年代问世以来…·第二代是诊断性分析」。·第三代也是最近的这一代AI是预测性分析」,主要是基于已经发生的事情进行预测将来。·未来人工直觉标志着AI将成为真正“智慧(智一步。范例实现-2最新的发展.httpslearnopencvcomsuperre上述文章里，作者写道：·"Whenincreasingthedimensionsofanimage,theextrapixelsneedtobeinterpolatedsomehow.Basicimage提供了帮助，并提供了更好的结果。)OpenCV的Al插值功能提共多个*.pb提共多个*.pb模型档案masterFSRCNNTensorflow/models/_modelsmodelsmodelstrainedmodels名稱模型，适合于图像放大3倍时的插值。·我们可以把这个*.pb档案，交给OpenVINO的优化器，来进行模型优化的动作。如下图：优化模型：行优化动作。将模型优化，然后输出IR档案·刚才已经从TensorFlow汇出*pb档案了，其路径名稱步骤-1:进入优化器的工作区1.1首先从Wi