AI建模师-素养手册(15)-理解AI生成(AIGC)-从AE模型出发

AI建模师手册第15集理解AI生成--从AE模型出发By高焕堂/AI建模师俱乐部会长复习：AE模型AE的预测与生成AE的补值的原理AE的生成的计算AE的潜藏空间容纳经验直觉本文发表于台湾AIC产业联盟

技术分享大会(2022.2.17)2022/2/172022/2/17台灣AIC(AI+IC)技術分享大會台灣AIC產業聯盟技術分享大會.AEC：台灣產業發展之路.2022^2/1759:30-12:00&13:00-16:50時間主题主講人9:30-10:00AiEDA、EdgeAl'AIoT和AIGC的產業發展方向與策略嘉賓致詞(keynote)10:00-10:50EDAFull-Custom工具在設計highperformanceCPU上的用途美國YXTechnologies創辦人顏耀聰博士10:55-11:25AlEDA(machinelearningondigitalplacement)陽明交通大學陳宏明教授11:30-12:15醫療Al設計與應用分享AI+SoC/MEMPlacement經驗分享謝孝綱教授午餐時間

午餐時間13:00-13:30凱比機器人的AIoT教案開發技術姿立AI技術長鄭仲平13:30-14:15（邊緣）EdgeAI開發實務分享逢甲大學林峰正教授14:20-14:45AI生成+耐能AIDongle開發技術銘傳大學高煥堂教授14:50-15:15TensorFlow+OpenVINO醫療應用銘傳大學EdgeAI團隊陳冠儒15:20-15:45EdgeX開發流程&技術入門銘傳大學EdgeAI團隊黃佳琪15:50-16:20AIGAN對抗學習與藝術創作神櫻AI藝術總監馮彥霖16:20-16:501） 行動AI-Meta公司PytorchLive2） 感謝致詞AIC聯盟主席高煥堂次報名費浓早鳥報名：免費，於2022/1/20日之前報名之貴賓，且前200位報名者，可享免費優待°一般報名：NT$2600元/人。IC設計KneronKL720AlSoCIC製造（封測）Al應用AIOSAl晶片PyTorch+耐能Al芯片

应用幵发技术IC設計IC製造（封測）Al晶片Al應用AIOS复习：AE模型(Autoencoder)善用AE模型I从AE的补值(Imputation)说起-补值：寻找一个合理的值来替换缺失的值。(…tofindaplausiblevaluetoreplaceonethatismissing.)善用善用AE模型I善用AE(AutoEncoder)模型善用善用AE模型I善用AE(AutoEncoder)模型-AE模型可以学习具有缺失特征值的资料，并生成合理的新数据来替代它们。-learningfromcorrupteddata.

JAE模型可以学习具有缺失特征值的资料，并生成合理的新数据来替代它们。…themodelisabletolearnfromincompletedataandgeneratenewplausiblevaluesforimputation.X X Encoder H Decoder YeX善用AE模型Encoder是过滤器-Encoder在降维时，也过滤掉不显著的特征。EncoderDecoderY^XX*Wh+Bh=H

复习AE模型Decoder是生成器-基于潜藏空间的显著特征，Decoder生成所期待的面貌。EncoderDecoderY^XH*Wo+Bo=YIIIIEncoder DecoderY X过滤Encoder; \DecoderYeX

过滤生成过滤Encoder; \DecoderYeX善用AE模型I有招今无招今千变万化Outputs(=Inputs)InternalrepresentationInputsDecodeEncoderOutputs(=Inputs)InternalrepresentationInputsDecodeEncoderEncoderInputs无招(LatentSpace)生成有招千变万化Outputs(nInputs)XYXHEncoderDecoder务■A■Li■a■2■Internalrepresentation归纳 推论

学习 预测善用善用AE模型I AE像瑞士刀善用善用AE模型I AE像瑞士刀Autoencoder:DeepLearningSwissArmyKnife18.11.2020byPawetSobel-当谈到在一个充满机器学习问题的世界中生存时，有一种算法可能像瑞士刀一样通用，它是一种自动编码器。(WhenitcomestosurvivalinaworldfullofmachinelearningproblemsthereisonealgorithmwhichmaybeasversatileasSwissKnife,anditisanautoencoder.)AE的预测与生成AE的学习和推论AE模拟人类：从所阅历的现象（以X表示）中学习。学习 预测AEAE的学习和推论AEAE的学习和推论AE像人类：当阅历多了，就会在心中沉淀、过滤、进而归纳出其内涵的规律或法则。I请看一个范例-这是一个水果店，记录了3位客人的满意度（即对各水果的评分值。为典型的3x为典型的3x2x3AE架构EncoderMDecoderAEAE的学习和推论.AE的学习和推论I首先进行正规化(Normalization)-例如，将X值传换成为介于0~1之间的数值。BcDBcDX(輸入值)否蕉草莓奇異果101010781正規化(X/10)-现在，请按下〈正规化〉按钮，得出:

-同时，也设定目标值T=X。如下：香蕉草莓奇異果 10J00.10香蕉草莓奇異果 10J00.20.1BCDX（輸入值）正規化(X/10)H（潛藏空間）學習H-现在，请按下〈学习〉，就幵始训练这个AE模型了。

-经过约1分钟，就训练完成了。•也就得出其Encoder（即Wh&Bh），以及Decoder（即Wo&Bo），如下：BCDX（輸入值）香蕉草莓奇異果EALilyMikeJohn正規化（X/10）FH（潛藏空間）1,6830.528-0,9261.297L0110.364學習HIJKT（目標值）10J00.20.1L還原0.950J240.0260.0940.0260.7020.8190.1790.093Y（預測值）141516IBh2.06420.2757-1,322-2223-1.2611.1358-0,2490.4749hBo2.0822-0.0638-1.90.278323986-0.5-0.697-0.584-07-同时，也由X*Wh+Bh=H公式，计算出H值：H（潛藏空間）1.6830.0940.0260.702Wh2.06420.2757Wo2.0822-0.0638-1.9-1,32222230.2783-2.3986-0,5-1.2611.1358Bo-0.697-0.584-0.2Bh-0.2490.4749T（目標值）1-0.9260.8190.1790.093正規化（X/10）學習Y（預測值）0.950J240.026ABCDX（輸入值）乒香蕉草莓奇異果1rFLily10.1011Mike5John1.0110.3646\11丿1.297-同时，也由H*Wo+Bo=Yo公式，以及

Sigmoid（Yo）=Y公式，计算出Y值（预测值）:B2香蕉草莓奇異果3Lily10.104Mike0.100.75John67AX（輸入值）正規化（X/10）1213141516Bh2.06420.2757Wo-1,322-2223-1.2611.1358Bo-0.2490.4749FH（潛藏空間）1.6830.528-0,9261.297L0110.364學習HDE2.0822-0.0638-1.90.278323986-0.5-0.697-0.584-0710J00.20.1T（目標值）0.950.1240.0260.0940.0260.7020.8190.1790.093Y（預測值）還原AEAE的学习和推论AEAE的学习和推论I这AE模型训练完成了-最后，按下〈还原〉。就将Y值乘以10，得到-以上展示了AE模型的训练流程。

Encoder会过滤掉不显著的特征-再H空间里的群聚情形愈加明显。过滤 愈相似的资料，AE的学习和推论I范例：更多笔资料AE的学习和推论依据相似性而分群•请您先看看输入资料，依据其资料的相似度(Similarity)而观之，可以明显地看出来，可分为3群(Cluster)°•例如，其中第0笔和第2笔，相似度较高：16161616AE的学习和推论I依据相似性而分群H（潛藏空間）T（目標值）Y（預測值）Melody包括＜正規化、學習和還原〉三個步驟相似性高归为同一群香蕉草莓奇異果才Lily1020,Mike117X（輸入值）1082.AE的学习和推论依据相似性而分群A123LilyMike5JohnelodyJoeB一X（輸入值）香蕉10草莓2奇異果010HA123LilyMike5JohnelodyJoeB一X（輸入值）香蕉10草莓2奇異果010H（潛藏空間）T（目標值）101082011171101Y（預測值）相似性高归为第2群1415包括＜正規化、學習和還原〉三個步驟AE的学习和推论I依据相似性而分群235678910LilyMikeJohnMelodyB一X（輸入值）香蕉10草莓2奇異果0H（潛藏空間）T（目標值）1010Joe101Y（預測值）单独归为第3群I還原〉三個步驟.AE的学习和推论-然后按下〈学习〉，就开始训练AI了。得出了：1011121415LilyMikeJohnMelodyJoeB一X（輸入值）香蕉10草莓2學習EFGHH（潛藏空間）3.2430.482-0.3662J452.5340.748-L1522.6960.6551.097D7810101奇異果0T（目標值）10包括〈正規化、學習和還原〉三個步驟LMN0Y（預測值）10200178200110121K0710118191819181918191919-Al并不让人们失望，看看上图的H值，就是5笔输入数据，在这平面上的对应点坐标。如下图：H（潛藏空間）T（目標值）Y（預測值）草莓奇異果0.482MikeMelody0.6551,097學習包括<正規化X（H（潛藏空間）T（目標值）Y（預測值）草莓奇異果0.482MikeMelody0.6551,097學習包括<正規化X（輸入值）否蕉2.14505482,696-0.3662.534-1,152hl-然后按下〈学习〉，就开始训练AI了。得出了：hlABcDEFGHTJKLMN01X（輸入值）2香蕉草莓奇異果H（潛藏空間）T（目標值）Y（預測值）3Lily10203.2430.482101Q10204Mike117-0.3662.1451070175John8212.5340.7488218206Melody0110-L1522.696011001107Joe1210.6551,097111121891011學習121415包括〈正規化、學習1617-2群-2 ♦-、~/\、-' ——^―2-h0EncoderH（潛藏空間）3.2430.482-0.3662.145EncoderH（潛藏空間）3.2430.482-0.3662.1452.5340.748-1.1522.6960.6551.097-经由Encoder过滤之后，各群的主要特征更为明显，意谓着各群的共同特征更为明显着。香蕉」草莓奇異果TOC\o"1-5"\h\zLily 10 2 0Mike 1 1 7John 8 2 1Melody 0 1 10Joe 1 2 1

-然后基于H空间里各点的向量（更具群共性），由Decoder来生成其外貌（含有群共性）。hl'1厂、、密'0/-群_2t1/、/J'I'、 /r■ 1-22 h0fLH（潛藏空間）13.2430.482-0.3662.1452.5340.748-1.1522.6960.6551.097Y（預測值）10 2 00 1 78 2 00 1 101 2 1生成AE生成的原理I Encoder会过滤掉不显著的特征香蕉I草莓I奇異果Lily1020Mike11John82IliMelodyo110Joe121不显著特征■AE生成的原理Encoder会过滤掉不显著的特征香蕉早莓102Mike11John82Melody01Joe12奇異果0|7|1|10I1显著特征显著特征AEAE生成的原理AEAE生成的原理IEncoder会过滤掉不显著的特征-例如，这两笔的主要（显著）特征很接近（很相似），在H空间里，更加聚集在一群里。-例如，这两笔的主要（显著）特征很接近（很相似），在H空间里，更加聚集在一群里。香蓮草莓奇異果n两者卜相似性高MelodyMelody 0 1 10Joe 1 2 1AE生成的原理I接续上述的范例AEAE生成的原理展幵学习：请按下〈学习〉，就训练出Encoder和Decoder，并且计算出H和Z值。ABCABCDE1學習(MissingData)2主食性別配菜3客人11114客人2105客人3116客入40007客人5108客人610091：排骨1:男士1*涵蛋100:雞腿0:女士0:荷苞蛋111213完成了！學習14（歸納/過濾）15—FGHIJKH（潛藏空間）Z（預測值）10.0620.90.950.080.810.2000.820.960.90J0.10.820.960.90J0.1Round

（四捨五入）AEAE的经验直觉AEAE的经验直觉按下＜四舍五入〉,就把遗失的数据填补起来了:ABCDE1學習(MissingData)2主食性別配菜3客人1114客人21105客人3116客人40007客人5108客人610091：排骨1:男士1*涵蛋100:雞腿0:女土0:荷苞蛋111213完成了！學習14（歸納/過濾）15—FGH\UK\、H（潛藏空間）/Z（預測值）10.06L110.820.96L000.950.01L110.080.810000.820.96L000.820.96L001、 /Round（四捨五入）H（潛藏空間）；後(082,0.96)學習(MissingData)'客人1客人2主食1性別1配菜1客人3客人4客人5客人61：排骨01：男士01：涵蛋0：艾士0:荷苞蛋hl、一―广_ j藏$.82,0.96)Z（預測值）排骨男士酒蛋女士荷苞蛋性客人3Z（預測值）排骨男士酒蛋女士荷苞蛋性客人3客人4客人5客人6■客人1客人2學習(MissingData)AE的经验直觉未来发展之路https:力blog订林AnInte