谈谈AI解什么问题 20240324 （MIC 韩扬铭）

談談AI解什麼問題–KnowWhat/Why/How©2024©2024InstituteforInformationIndustry..人工智慧的總體發展歷程.新興AI技術議題與應用案例©2024InstituteforInformationIndustry1©2024InstituteforInformationIndustry2做.科學家運用各種資訊技術創造機器具有像.常見的能力如：感知（電腦視覺、語言辨識…等）、行動（機器人控制）、預知(推理推論）眼：電腦視覺耳：語音辨識（聽出）/自然語言處理（聽懂）鼻：電子鼻、氣體偵測舌：文字轉語音身：機器手臂控制意：推理推論、協調©2024InstituteforInformationIndustry3.生成式AI的發展從過去有限的對話到大型自然語言模型的出現，使生成式AI技術愈成熟，同時帶動AI生成內容（AIGeneratedContent,AIGC）熱潮，並引發商業各種創新應用（2018）（2018）提出生成式對抗網路GAN（2014）生成逼真圖像、影音、提出Transformer模型（2017）基於注意力機制的深度學習模型，有效處理自然語型（2021）ELIZA聊天機器人Midjourney文本生成圖像常Midjourney文本生成圖像常用於生成藝術品（2022）首例聊天機器人，有圖像（2021-2022）ChatGPT對話式聊天機器人（2022）（1997）首個能模擬人類對話與思維的聊天機器人生成式AI特別在自然語言、文本、圖像生成領域表現出色，並呈現快速發展趨勢生成式AI特別在自然語言、文本、圖像生成領域表現出色，並呈現快速發展趨勢大型模型出現，奠定未來NLP技術基礎，為應用帶來可能性用範圍仍受限制資料來源：MIC，2024年3月©2024InstituteforInformationIndustry4omirage…omirage………cradle備註：廠商僅擷取部分資料來源：紅杉資本、CBInsights，MIC整理，2024年3月.生成式AI可分為7大應用領域，包含文字、圖像、影片、程式碼、語音、3D模型及其他。進㇐步盤點相關新創業者，由於技術逐漸成熟，業者數量已達355間以上，其中，以文字和圖像生成的業者©2024InstituteforInformationIndustry512間以上生成式AI獨角獸從眾多新創中脫穎而出355間以上生成式355間以上生成式AI新創募資階段其他其他，5%B&C輪，11%A輪，16%種子輪，35%未募資，33%資料來源：CBInsights，MIC整理，2024年3月生成式生成式AI新創估值排行InflectionInflectiongleon45454005000估值（億美元）.盤點生成式AI新創業者，多處於未募資或募資早期階段.估值超過10億美元之獨角獸達12間以上，其中，OpenAI以800億美元的估值大幅領先其他競爭者©2024InstituteforInformationIndustry6©2024InstituteforInformationIndustry7月©2024InstituteforInformationIndustry8輸出機制 忘記機制輸入機制輸出機制 忘記機制輸入機制麼忘記了©2024InstituteforInformationIndustry9•已於美國加州等地實地測試，並在2017年.運用物件辨識進行噴灑的區域辨識月.運用人物肢體或手勢計算CycleTime©2024InstituteforInformationIndustry10©2024InstituteforInformationIndustry11拿取智慧購物籃，配對挑選商品後，放入購物籃自動掃描辨識123包裝背面也能感測.拿取智慧購物籃，配對挑選商品後，放入購物籃自動掃描辨識123包裝背面也能感測.感測融合技術：在購物籃邊緣裝置4個攝影鏡頭和底部重量感測器，可不受角度拍攝限制識別商品.AI圖像辨識：將圖像傳輸至AI辨識模型，該模型已進行大量商品圖片的訓練，能快速識別購物籃中的品項，正確顯示消費明細於顧客的App資料來源：Imagr，MIC整理，2023年8月©2024InstituteforInformationIndustry12圖：商品辨識系統智慧購物籃無需手動掃描商品條碼，智慧購物籃可自動識別多項商品，不論是包裝完整的商品或零散的蔬菜水果，均能成功辨識，完成自助結帳流程。開啟手機專用SmartCartApp後，可即時檢視購物清單並完成付款購物明細立即顯示購物明細立即顯示如有錯誤可向店家反應直接透過App結帳不需操作結帳機台 感測融合與辨識技術44美國：農噴器導入AI與電腦視覺達到精準噴藥噴霧器使用鏡頭與軟體系統來噴霧器使用鏡頭與軟體系統來瞄準雜草，避免除草劑過度使用，進而維護生物多樣性資料來源：BBC、Bosch，MIC整理，2023年8月作物產量豐富的除草劑若被過度使用，將降低生物多樣性，因此需以更有效、環保的方式協助農民處理雜草參與角色參與角色•企業：博世（Bosch）、德國智慧農業解決方案供應商巴斯夫（BASF）美國玉米、大豆及棉花種植場域•鏡頭辨識作物與雜草：拖拉機上配備鏡頭，不斷掃描經過的植物，使用電腦視覺的深度學習演算法來識別田間不同植物，區分雜草與作物•節省除草劑成本：由人工智慧軟體系統控制，連線的噴灑器將除草劑精準噴灑至單株雜草，而非淋溼整個田地，節省三分之二除草劑使用量©2024InstituteforInformationIndustry13測測進行分類驗證（條碼或文字）•依需求搭配不同深度學習模型•對未知瑕疵特徵進行學習對對比度較高之物件3D圖（高度、曲度或厚度等）是否存在缺漏或偏差檢查產品體積及針對對比度較低之物件排除受到光源影響之可能資料來源：MIC整理，2023年8月.透過AI不同深度學習模型，針對瑕疵特徵進行學習，並自行修正判斷規則，大幅減少人員標註的時間，進㇐步提高檢測的準確性與效率©2024InstituteforInformationIndustry143dSignals-隨插即用快速部署的資產監控解決方案3dSignals解決方案：為工廠機器進行機電聲學分析同時包含軟硬體平台的AI解決方案。使用非侵入式感測器以及基於雲的即時資產績效管理平台（Real-TimeAsset以提升工廠30%的產能，並且減少人力與能源成本3dSignals產品特性dEdge硬體設備：在機器接上感測器及連網後，透過超聲波感測器全天候24小時蒐集現場機器設備的聲音、震動和電流，並將聲學分析轉化為數據後傳送到dView雲端平台dEdge時資產績效管理工具，提供可視化儀表板，dEdge顯示設備分析與狀態工廠員工能即時觀工廠員工能即時觀測機械設備狀態資料來源：3dSignals，MIC整理，2023年8月©2024InstituteforInformationIndustry155G智慧杆+聲音感測器+IPCAM+大數據分析5G傳送即時聲音與影像數據資料來源：LuxTurrim5G，MIC整理，2023年8月.聲音感測器即時偵測環境聲音，當偵測到剎那異常巨響，如車禍碰撞、槍擊、群眾鬥毆等事件時，IPCame將針對聲音源進行即時攝錄，後以5G傳送聲音與影像數據至雲端MEC.透過MEC深度學習、行為辨識等即時判讀意外事件，後依據事件類型以通報如警政、醫療等單位，即時回應意外事件.以車禍為例，後續車禍資料另可售予保險業作為保費制定參考依據，亦可進㇐步結合環境數據（如天候、人流等）做為交通主管單位改善用路安全之參考依據©2024InstituteforInformationIndustry16©2024InstituteforInformationIndustry17有相關性有相關性空間接近空間接近有時間性有時間性X1Y1可復現性可復現性©2024InstituteforInformationIndustry18 反事實 反事實 行動：想像、回想、理解(全面 Imagining假設某㇐元素完全相反而其他 Imagining行動：實行、介入(單面向)行動：實行、介入(單面向)假設我從中加入了㇐介入元行動：觀看、觀察從觀察中看到其因果，並具備第三個運用反事實找出影響原因，從預測問題進㇐步設計決策機制第二個要與機器學習作融合，找出直接和間接的影響第㇐個要解決如何在大規模數據中識別其中的因果結構•因果AI牽涉CasualInference、等議題，運用Casual可找到少資料中的因果推論，又或是應用CasualAI來達到What-if情況的分析©2024InstituteforInformationIndustry19ACAC .同時影響兩個變數之間關係的變數叫調節變數（Moderatorvariable)也稱，©2024InstituteforInformationIndustry20.反事實（counterfactual在自然語言中的「如果-那麼」陳述的條件陳述。.自問：造成Y的原因是X嗎？如果X沒有發生會怎麼.案例：令吃藥就不頭痛我頭不痛的原因是吃藥嗎？令抽煙得肺癌如果我不抽煙會如何？從被說服不去抽煙來避免得肺癌得肺癌的人在之前如果被說服不抽煙，©2024InstituteforInformationIndustry21©2024InstituteforInformationIndustry22資料來源：亞馬遜2022：貝佐斯征服全球的策略藍圖潛在變數的因果與系統動力學資料來源：亞馬遜2022：貝佐斯征服全球的策略藍圖 ©2024InstituteforInformationIndustry23傳統機器學習問題傳統機器學習問題•研究發現，因肺炎入院的氣喘患者對感染的治療更積極，降低了次群體(sub-•數據訓練出來的診斷肺炎的相關性診斷模型，會將哮喘作為一個保護性的風險因素會導致對哮喘患者推荐一種不那麼激進的治療方案。•反事實推斷：即如果某些前提條件不同，判斷某些結果是否會發生。•總體思路是：計算如果發生了一些假設性干預，如果能觀察到不同結果的可能性，便推斷出於事實相反。©2024InstituteforInformationIndustry24©2024InstituteforInformationIndustry25機器學習機器學習增強式學習介於兩者間，可以由自行產介於兩者間，可以由自行產生的資料做自主學習監督學習非監督學習©2024InstituteforInformationIndustry26 Environment .增強學習(Reinforcement習，以此獲得自主性的學習能力影像辨識的能力去感知像素的重點及周遭情況，再結合RL機制形成自學應對能力©2024InstituteforInformationIndustry27Atari遊戲©2024InstituteforInformationIndustry28不用輸入遊戲規則，除了下棋類外，也可進行©2024InstituteforInformationIndustry29©2024InstituteforInformationIndustry30增強學習經常用於路徑和排程規劃©2024InstituteforInformationIndustry31資料來源：Mckinsey、Deepmind、訊能集思，MIC整理，2023年8月ActorActorActorActorActor資料來源：Nvidia、TOSSINGBOT，MIC整理，2023年8月•深度增強式學習從原本單㇐代理人的模擬訓練逐漸走向多代理人的協同訓練。對此在應用上可預先訓練資料來源：Nvidia、TOSSINGBOT，MIC整理，2023年8月©2024InstituteforInformationIndustry32人人人追蹤地面標線或符號依物品外型為判斷基礎••解決CAD檔缺乏與幾何物件遮蔽問題基於3D環境影像AMR結合手臂資料來源：MIC，MIC整理，2023年8月.具備空間感測能力的3D視覺則能夠結合AI，大幅提升製造場域中各項任務的應用廣度、準確性、效率，甚至是進㇐步確保人員的安全性3D視覺結合AI應用在手臂隨機抓取上為重點方向之㇐，透過搭配不同的深度學習演算法，解決業者過去在物體揀取上耗時和準確度不高的情況©2024InstituteforInformationIndustry33igus採關節模組設計，多種igus採關節模組設計，多種機型可共用零件，且買主可客製手臂⾧度至mm精細度大幅提升自家機器人靈活度壁掛式桌上式NNModelsNSolution可改變臂⾧或增加自由度，就既有主體簡易改變安裝方式，增加產線靈活度，降低設備建資料來源：各公司，MIC整理，2023年8月可簡易置換故障零組件提高設備可用性，降低維協作機器人為模組化設計，允許簡易更換故障零組件，從而降低維修成本；Comau首次推出SCARA機器人，提供三種工作半徑，臂長分別為450、600和750mm及三種(Floor、Ceilling、Wall)安裝方式，為產線作業提供更強靈活性；igu的s平價輕型機器人提供買主客製化製造，臂長可精細到mm的組合，再後續置換也增加生產彈性。©2024InstituteforInformationIndustry34•Physics-InformedAI，結合深度學習和數據驅動的方法得到偏微分方程解，可運用流體力學，非線性聲學，氣體動力學和交通流量等應用場景資料來源：MATLAB、Nvidia，MIC整理，2023年8月©2024InstituteforInformationIndustry35©2024InstituteforInformationIndustry36生成模型判別模型.彼此輪流被訓練的過程，慢慢產生㇐位模仿大師及福爾摩斯，並交叉使用「生©2024InstituteforInformationIndustry37©2024InstituteforInformationIndustry38©2024InstituteforInformationIndustry39©2024InstituteforInformationIndustry40©2024InstituteforInformationIndustry41•DragGAN能夠創造新的圖像內容，以達到與使用者最直接想要的修改程度。•使用者若想讓照片中的人物展現微笑、獅子轉頭，直接使用DragGAN便可進行調整，還能產生相應所需的圖像，並適當地改變。©2024InstituteforInformationIndustry42.數位雙生應用領域從製造業出發，逐漸延伸至醫療、都市、運輸、能源、氣象、教育等領域。應用數位雙生應用領域從製造業出發，逐漸延伸至醫療、都市、運輸、能源、氣象、教育等領域。應用核心為製造、材料、構造強度、機械、燃燒、熱傳、流體、振動、化學、電氣等橫跨學理、技術領域之複合現象德國德國義大利義大利西班牙西班牙俄羅斯俄羅斯資料來源：日本科學技術振興機構研究開發策略中心，MIC整理，2023年8月©2024InstituteforInformationIndustry43資料來源：Nvidia，MIC整理，2023年8月模擬系統平台與A的I算法組件和不同應用組件相結合，形成不同的模擬世界，讓開發者可在各種場景進行試驗©2024InstituteforInformationIndustry44©2024InstituteforInformationIndustry452022IBM的調查顯示：企業越來越重視AI應用的可信度，但欠缺具體行動：其中指出，應用AI程度越深的企業，越看重AI的可解釋性。©2024InstituteforInformationIndustry46模型可解釋力模型可解釋力ComplexModelSimpleModelInterpretableAccurate 常見可解釋AI方案觸擊範疇.LinerRegression●DecisionTrees資料偏見檢測.LinerRegression.K-Nearest.SVM.K-Nearest.SVM準確度©2024InstituteforInformationIndustry47表格型文字型文字型資料來源：OmniXAI、AI.SCIENCE、theaisummer、MIC整理，2023年8月©2024InstituteforInformationIndustry48網路層可視化網路層可視化神經網路可視化23使模型開發人員可改進神經網路設計，以提高效率和準細分網路神經元，作為模型可解釋性1©2024InstituteforInformationIndustry49©2024InstituteforInformationIndustry50©2024InstituteforInformationIndustry