就是站在BigData上的范例巨大的数据源课件

楊立偉教授台灣大學工商管理學系2013FallIntroductiontoDatabaseManagementConfidentialandProprietary楊立偉教授2013FallIntroductionto老師介紹台大資訊管理博士研究領域為知識工程、搜尋引擎、語意分析、網路行銷等超過20項語意及行為分析相關專利發明人現任台大工管系兼任助理教授

2006~意藍資訊董事總經理(創辦人)1999~龍捲風科技董事長

2008~經歷資訊及通信國家標準技術委員2009年獲選經理人雜誌「100MVP最有價值經理人」2012年獲數位時代雜誌「創業之星」首獎FunTime,Co-founder國內最大旅遊搜尋引擎MobileWizInc.,Co-founder國內最大互動簡訊行銷公司DigitalJWalterThompson,Taiwan,PrincipalConsultant(兼任)老師介紹台大資訊管理博士現任台大工管系兼任助理教授20課程目標了解資料庫管理之目的與理論培養資料庫管理之觀念與能力了解資料庫管理之工具與應用了解資料庫管理和組織、企業等相關之管理議題課程目標了解資料庫管理之目的與理論WhyDatabase(1)–每人每天產生多少資料搭公車、搭捷運、刷悠遊卡到便利商店買飲料用手機上臉書、按個讚、打個卡送個LINE、拍張照片上傳上網瀏覽、刷卡購物、給個評價過個馬路被超過十個鏡頭拍下WhyDatabase(1)–每人每天產生多少資料搭WhyDatabase(2)–資料快速成長Source:IBM2012全球CEO調查報告/tw/blueview/2012oct/8.htmlWhyDatabase(2)–資料快速成長SourcWhyDatabase(3)運用資料與演算，達成智慧決策Source:IBM2012全球CEO調查報告/tw/blueview/2012oct/8.htmlWhyDatabase(3)運用資料與演算，達成智慧決策WhyDatabase(4)–管理整體資訊供應鍊Source:IBM2012全球CEO調查報告/tw/blueview/2012oct/8.htmlWhyDatabase(4)–管理整體資訊供應鍊SoWhyDatabase(5)–企業應用數位化時代中，資訊扮演的角色越來越重要所有企業資訊化的背後，幾乎都與資料庫有關。生產/研發/供應商行銷/銷售/客戶組織/人事財會/資料分析策略/決策支援WhyDatabase(5)–企業應用數位化時代中，Scenario1:資料收集處理假設回收50份第一題各選項的答題人數?第二題各選項的答題人數?列出500人以上且為公司指派的對象…且連絡電話開頭為02者假設今天回收是5萬份…Scenario1:資料收集處理假設回收50份Scenario2:MemberSorting你任職於某大電信公司行銷部門為了擬定促銷策略想了解目前800萬會員內，各付費方案人數比例想調出每月帳單金額超過5000元的名單…且濾出30歲以上之男生想促銷iPhone5s面臨的問題向IT部門要資料卻要2個月後才給跟你說沒這個欄位…做不到…Scenario2:MemberSorting你任職Scenario3:ERP上線你任職於一家電子組裝公司因應綠色環保法規，你必需將供應商分類 (合格/不合格/待檢驗)以重新整理零件存貨為了方便作業，你請IT部門做系統調整IT部門說如果是加欄位則2天就可以做完…但如果是更改資料庫結構，就要很久你心想「差在哪裏?」Scenario3:ERP上線你任職於一家電子組裝公Scenario4:資料更新問題你任職為零售賣場的分析師你將POS(銷售點)系統產生的紀錄全留下某日得知新竹店電話改了請問要修改幾筆資料?容易有什麼問題?Scenario4:資料更新問題你任職為零售賣場的分析Scenario5:交易不完整你有兩個銀行戶頭A銀行 B銀行$3,000

$3,000$1,000

$3,000$1,000

$5,000$0

$3,000初始餘額存$3,000到A銀行轉$2,000到B銀行(1)A銀行先扣$2,000(2)B銀行再加$2,000$2,000發生大地震~全台大停電------------------------------------為何會這樣?如何解決?Scenario5:交易不完整你有兩個銀行戶頭A銀行Scenario6:更多資料庫的管理問題資料庫整合你任職於某大金控公司客服部門公司最近合併了銀行、保險、與證券公司客戶打電話來問「為什麼還是收到三張帳單?」保險的客戶打電話來，

你卻調不出客戶資料資料庫安全你任職於某大電視購物公司聽聞拍賣網站有盜賣公司會員資料光碟，一筆3元好奇買來看，卻不會用?Scenario6:更多資料庫的管理問題資料庫整合學習目的這是一門介紹基礎理論的課資料庫背後的理論管理資料庫應具備的觀念資料庫可能衍生的相關議題這是一門著重應用與實務的課如何建立與使用資料庫→以MSAccess/SQLServer為例靈活運用資料並進行查詢分析Ex.問卷分析了解各種資料庫最新應用Ex.資料倉儲、BigData學習目的這是一門介紹基礎理論的課授課與評分方式課堂上課，

配合應用解說與討論評分方式作業報告 30%期中考 30%期末考及分組專題 40%課程網址.tw/~wyang授課與評分方式課堂上課，配合應用解說與討論楊立偉教授台灣大學工商管理學系2013FallIntroductiontoDatabaseManagement資料庫發展趨勢ConfidentialandProprietary楊立偉教授2013FallIntroductiontoTrendofBigData(1)BigData係指資料大量成長根據IBM的研究，全世界90%的資料是在過去2年產生Google、Facebook等，就是站在BigData上的範例巨大的數據源，將改變整個學術界，商界和政府依賴資料庫工具處理包括capture，storage，search，analytics等TrendofBigData(1)BigDataTrendofBigData(2)資料分析人才需求大幅增加TrendofBigData(2)資料分析人才UnderstandingBigDataUnderstandingBigDataUnderstandingBigDataUnderstandingBigDataUnderstandingBigDataUnderstandingBigDataUnderstandingBigDataUnderstandingBigDataBigData巨量資料分析的應用緣起

Source:IBM2012智慧科技論壇BigData巨量資料分析的應用緣起Source:BigData四大特性Source:IBMBigDataHub/BigData四大特性Source:IBMBigDatabaserulestheworld(1)2013top10richmenNameWealthIndustryNationality1.

BillGates$72.7BMicrosoft

USA2.

CarlosSlimHelu$72.1BTelecomMexico3.

AmancioOrtega$57.0BZaraSpain4.

WarrenBuffett$53.5BFinanceUSA5.

LawrenceEllison$43.0BOracle

USA6.

CharlesKoch$34.0BOilUSA7.DavidKoch$34.0BOilUSA8.

LiKa-shing$31.5BRealestateHongKong9.LilianeBettencourt$30.0BL'OrealFrance10.

BernardArnault$41.0BLVMHFranceDatabaserulestheworld(1)20Databaserulestheworld(2)aboutORACLE繼Microsoft及IBM後，全球收入第三多的軟體公司1977年在矽谷由3人合資成立，當時IBM發表「關聯資料庫」的論文，Ellison以此造出新資料庫，名為甲骨文首年賺不到百萬美元，10年內迅速冒起2012年市值1529億美元現況2012年營收371億美元全球有38萬個客戶，1400萬個開發者財星100大企業全使用Oracle的資料庫Databaserulestheworld(2)abDatabaserulestheworld(3)產業#1金融Banking通信與媒體Telecom&media建築Construction製造Manufacturing生技醫療Lifesciences andhealthcare專業服務Professionalservices政府Publicsector零售Retail運輸Transportation企業#1前20大航空公司airlines前20大汽車公司automotive前20大政府機構governments前20大高科技公司hightech前20大保險公司insurers前20大製造公司manufacturers前20大石油公司oilandgas前20大製藥公司pharmas前20大水電公司utilities前20大銀行公司banksDatabaserulestheworld(3)產業EvolutionofDatabaseTechnologiesEvolutionofDatabaseTechnoloGrowthdriversMicrosoft:《TheFourthParadigm:Data-IntensiveScientificDiscovery》科學發展走過「實驗、理論、計算」三個典範，將近入以「資料」為重點的第四典範IDCTaiwan需管理的資料持續爆炸性成長商業智慧(businessintelligence)需求持續成長新的資料庫技術創造新的機會GrowthdriversMicrosoft:《TheDatabaseMarketinTaiwan2011MarketRevenueUS$130MTop3:Oracle,Microsoft,IBMSource:IDCTaiwanDatabaseMarketinTaiwan2011問題討論問題討論指定閱讀作業(1)《雲端時代的殺手級應用：海量資料分析》胡世忠著，天下文化，2013年3月閱讀第1~3章指定閱讀作業(1)《雲端時代的殺手級應用：海量資料分析》指定閱讀作業(2)於9/256am前繳交Word檔含心得報告及問題回答大數據對企業管理的影響為何？企業如何因應？個人對於資料庫管理的認識與期望指定閱讀作業(2)於9/256am前繳交楊立偉教授台灣大學工商管理學系2013FallIntroductiontoDatabaseManagementConfidentialandProprietary楊立偉教授2013FallIntroductionto老師介紹台大資訊管理博士研究領域為知識工程、搜尋引擎、語意分析、網路行銷等超過20項語意及行為分析相關專利發明人現任台大工管系兼任助理教授

2006~意藍資訊董事總經理(創辦人)1999~龍捲風科技董事長

2008~經歷資訊及通信國家標準技術委員2009年獲選經理人雜誌「100MVP最有價值經理人」2012年獲數位時代雜誌「創業之星」首獎FunTime,Co-founder國內最大旅遊搜尋引擎MobileWizInc.,Co-founder國內最大互動簡訊行銷公司DigitalJWalterThompson,Taiwan,PrincipalConsultant(兼任)老師介紹台大資訊管理博士現任台大工管系兼任助理教授20課程目標了解資料庫管理之目的與理論培養資料庫管理之觀念與能力了解資料庫管理之工具與應用了解資料庫管理和組織、企業等相關之管理議題課程目標了解資料庫管理之目的與理論WhyDatabase(1)–每人每天產生多少資料搭公車、搭捷運、刷悠遊卡到便利商店買飲料用手機上臉書、按個讚、打個卡送個LINE、拍張照片上傳上網瀏覽、刷卡購物、給個評價過個馬路被超過十個鏡頭拍下WhyDatabase(1)–每人每天產生多少資料搭WhyDatabase(2)–資料快速成長Source:IBM2012全球CEO調查報告/tw/blueview/2012oct/8.htmlWhyDatabase(2)–資料快速成長SourcWhyDatabase(3)運用資料與演算，達成智慧決策Source:IBM2012全球CEO調查報告/tw/blueview/2012oct/8.htmlWhyDatabase(3)運用資料與演算，達成智慧決策WhyDatabase(4)–管理整體資訊供應鍊Source:IBM2012全球CEO調查報告/tw/blueview/2012oct/8.htmlWhyDatabase(4)–管理整體資訊供應鍊SoWhyDatabase(5)–企業應用數位化時代中，資訊扮演的角色越來越重要所有企業資訊化的背後，幾乎都與資料庫有關。生產/研發/供應商行銷/銷售/客戶組織/人事財會/資料分析策略/決策支援WhyDatabase(5)–企業應用數位化時代中，Scenario1:資料收集處理假設回收50份第一題各選項的答題人數?第二題各選項的答題人數?列出500人以上且為公司指派的對象…且連絡電話開頭為02者假設今天回收是5萬份…Scenario1:資料收集處理假設回收50份Scenario2:MemberSorting你任職於某大電信公司行銷部門為了擬定促銷策略想了解目前800萬會員內，各付費方案人數比例想調出每月帳單金額超過5000元的名單…且濾出30歲以上之男生想促銷iPhone5s面臨的問題向IT部門要資料卻要2個月後才給跟你說沒這個欄位…做不到…Scenario2:MemberSorting你任職Scenario3:ERP上線你任職於一家電子組裝公司因應綠色環保法規，你必需將供應商分類 (合格/不合格/待檢驗)以重新整理零件存貨為了方便作業，你請IT部門做系統調整IT部門說如果是加欄位則2天就可以做完…但如果是更改資料庫結構，就要很久你心想「差在哪裏?」Scenario3:ERP上線你任職於一家電子組裝公Scenario4:資料更新問題你任職為零售賣場的分析師你將POS(銷售點)系統產生的紀錄全留下某日得知新竹店電話改了請問要修改幾筆資料?容易有什麼問題?Scenario4:資料更新問題你任職為零售賣場的分析Scenario5:交易不完整你有兩個銀行戶頭A銀行 B銀行$3,000

$3,000$1,000

$3,000$1,000

$5,000$0

$3,000初始餘額存$3,000到A銀行轉$2,000到B銀行(1)A銀行先扣$2,000(2)B銀行再加$2,000$2,000發生大地震~全台大停電------------------------------------為何會這樣?如何解決?Scenario5:交易不完整你有兩個銀行戶頭A銀行Scenario6:更多資料庫的管理問題資料庫整合你任職於某大金控公司客服部門公司最近合併了銀行、保險、與證券公司客戶打電話來問「為什麼還是收到三張帳單?」保險的客戶打電話來，

你卻調不出客戶資料資料庫安全你任職於某大電視購物公司聽聞拍賣網站有盜賣公司會員資料光碟，一筆3元好奇買來看，卻不會用?Scenario6:更多資料庫的管理問題資料庫整合學習目的這是一門介紹基礎理論的課資料庫背後的理論管理資料庫應具備的觀念資料庫可能衍生的相關議題這是一門著重應用與實務的課如何建立與使用資料庫→以MSAccess/SQLServer為例靈活運用資料並進行查詢分析Ex.問卷分析了解各種資料庫最新應用Ex.資料倉儲、BigData學習目的這是一門介紹基礎理論的課授課與評分方式課堂上課，

配合應用解說與討論評分方式作業報告 30%期中考 30%期末考及分組專題 40%課程網址.tw/~wyang授課與評分方式課堂上課，配合應用解說與討論楊立偉教授台灣大學工商管理學系2013FallIntroductiontoDatabaseManagement資料庫發展趨勢ConfidentialandProprietary楊立偉教授2013FallIntroductiontoTrendofBigData(1)BigData係指資料大量成長根據IBM的研究，全世界90%的資料是在過去2年產生Google、Facebook等，就是站在BigData上的範例巨大的數據源，將改變整個學術界，商界和政府依賴資料庫工具處理包括capture，storage，search，analytics等TrendofBigData(1)BigDataTrendofBigData(2)資料分析人才需求大幅增加TrendofBigData(2)資料分析人才UnderstandingBigDataUnderstandingBigDataUnderstandingBigDataUnderstandingBigDataUnderstandingBigDataUnderstandingBigDataUnderstandingBigDataUnderstandingBigDataBigData巨量資料分析的應用緣起

Source:IBM2012智慧科技論壇BigData巨量資料分析的應用緣起Source:BigData四大特性Source:IBMBigDataHub/BigData四大特性Source:IBMBigDatabaserulestheworld(1)2013top10richmenNameWealthIndustryNationality1.

BillGates$72.7BMicrosoft

USA2.

CarlosSlimHelu$72.1BTelecomMexico3.

AmancioOrtega$57.0BZaraSpain4.

WarrenBuffett$53.5BFinanceUSA5.

LawrenceEllison$43.0BOracle

USA6.

CharlesKoch$34.0BOilUSA7.DavidKoch$34.0BOilUSA8.

LiKa-shing$31.5BRealestateHongKong9.LilianeBettencourt$30.0BL'OrealFrance10.

BernardArnault$41.0BLVMHFranceDatabaserulestheworld(1)20Databaserulestheworld(2)aboutORACLE繼Microsoft及IBM後，全球收入第三多的軟體公司1977年在矽谷由3人合資成立，當時IBM發表「關聯資料庫」的論文，Ellison以此造出新資料庫，名為甲骨文首年賺不到百萬美元，10年內迅速冒起2012年市值1529億美元現況2012年營收371億美元全球有38萬個客戶，1400萬個開發者財星100大企業全使用Oracle的資料庫Databaserulestheworld(2)abDatabaserulestheworld(3)產業#1金融Banking通信與媒體Tel