互联网+大数据应用

互联网+大数据应用第1页这是最好时代，这是最坏时代；这是智慧时代，这是愚蠢时代；这是疯狂时代，这是理性时代。2这更是猪也能飞上天时代，听说只要选对风口第2页3目录引子：“互联网+”提出1“互联网+”1.1互联网前世今生1.2“互联网+”本质1.3“互联网+”对传统行业渗透与颠覆1.4“互联网+”所带来主动影响与挑战2大数据应用2.1认识大数据2.2大数据相关技术2.3大数据成功应用案例互联网+与大数据应用第3页引子“互联网+”提出第4页”互联网+“提出全国人大代表马化腾在两会上提交提议指出；3月5日十二届全国人大三次会议上，李克强总理在政府工作汇报中首次提出“互联网+”行动计划。11月于扬在易观第五届移动互联网博览会讲话。制订“互联网+”行动计划，推进移动互联网、云计算、大数据、物联网等与当代制造业结合，促进电子商务、工业互联网和互联网金融健康发展第5页6月24日，国务院常委会经过《互联网+行动指导意见》在详细行动安排上，提出了包含“互联网+”促进创业创新、协同制造、当代农业、智慧能源、普惠金融、公共服务、高效物流、电子商务、便捷交通、绿色生态、人工智能等11个重点领域发展目标任务，并确定了相关支持办法。第6页包括领域由制造业向第一、二、三产业全方面拓展发力方向涵盖政府和市场两端政府——深化体制机制改革；主动利用互联网提升公共服务水平市场——从存量经济和增量经济两方面入手，促进经济实质增加首提清理妨碍互联网+发展不合理制度政策，这与简政放权、转变政府职能工作思绪一脉相承。产业实践丰富了对互联网+认识，拓宽了顶层设计思绪从3月初到6月底，有哪些推进？第7页“互联网+”由来这是新常态经济条件下国家发展转型必定结果；这是推进政府职能转变，促进政府简政放权、创新公共服务供给模式、提升政府运转效率必定选择；这是推进行业跨界融合，进行产业升级换代，促进组织和技术双重创新，释放新增加点，破解经济下行压力必定要求；李克强总理为何在两会时刻提出“互联网+”？中央经济工作会议已经有相关要求结合审批权下放和撤消，审批流程精简新常态下地方经济发展方向“新常态”可总结为“中高速、优结构、新动力、多挑战”四大特征大数据、云计算等与互联网亲密相关领域价值越来越凸显；互联网正在成为水、电、煤普通基础设施，能够有力地推进实体经济发展；互联网与传统行业融合，能够促进传统行业转型与升级8第8页1“互联网+”1.1“互联网”前世今生第9页一个改变历史时刻1994年4月20日，中科院一条64K国际专线，连接国际互联网22互联网走入中国第10页什么是互联网互联网——是指将两台计算机或者是两台以上计算机终端、客户端、服务端经过计算机信息技术伎俩相互联络起来结果，人们能够与远在千里之外朋友相互发送邮件、共同完成一项工作、共同娱乐。第11页互联网三大本质联联接网网络互互动第12页互联网三大本质“互”即“互动”搜狐，baidu、微信分别代表互联网信息获取三个阶段被动接收信息精准取得信息彼此交流信息信息只有流动才能产生价值第13页互联网三大本质“联”即“联接”今天，因为wifi、2G、3G、4G、CDMA等无线通讯网络发展，经过手机就能够让我们随时随地联接起来。我们已经全方面进入了移动互联网时代。未来，电脑和手机将不再是唯一上网终端。将处处都是”网器“。任何人、任何物、在任何时间、任何地点，都能够自由联接。我们将进入无限互联网时代。人与人联接，人与物联接，物与物联接第14页互联网三大本质

“网”即“网络”第二次工业革命早期，工厂用电都是自建发电站。以后才有集中电厂，经过电网将电力传输到千家万户。信息存放到“云端”，并在“云端”对信息进行处理，这就叫“云计算”。我们使用不是终端，而是网络，网络存贮，网络计算、网络交互。公有云、私有云、专业云，无数张无边无际网络，组成一个相互交织网络体。愈加高效率！第15页互联网发展历程1991年，科学家提姆•伯纳斯李开发出了万维网及简单浏览器，互联网开始向社会大众普及；互联网起源20世纪70年代后期高速移动网络20世纪90年代至今智能综合网络未来…互联网发展20世纪80年代1969年，美国国防部起动计算机网络开发计划ARPANET(阿帕网)——互联网始祖；1983年，ARPANET宣告将“NCP”协议向“TCP/IP”协议过渡，Internet取代阿帕网；第16页中国互联网时代演进1994年1998年1999年中国互联网时代开启中国正式加入国际互联网，成为第77个拥有全功效Internet国家马云创办了阿里巴巴，奠定了中国电商基础博客，QQ诞生，开启了UGC&IM时代baidu成立，新浪/网易/搜狐在纳斯达克上市世界范围互联网泡沫无数企业死去Web1.0未来Web2.0Web3.0淘宝诞生，成为国内最大电商平台支付宝诞生，奠定第三方&移动支付基础第一款iphone公布，Google开始改良android系统3G拍照发放/全民微博时代开启；iphone在全球热销；移动支付，移动电商，移动IM……开启全民热潮团购网站展现极火爆热潮微信公布余额宝公布/中国移动4G拍照公布互联网&移动互联网行业已暴发，正以不可逆转之势改变未来移动互联网百家争鸣第17页中国互联网规模

年网民数：0.79亿网民数6.88亿英法德意四国总人口2.7亿中国网购人群3.61亿第18页1.2“互联网+”本质第19页

文字

印刷术电话与无线电计算机与互联网语言起源于何时已无从考究，按圣经说，语言起源于后巴别塔时代甲骨文是中国已发觉时代最早、体系较为完整文字（商代后期，公元前14世纪）印刷术是中国古代四大创造之一。它开始于隋朝雕版印刷，经宋仁宗时代毕升发展、完善，产生了活字印刷贝尔1876年创造电话，1895年意大利马可尼和俄国波波夫几乎同时创造了无线电第一台电子计算机ENIAC(埃尼阿克)在1946年2月14日问世；1969年首个互联网诞生语言互联网+本质就是用先进信息技术，对传统行业进行改造优化20信息技术推进着人类社会及文明进步第20页“互联网+”？？？莫非就是传统行业戴上“互联网+”“高帽子”传统广告传统集市传统卖场传统银行互联网+====第21页“互联网+”应该酱紫传统行业

互联网

云计算、大数据、物联网等互联网技术

互联网+“互联网+”是两方面融合升级版，将互联网作为当前信息化发展关键特征，提取出来，并与工业，商业，金融业等服务业全方面融合。这其中最关键就是创新，只有创新才能让这个“+”更有意义更有价值。+这是化学公式！+代表融合与创新第22页23“互联网+”去中心化，最大价值是帮助全社会建立最大效率连接“互联网+”是连接器，加速器，数据管道，信息能源，帮助传统产业建立最大效率连接“互联网+”不是要颠覆和替换传统行业，商业机会更多属于传统行业“+”，或为叠加，或为倍增，或为几何级数加号之后无限可能：+产业、+政务、+民生“互联网+”最大价值传统行业互联网+传统行业传统行业互联网ⅹ传统行业传统行业叠加倍增级数（传统行业）互联网第23页互联网+微观本质互联网+本质：从微观上看，就是传统业务数据化、在线化。在线化数据化人商品交易行为迁移至互联网上下游协作体被调用和挖掘内部第24页互联网+宏观本质互联网+本质：从宏观上看，就是打破旧体制对“信息”束缚，促进了第三次工业革命产生。奴隶社会里奴隶（“人”）取得解放，促进了社会向封建社会转型；十七世纪，银行创建、公债发行等金融业变革，“财”通天下，促进了第一次工业革命产生；打破旧体制对“人”、“财”和“信息”等关键生产力要素束缚，都能极大促进生产力发展，形成新生产模式。第25页1.3“互联网+”对传统行业渗透与颠覆第26页产品设计产品生产产品投入产品营销产品流通产品服务ONETWOTHREEFOURFIVESIX案例：雕爷牛腩、何狸家规模：雕爷牛腩经过互联网将服务做到极致，取得VC投资6000万、估值4亿元人民币案例：洋码头、考拉海购规模：以海淘为例，国内市场规模从120亿发展到744亿元，迫使海外物流厂商直邮中国微博、微信纯线上营销案例：戴尔、海尔、小米规模：小米3年时间，市值估值就到达了100多亿美元案例：爱定客、尚品宅配规模：尚品宅配每年保持了60%增加，销售额已经超出25亿元C2B用户参加按需订制众包协同生产众筹案例：kickstarter、京东众筹规模：京东众筹成为国内首个亿级平台，筹资成功率近90%、总金额过亿案例：带客通、黄太吉、西少爷规模：带客通，150天帮助万科与万达节约营销成本11亿去中心化跨境电商崛起O2O极致服务一、“互联网+“改造行业每一个步骤第27页中国餐饮O2O在线商务用户规模年为0.98亿，相比增加58.1％；20这一数字上升到1.39亿，预计到20这一规模将超2亿中国打车软件用户规模以滴滴打车为例，补助之前，其用户数约2200万，日均订单数为35万单；3月27日，用户数突破1亿，今后日均订单数维持在530万左右。二、已率先被互联网撬动行业第28页三、最猛烈冲击来自互联网金融李克强总理1月4日在深圳前海微众银行敲下电脑回车键，卡车司机徐军就拿到了3.5万元贷款。互联网银行既无营业网点，也无营业柜台，更无需财产担保，而是经过人脸识别技术和大数据信用评级发放贷款。——互联网银行一小步，金融改革一大步第29页1、第三方支付移动支付P2P理财大众理财1季度6.6亿笔3.9万亿元年初8100万户1853亿元估值1433亿元线上交易占29%三、最猛烈冲击来自互联网金融互联网金融和传统金融碰撞以及争论连续了一年，但前者规模并未所以停顿碰撞速度。当前互联网金融模式仍在探索发展中，主要包含第三方支付，金融产品线上销售，P2P理财以及众筹模式。这是最早出现也是最具代表性互联网金融业务，当前规模巨大2、线上销售互联网产品销售渠道业务，以余额宝、理财通等为经典代表3、互联网信贷以P2P贷款为代表，如宜信，有利网等4、众筹模式即经过在互联网展示募集公众资金，如京东众筹等第30页四、传统教育领域也在经受冲击传统教育规模在线教育规模MOOC新模式在高等教育领域蔓延清华、北大等国内名校纷纷加入MOOC队伍，成为全球MOOC浪潮中最有价值看点尤其是清华大学三项改革助力校长陈吉宁履新环境保护部，三年内从正厅级升至正部，MOOC模式即是改革之一第31页四、传统教育领域也在经受冲击因为受到在线教育冲击，执传统培训机构牛耳长达十年俞敏洪也不得不疾呼：

新东方商业模式再不改变就会落后！投资案例25笔在线教育机构资金涌入近千家数十亿互联网公司渗入行业，动作频频1000亿元1734亿元传统教育互联网巨头学大教育好未来复星集团阿里巴巴腾讯baidu网易在线教育企业倒闭近50家第32页五、在线旅游模式正在悄然演进年轻人选择愈加多变他们正在逐步告别传统旅行社第33页五、在线旅游模式正在悄然演进OTA携程加紧平台业务发展，引入产品搜索模式搜索平台去哪儿力推TTS平台和团购、直销业务模式演进移动端成为主要交易平台从单一产品预订到出行服务休闲旅游成为市场竞争热点携程与去哪里移动营收占比均超30%和旅行相关产品组合以及游记、门票、小区盛行以途牛上市为标志，规模或达750亿模式融合第34页你已经多久没有打开电视了？六、广电行业角力、整合与洗牌1200亿元59.2%互联网视频规模互联网视频消费增速中央电视台、湖南、浙江、江苏光线、华谊、博纳、中影传统制片发行方传统电视台优酷、爱奇艺、腾讯视频视频网站牌照商、电视厂商、有线电视运行商、盒子厂商相关方3700亿元2%广电视频规模广电视频消费增速第35页六、广电行业角力、整合与洗牌视频网站对独播权争夺加剧阿里入股文化中国和华数传媒，12.2亿美元投资优酷土豆苏宁联合弘毅资本4.2亿美元收购PPTVbaidu以37亿美元收购PPS视频业务巨头并购四大冲突电视台和网站对渠道和主导权争夺加剧互联网电视利益方冲突加剧正版内容拥有商与盗版商冲突加剧广电视频行业未来发展趋势移动趋势部分网站移动端视频播放量达50%，移动端成各大网站关键阵地独播趋势各大网站纷纷以过亿高价购置独播内容，腾讯视频数亿元买下《中国好声音》自制趋势自制成为视频网站打造竞争力主要筹码腾讯视频推出《你正常吗》自制视频客厅战略各家公布新互联网电视或互联网电视盒子，乐视公布超4K超级电视第36页中国制造业纠结：等死：不向线上转型就可能坐以待毙找死：往线上转型可能遭遇水土不服3.4%传统制造业市场线下增速3.4%200%传统制造业市场线上增速200%现实状况互联网企业虎视眈眈：汽车之家、天猫商城已逐步开始汽车线上销售新时代，创新汽车网购＋体验模式，而更多拟借助互联网渠道销售高端汽车品牌也必将从‘销售+服务’范例中受到启发特斯拉让世人看到了电动汽车和智能汽车原来还能这么玩谷歌来了，AndroidAuto亮相苹果来了，被誉为车载IOSCar-play公布传统车厂来了，纷纷将智能化作为旗下产品最新概念谷歌、苹果、Fackbook等全球巨头，baidu、腾讯、360、小米等国内互联网企业等已经进入这一市场，他们拥有“硬件+云端数据+APP应用”优势虚拟现实设备（眼镜）企业：成立不足两年却让扎克伯格追求数月，掏出20亿美元收下七、传统制造业变天在即第37页七、传统制造业变天在即三股势力参加传统制造业角逐LG、SUMSANG、SONY、Panasonic、SIEMENS格力、美、海尔、海信、TCL、创维、康佳乐视、小米、爱奇艺、优酷土豆平台企业转型企业跨界企业并购浪潮推进行业洗牌制造业在整合重塑中转型美国家电巨头惠而浦34亿元控股合肥三洋美国私募巨头KKR收购青岛海尔10%股份阿里巴巴斥资28亿港元投资海尔电器制造机器设备，自动化技术将代替人工渠道提升电商消费百分比，新设线上子品牌用户思维经过大数据掌握用户需求并反向用于生产产品全方面转向智能，在软件与内容上与互联网企业合作制造业纵横向链条整合与重塑正在发生第38页八、通信运行商也无法防止改变发生运行商处理方案商互联网企业游戏企业其它企业虚拟运行商传统运行商中国移动中国电信中国联通终端渠道商42家已经取得电信运行拍照虚拟运行商正在各显神通，结合本身业务特点做出有差异性和灵活性增值服务12467亿700亿200亿传统运行商虚拟运行商（预测）年增加率高达50%虚拟运行商市场规模“170”第39页九、拂晓前黑暗：互联网餐饮起步热点事件：1月，baidu宣告收购糯米网41%股份，从而完成全资收购5月，大众点评网8000万美金投资外卖订餐网“饿了么”5月，大众点评网5000万美金战略投资国内点餐平台“大嘴巴”分析：以大众点评为例，习惯了多年慢节奏发展却在突然登上高速列车，助推器正是互联网快速发展，尤其是地图和移动支付完善，让餐饮O2O彻底进化，互联网餐饮即将走过拂晓前黑暗全方面起步第40页九、拂晓前黑暗：互联网餐饮起步10%2.5万亿元3.7万亿元餐饮O2O整体规模潜力巨大O2O销售规模O2O销售规模连续三年规模维持这一增速饿了么美团美团大众点评糯米点餐订座团购外卖大众点评大嘴巴番茄快点主要玩家线上引流扩大销售增加曝光餐饮O2O平台餐饮O2O平台对接用户和商家需求”省钱省时间服务好口味好商家需求用户需求第41页十、政府，也在改变政府经过互联网、大数据分析、物联网等技术，整合城市运行关键系统各项关键信息，从而改变对包含民生、环境保护、公共安全、城市服务、工商业活动在内各种需求响应方式与服务感知。第42页政务微博政务微信政务微博：是指中国政府部门推出官方微博账户，力行“织博为民”。政务微博在社会管理创新、政府信息公开、新闻舆论引导、倾听民众呼声、树立政府形象、群众政治参加等方面起到了主动作用。政务微博方兴未艾，政务微信已崭露头角，微博“前浪”还未降温，“后浪”微信又紧随而来。作为移动互联网时代一个全新沟通交流方式，继“官微”之后，政务微信也成为官民沟通全新平台。十、政府，也在改变第43页十一、医疗健康，也可如此智慧智能穿戴设备以智能穿戴设备为载体，互联网为渠道新型医疗模式：运动健康手环、眼镜、甚至智能袜子、鞋子，将个人运动数据统计并上报，依靠医疗云平台大数据分析，实现健康诊疗。智能穿戴设备数据上传医疗云平台分析诊疗手机/PC经过互联网访问云平台BAT布局医疗健康行业第44页1.4“互联网+”所带来主动影响及挑战第45页1.“互联网+”时代带来主动影响便捷性即时性交互性功效齐全性服务灵活性信息传输广泛性……第46页1.“互联网+”时代带来主动影响1)个人层面：为每一个个体提供学习、生活方方面面个性化服务互联网+这一新技术形态建立，使得人人、人物、物物广泛连接、交互成为可能。借助网络技术，学习、科研、生活已不再受到校园这一物理边界制约，依靠于互联网信息技术也延伸至校园之外，与学习、科研、生活紧密叠加，为每个个体提供了个性化服务。图：数据交互形态改变第47页1.“互联网+”时代带来主动影响案例：基于云服务“慕课”学习平台第48页1.“互联网+”时代带来主动影响案例：智能穿戴设备图：智能手环第49页1.“互联网+”时代带来主动影响2)社会层面：发展了人社会关系以网结缘社会关系扩大了社会关系范围，使人们从地域性个人变成了世界性个人.图：以网络为载体社会关系

哔哩哔哩弹幕网

豆瓣

知乎网易云音乐第50页1.“互联网+”时代带来主动影响2)社会层面：丰富了社会生活形态移动互联网塑造了全新社会生活形态，潜移默化改变着移动网民日常生活。第51页案例：“互联网+”正由第三产业向第二产业进而向第一产业渗透。年中国一大批服务类O2O企业崛起就是例证。1.“互联网+”时代带来主动影响第52页3)国家层面：提升综合国力和国际竞争力国家从战略角度考虑“互联网+”，借助以互联网为代表新技术力量，把“互联网+”纳入国家行动计划，是经济新常态下理性选择。1.“互联网+”时代带来主动影响第53页2.“互联网+”时代面临风险与挑战信息庞杂性缺乏规范性安全风险性人际隔离性信息可靠性信息碎片性……第54页1)个人层面：网络强化了部分人群人际隔离2.“互联网+”时代面临风险与挑战第55页2.“互联网+”时代面临风险与挑战数据链接：截至年12月，我国网民规模达6.88亿，整年共计新增网民3951万人。互联网普及率为50.3%。调查结果显示，年新网民最主要上网设备是手机，使用率为71.5%。年新增加网民群体中，低龄(19岁以下)、学生群体占比分别为46.1%、46.4%。第56页2.“互联网+”时代面临风险与挑战2)社会层面：网络失范现象危害社会稳定第57页2.“互联网+”时代面临风险与挑战3)国家层面：网络安全问题存在隐患我国已成为网络大国，但还不是网络强国，在网络安全方面面临着严峻挑战。第58页网络安全问题起源：一是电脑病毒。病毒平时潜伏固化在计算机系统或武器系统中，到预定时间便会突然暴发，毁掉全部数据，使主要信息系统瘫痪。二是电磁脉冲。经过发射带有病毒电磁波，使主要信息系统发生数据错乱，如代码犯错、被删除、软件无法开启等，严重还能够使主要信息系统自我爆炸、自行毁灭。三是电脑黑客。就是经过网络入侵他人计算机或信息系统，植入木马、篡改页面、窃取信息等，这也是和平时期网络攻击一个主要形式，也是最常见一个形式，有教授把它称为“第五维战场”。2.“互联网+”时代面临风险与挑战第59页2.“互联网+”时代面临风险与挑战互联网“震网”病毒斯诺登事件第60页2.“互联网+”时代面临风险与挑战观念陈旧问题。一方面，一些传统企业受经营方式、经营理念、思维惯性等因素影响，对互联网依然有怀疑和抵触心态，主观上还不能够主动主动去拥抱互联网。其次，互联网企业对传统行业认知、了解还不够深。行业壁垒问题。在准入方面，部分行业还存在着市场开放程度比较低、准入门槛比较高问题，在监管方面也存在过程比较复杂、协同机制不健全、效率比较低等问题。技术支撑问题。存在网速相对较慢、网费还偏、标准规范不完善、跨界服务型人才匮乏、数据资源开放不足、安全性仍有待提升等问题。第61页2.“互联网+”时代面临风险与挑战“互联网+”泡沫聚集越来越显著baidu一下，“互联网+”搜索结果高达上亿条；一些人将互联网+视为万能神丹，好像任何行业，任何难做事情，有了互联网+，都能迎刃而解；拿到A轮融资互联网企业有90%以上已经死掉；正确认识“互联网+”互联网所做是对一些传统行业改造进行了加速和升级，并没有从根本上改变传统内涵。比如电商只是干掉了中间步骤，但并没改变零售本质；互联网思维经营饭店，菜不好吃，也得关门；当互联网越来越成为各个行业标配时，互联网已经难以成为差异化竞争优势，反而传统东西才能成为竞争优势；“互联网+”关键不在于“互联网”，而在于“+”。互联网与传统行业融合，能否成功，关键在于融合。只有结合互联网和传统行业各自优势，才能迸发出新业态和新创新；警觉“互联网+”泡沫，正确认识“互联网+”作用第62页“互联网+”跨界邮政不努力，顺丰就替它努力银行不努力，支付宝就替它努力运行商不努力，微信就替它努力出租车不努力，快滴就替它努力baidu干了广告事，淘宝干了超市事阿里巴巴干了批发市场事微博干了媒体事，微信干了通信事不是外行干掉内行，是趋势干掉规模你不敢跨界，就有些人跨过来打劫第63页2大数据应用2.1认识大数据第64页65未来大数据生活7：00，你被手机闹钟叫醒。昨晚你带着一款小型可穿戴设备睡觉。这个设备连接着你手机里一款大数据APP，你打开它就能够看到你昨晚睡觉时翻身次数、心跳和血压情况。依据测量结果，它提议你今天出门之前多喝点橙汁类饮品来补充维生素。9：00，今天你要带朋友到海口望海商城逛逛，你打开某互联网企业大数据产品“XX预测”，看看该商圈今天预计会有多少人，再看看海口今天交通预测。“XX预测”依据以往用户定位请求信息提议你乘公交前往。12：00，逛了一圈，你和朋友都累了，想找个地方吃饭。你打开大数据软件，寻找附近餐馆。经过该软件，你能够提前看到餐馆视频环境，看看是否人多。2XXX年一个周末第65页66未来大数据生活14:00,吃过午饭，你想去附近公园玩玩，但你不知道应该去万绿园还是去金牛岭公园。你又打开“XX预测”，希望它帮你分析一下，哪个公园相对不太拥挤。依据结果，你去了万绿园。16：00，你正在公园里休息，收到了催缴电话费短信。你很好奇自己过去三年每个月消费统计。但过去运行商只能让你查到六个月以内消费信息。因为中国移动最少有5亿用户，天天最少能产生10次计费统计。天天50亿计费统计，一年下来就是1800亿条统计。这是一个大数据存放和归纳技术难题。但在大数据时代，过去几年电话通讯信息都能够查到了。22：00，晚上睡觉时候，你家孩子哭闹起来。你把孩子哭声录入一个大数据软件中。软件能告诉你孩子为何哭。是饿了，还是哪里不舒适，还是说只是想撒撒娇……18：00，你回到了家，你可穿戴设备告诉你，今天你在室内和室外时间分别都是多少，你一天内吸入了多少雾霾，消耗了多少卡路里。第66页67SocialMediaMachine/SensorDOC/MediaWebClickstreamAppsCallLogLog什么是数据？半结构化/非结构化数据第67页数据本质是生产资料和资产仅供开采162年仅供开采45年仅供开采60年不可再生资源VS数据数据不再是社会生产“副产物”，而是可被二次乃至屡次加工原料，从中能够探索更大价值，它变成了生产资料。第68页数据管理技术发展历史数据管理技术历经人工管理、文件管理、数据库管理等时代，大数据技术出现使该领域进入了一个新发展阶段-69-第69页大数据与传统数据区分？进化阶段商业问题支持技术产品特点数据搜集

(60年代)“过去五年中我总收入是多少？”计算机、磁带和磁盘提供历史性、静态数据信息数据访问

(80年代)“在新英格兰分部去年三月销售额是多少？”关系数据库（RDBMS），结构化查询语言（SQL），ODBCOracle、Sybase、Informix、IBM、Microsoft在统计级提供历史性、动态数据信息数据仓库；

决议支持

(90年代)“在新英格兰分部去年三月销售额是多少？波士顿据此可得出什么结论？”联机分析处理（OLAP）、多维数据库、数据仓库在各种层次上提供回溯、动态数据信息大数据“下个月波士顿销售会怎么样？为何？”云计算、分布式存放、NOSQL数据库提供预测性信息第70页大数据概念大数据(BigData)是指无法在一定时间内用常规软件工具提取、存放、搜索、共享、分析和处理海量、复杂数据集合简单一点说，就是用现有普通技术难以管理数据。第71页体量Volume多样性Variety价值密度Value速度Velocity非结构化数据超大规模和增加占总数据量80~90%比结构化数据增加快10倍到50倍是传统数据仓库10倍到50倍大数据异构和多样性很多不一样形式（文本、图像、视频、机器数据）无模式或者模式不显著不连贯语法或句义大量不相关信息对未来趋势与模式可预测分析深度复杂分析（机器学习、人工智能Vs传统商务智能(咨询、汇报等）实时分析而非批量式分析数据输入、处理与丢弃立竿见影而非事后见效大数据4V特征“大量化(Volume)、多样化(Variety)、快速化(Velocity)、价值密度低（Value）”就是“大数据”显著特征，或者说，只有具备这些特点数据，才是大数据。第72页2.2大数据相关技术第73页Volume海量数据规模Variety多样数据类型StreamsRealtimeNeartimeBatchTBPBEBStructuredUnstructuredSemi-structuredAlltheaboveValueVelocity快速数据流转发觉数据价值大数据技术要处理问题第74页技术领域挑战1、对现有数据库管理技术挑战传统数据库布署不能处理数TB级别数据，也不能很好支持高级别数据分析。急速膨胀数据体量即将超越传统数据库管理能力。怎样构建全球级分布式数据库(Globally-DistributedDatabase)，能够扩展到数百万机器，数已百计数据中心，上万亿行数据。2、经典数据库技术并没有考虑数据多类别（variety），SQL（结构化数据查询语言）在设计一开始是没有考虑非结构化数据。3、实时性技术挑战：普通而言，像数据仓库系统、BI应用，对处理时间要求并不高。所以这类应用往往运行1、2天取得结果依然可行。但实时处理要求，是区分大数据应用和传统数据仓库技术、BI技术关键差异之一。4、网络架构、数据中心、运维挑战：技术架构挑战：人们天天创建数据量正呈爆炸式增加，但就数据保留来说，我们技术改进不大，而数据丢失可能性却不停增加。如此庞大数据量首先在存放上就会是一个非常严重问题，硬件更新速度将是大数据发展基石。第75页分析技术：数据处理：自然语言处理技术统计和分析：A/Btest;topN排行榜；地域占比；文本情感分析数据挖掘：关联规则分析；分类；聚类模型预测：预测模型；机器学习；建模仿真大数据技术：数据采集：ETL工具数据存取：关系数据库；NoSQL；SQL等基础架构支持：云存放；分布式文件系统等计算结果展现：云计算；标签云；关系图等一些相关技术存放结构化数据：海量数据查询、统计、更新等操作效率低非结构化数据图片、视频、word、pdf、ppt等文件存放不利于检索、查询和存放半结构化数据转换为结构化存放按照非结构化存放处理方案：Hadoop（MapReduce技术）流计算（twitterstorm和yahoo！S4）数据采集数据储存数据管理数据分析与挖掘第76页数据采集数据储存与管理数据分析与挖掘计算结果展示大数据相关技术ETL数据众包（CrowdSouring）第77页数据众包数据众包是一个新数据采集方式，由企业方经过平台把数据采集任务外包给非特定大众网络。第78页数据采集数据储存与管理数据分析与挖掘计算结果展示大数据相关技术ETL数据众包（CrowdSouring）结构化、非结构化和半结构化数据分布式文件系统关系数据库非关系数据库（NoSQL）数据仓库云计算和云存放实时流处理第79页分布式文件系统分布式文件系统（DistributedFileSystem）是指文件系统管理物理存放资源不一定直接连接在当地节点上，而是经过计算机网络与节点相连。第80页非关系型数据库NoSQL关系型数据库不足难以满足高并发读写需求难以满足对海量数据高效率存放和访问