大数据时代知识宣传

1、大数据时代计算中心5月28日第1页大 数 据 时 代2第2页“大数据”来敲门 什么是大数据？“大数据”是“数据化”趋势下必定产物！数据化最关键理念是：“一切都被统计，一切都被数字化”，它带来了两个重大改变：一是数据量爆炸性剧增，依据互联网数据中心监测统计，全球数据总量已经到达1.8ZB(1.8ZB相当于18亿个1TB移动硬盘)，而这个数值还在以每两年翻一番速度增加，预计到年全球将总共拥有40ZB数据量，增加20倍。二是数据起源不停丰富，形成了多源异构数据形态，其中非结构化数据包含全文文本、图象、声音、影视、超媒体等信息所占百分比逐年增大。3第3页“大数据”来敲门 什么是大数据？大数据是指无法在

2、一定时间内用常规软件工具对其内容进行提取、管理和加工处理数据集合。大数据技术，是指从各种各样类型数据中，快速取得有价值信息能力。适合用于大数据技术，包含大规模并行处理数据库，数据挖掘电网，分布式文件系统，分布式数据库，云计算平台，互联网和可扩展存放系统。4第4页“大数据”来敲门 大数据特点1B = 8 bit1KB = 1024B 1000 byte1MB = 1024 KB 1 000 000 byte1GB = 1024 MB 1 000 000 000 byte1TB = 1024 GB 1 000 000 000 000 byte1PB = 1024 TB 1 000 000 000

3、000 000 byte1EB = 1024 PB 1 000 000 000 000 000 000 byte1ZB = 1024 EB 1 000 000 000 000 000 000 000 byte1YB = 1024 ZB 1 000 000 000 000 000 000 000 000 byte5第5页“大数据”来敲门大数据特点海量数据规模（Volume） ：依据互联网数据中心数据宇宙汇报显示： 年全球数据量为0.5ZB， 年为1.2ZB，人类正式进入ZB 时代。更为惊人是， 年以前全球数据量仍将保持每年大约40%高速增加，也就是说每两年数据量就要翻一倍，预计 年全球数据量将到

4、达7.9ZB， 年将突破35ZB，是 年70 倍、 年29 倍。6第6页“大数据”来敲门大数据特点多样数据类型（Variety） ：人们日常生活、工作中接触不但是文本、还有图片、视频、音频、地理位置等都包含大量数据，蕴含大量信息。这一类数据有一个共同特点：大小、内容、格式、用途可能都完全不一样。这类数据通常称为非结构化数据。非结构化数据对数据处理能力提出了更高要求。7第7页“大数据”来敲门大数据特点快速数据流转和动态数据体系（Velocity）：Velocity能够了解为更加快地满足实时性需求。数据实时化需求正越来越清楚。大数据处理遵照“1秒定律”，这是大数据区分于传统数据挖掘最显著特征。所以

5、怎样从各种类型海量数据中快速取得高价值信息就是企业生命。8第8页“大数据”来敲门大数据特点巨大数据价值（Value）：牛津大学互联网研究所维克托迈尔-舍恩伯格教授指出，“大数据”所代表是当今社会所独有一个新型能力以一个前所未有方式，经过对海量数据进行分析，取得有巨大价值产品和服务。这种“前所未有”巨大价值，并不但仅来自于单一数据集量上改变，而且，对于不一样领域数据集之间深度交叉关联，或称之为“跨域关联”，也表达了数据融合价值。跨域关联是数据量增大后从量变到质变飞跃，是大数据巨大价值基础。9第9页大 数 据 时 代10第10页大数据时代商业变革商业模式商业模式是指一个完整产品、服务和信息流体系，

6、包含每一个参加者和其在其中起到作用，以及每一个参加者潜在利益和对应收益起源和方式。在分析商业模式过程中，主要关注一类企业在市场中与用户、供给商、其它合作办关系，尤其是彼此间物流、信息流和资金流。11第11页大数据时代商业变革商业模式大数据发展关键动力起源于人类对测量、统计和分析世界渴望。在商业智能时代积累起来数据分析经验既是大数据新商业模式技术和新商业理念基础，又有可能束缚大数据商业变革，因为有经验商业智能人士会不自觉地把大数据分析平庸化，认为大数据只是传统商业智能针对更大规模数据集一个平凡推广。其实不然，大数据时代和以前工业革命不一样是，它特征是个性化，而且带来了巨大理念上改变，同时也带来商

7、业模式改变。12第12页大数据时代商业变革大数据三个时代大数据1.0时代追求从数据到分析，从分析到更多更加好数据，再到更深入分析这么正向循环。数据来自于企业内部，是企业本身产品和服务产生了大量数据，经过对这些数据进行深入挖掘分析，给企业本身提供价值和应用，并改进本身业务，改进后业务吸引更多用户或客户，产生更大量数据，形成正向循环。13第13页大数据时代商业变革大数据三个时代大数据2.0时代强调是数据外部性。它是指企业用本身业务产生数据，这些数据不只是对企业内部有价值，还能够去处理主营业务以外其它问题，取得重大价值；或者引入非企业本身业务外部数据，来处理企业自己碰到问题。推出“谷歌流感趋势”，就

8、是谷歌利用网页搜索词统计，来预测流感暴发后随时间改变新增病例数。显然，预测流感趋势这个需求并不包含在统计网页搜索词初衷中，而是利用这些搜索词向网页外提供和创造价值。14第14页大数据时代商业变革大数据三个时代大数据3.0时代是一个尚在探索中商业形态。大数据2.0时代数据既然能够对外部产生价值，那么数据应该能够在保护隐私、保护数据安全情况下在不一样行业下自由流动，形成整个社会数据基础设施，所以大数据3.0时代首先要求政府和行业，对数据质量、价值、权益、隐私、安全等充分认识，出台量化与保障办法。大数据3.0时代率领人们进入真正大数据时代。个人、团体和企业能够经过数据API接口或付费使用数据产品，数

9、据中心、运行商，大家共同分享数据产品利益。15第15页大 数 据 时 代16第16页大数据时代科学变革 数据价值大数据带来颠覆性影响根源就是越来越多事物被数据化了。这些不一样数据能够归结为几类相同数学模型，从而使得“数据科学”成为一门具备普遍适用性学科。数据也给我们提供了一个绕开理论直接走向应用新路径。像这种数据并没有给出某种严谨理论或给出任何理论解释，不过经过海量数据分析得到这些研究结果已经能够应用于实际了。17第17页大数据时代科学变革 数据科学大数据带来了很多新主要科学问题，如预测任务、描述任务，其中最主要是预测。预测问题主要能够分为两类，一是趋势预测，二是缺失信息预测。趋势预测是指经过

10、事物一些基本属性信息和早期态势分析，预测事物发展潜在趋势和最终影响力。假设观察到信息只是全部真实信息一部分，缺失信息预测就是探讨怎样利用当前信息去预测未观察到信息。数据科学是利用计算机运算能力对数据进行处理，从数据中提取信息，进而形成“知识”。18第18页大 数 据 时 代19第19页大数据战略地位大数据作用大数据被认为是继信息化和互联网后整个信息革命又一次高峰。云计算和大数据共同引领以数据为材料，计算为能源又一次生产力大解放，甚至能够与以蒸汽机作为动力机第一次工业革命和以电力广泛应用为主要标志第二次工业革命相媲美。数据贮备和数据分析能力将成为未来新型国家最主要关键战略能力；对数据拥有、占有、

11、利用和控制将成为综合国力主要组成部分，大数据领域竞争，事关国家、企业安全和未来，将成为国家间和企业间新争夺焦点。20第20页大数据战略地位大数据国家战略3月29日，美国政府宣告了“大数据研究和发展计划”，来推进从大量、复杂数据集合中获取知识和洞见能力。这是继1993年美国宣告“信息高速公路”计划后又一次重大科技发展布署。该计划包括联邦政府6个部门（国家科学基金委、国家卫生研究院、能源部、国防部、国防部高级研究计划局和地质勘探局）。这些部门将投资总共超出两亿美元，来大力推进和改进与大数据相关搜集、组织和分析工具及技术。该计划标志着大数据已经成为国家战略，对未来科技与经济发展必将带来深远影响。21

12、第21页大数据战略地位大数据国家战略5月，我国召开第424次香山科学会议，这是我国第一个以大数据为主题重大科学工作会议。中国计算机学会、通信学会等于分别成立了“大数据教授委员会”。9月13日，北京航空航天大学联合英国爱丁堡大学、英国利兹大学、香港科技大学、美国宾夕法尼亚大学、美国亚利桑那州立大学、加拿大渥太华大学等共同组建大数据科学与工程国际研究中心。22第22页大数据战略地位大数据国家战略12月13日，在“中关村大数据日”活动会上，由宽带资本、baidu、用友、中国联通、联想集团、北京大学、北京航空航天大学、阿里巴巴、腾讯等企业、高校共同发起成立了大数据产业联盟，并在中关村云基地揭牌成立大数

13、据试验室，该试验室以大数据产业孵化基金形态成立，致力于推进学术界大数据创新科技结果产业化以及为相关产业引导注入大数据科技元素。23第23页大数据战略地位大数据国家战略自然科学基金委于3月5日7日，在上海同济大学举行了第89届“双清”论坛，论坛主题是“大数据技术与应用中挑战性科学问题”，与会有近十名院士。6月30日，中国信息化百人会以“大数据：挑战与机遇”为主题，在上海召开第四次专题研讨会。24第24页大数据战略地位大数据国家战略5月16日，国家发改委高技术服务业研发与产业化专题“基础研究大数据服务平台应用示范”项目开启会在中科院计算机网络信息中心举行。国家发改委高技术产业司相关人士表示：“我们

14、将依靠新方式、新理念、新技术对大数据进行挖掘应用，帮助科技、经济、社会发展；希望结合相关国家研究机构优势与特色，能够探索大数据潜在发展前景与效益，支持相关领域内融合创新与思想碰撞。”25第25页大数据战略地位大数据国家战略2013 年是大数据应用之年，相关产业规划、行业政策纷纷出台，金融、电信、政府、电商、医疗、平安城市等相关应用都加速推进。十二届全国人大二次会议政府工作汇报中又首次写入大数据。2014 年至2016 年是大数据效益之年，若干中国大数据企业相关业务将形成暴发性增加。在当前全球信息时代，大数据正在成为世界各国在未来争夺信息社会控制权主要战略伎俩。26第26页大 数 据 时 代27

15、第27页大数据面临挑战大数据挖掘问题在数据搜集方面，要对来自网络包含物联网和机构信息系统数据附上时空标志，去伪存真，尽可能搜集异源甚至是异构数据，必要时还可与历史数据对照，多角度验证数据全方面性和可信性。数据存放，要到达低成本、低能耗、高可靠性目标，通常要用到冗余配置、分布化和云计算技术，在存放时要按照一定规则对数据进行分类，经过过滤和去重，降低存放量，同时加入便于日后检索标签。28第28页大数据面临挑战大数据挖掘问题数据处理，有些行业数据包括上百个参数，其复杂性不但表达在数据样本本身，更表达在多源异构、多实体和多空间之间交互动态性，难以用传统方法描述与度量，处理复杂度很大，需要将高维图像等多

16、媒体数据降维后度量与处理，利用上下文关联进行语义分析，从大量动态而且可能是模棱两可数据中综合信息，并导出可了解内容。结果可视化展现，使结果更直观方便于洞察。29第29页大数据面临挑战数据分析与管理人才紧缺大数据人才无疑是紧缺人才。Gartner咨询企业预测，大数据将为全球带来440万个IT新岗位和上千万个非IT岗位。麦肯锡企业预计，美国到年深度数据分析人才缺口将达14万19万人，能够分析数据帮助企业取得经济效益技术及管理人才有150万人缺口。中国能了解与应用大数据创新人才更是稀缺资源。互联网数据中心公布预测汇报称，大数据技术和服务市场将增至324亿美元，实现27%年复合增加率。另外还预测基于大

17、数据决议处理方案将开始取代或影响知识工作者角色，这势必引发人才转型。30第30页大数据面临挑战数据分析与管理人才紧缺面对大数据人才短缺，各国正加紧培养数据科学家和数据工程师。大数据教授委员会认为，从当前各国人才培养来看，数据科学家应掌握数学、统计学、数据分析、商业分析和自然语言处理等学科技能，含有较宽知识面，含有独立获取知识能力。31第31页大数据面临挑战数据安全风险愈加凸显数据安全在大数据时代也一样面临挑战。大数据发展趋势往往与加大信息开放度、设计新信息搜集设备以及为海量数据庞大存续和分析需求提供支持云计算等如影随形。带来副作用是IT基础架构将变得越来越一体化和外向型，对数据安全和知识产权组

18、成更大风险。另外，大数据对个人信息获取渠道拓宽需求引发了另一个主要问题：隐私和便利性之间冲突。32第32页大 数 据 时 代33第33页大数据应用 零售行业零售行业业务特征是：需要及时响应客户需求，实现精准营销；需要增强产品流转率，实现快速营销。精准营销要求零售企业对消费者消费行为、节假日、天气等进行大数据分析。快速营销要求零售企业对运行管理各个步骤进行大数据分析。34第34页大数据应用 零售行业零售企业要提升零售业务收入，就必须进行快速反应和决议。而精准快速反应和决议应该基于数据分析基础上，大数据对于零售企业至关主要。不过当前不少零售企业拥有数据较多，不过不知道什么主要。大数据能够帮助零售企

19、业利用现有数据资源，进行营销分析，进而实现有效精准营销策略。大数据已逐步成为零售企业主要资产，零售企业除了进行快速反应与决议外，还需要加强对于结构化与非结构化大数据分析，能依据客户个性化需求提供有针对性服务，增强客户忠诚度，确保利润连续增加。35第35页大数据应用 互联网行业互联网行业业务特征是：数据爆炸增加，结构类型复杂；用户行为丰富，Web社群关系复杂。面对当今快速增加海量互联网数据和复杂网络社群关系，互联网行业需要利用大数据分析来提取有价值信息，建立用户模型，针对不一样用户提供针对性产品，以此来提升用户体验，增加用户粘性。大数据时代，卖数据已经成为一个实实在在直接盈利伎俩，不论是搜索引擎

20、还是电子商务，这些掌握大规模用户行为数据企业将在大数据时代抢占先机，经过处理分析直接带来了商业利益，这也凸显了数据资产性。36第36页大数据应用电信行业电信行业业务特征是：数据量激增，保留时间长；受众群体大，市场饱和度高。电信行业同质化竞争严重，详细表现在服务对象同质化，服务种类同质化，竞争伎俩同质化，企业性质同质化。面对这种同质化竞争，需要重新思索和精准定位，以差异化经营在电信行业竞争中寻求发展，寻找经营蓝海。在移动数据流量快速增加同时，电信运行商并没有从传送大量上层应用内容中取得更多收益，面临收入增速放缓困境。要真正扭转这一局面，运行商必须转变过去简单粗放网络经营方式，构建“智能管道”已刻

21、不容缓。37第37页大数据应用金融行业金融行业业务特征是：设备先进，功效齐全；自动化程度高，安全保密性强。金融行业高度依赖信息数据，应用大数据方法与技术搜集、处理、分析金融数据，并对数据进行挖掘提取，寻找其中有价值信息，并将这些信息转化为知识，帮助企业做出及时准确决议。伴随全球金融行业竞争深入加剧，金融创新已成为影响金融企业关键竞争力主要原因。有数据显示95%金融创新都极度依赖信息技术，所以金融业对信息技术依赖性大。大数据能够帮助金融企业分析历史数据，寻找其中金融创新机会。38第38页大数据应用交通行业交通行业业务特征是：系统性，数据量大；复杂性，包括多方面数据；动态性，信息实时处理要求高。交

22、通系统需要经过大数据分析协调四要素，构建系统优化方案；针对交通系统复杂性，需要对气象信息、社会情况、经济情况等进行大数据分析，制订最正确出行方案；针对交通系统动态性，需要大数据进行实时分析，及时快速处理突发事件。各国交通部门都非常重视行车安全，而影响行车安全原因包括多个方面，产生庞大数据，需要对这些大数据进行分析挖掘。尤其在事故处理上，需要对事故进行快速探测、分析、通知和反应，这都需要大数据技术支持。39第39页大 数 据 时 代40第40页大数据发展趋势 数据资源化如今，大数据价值被更多企业发觉并利用，大数据在国家企业和社会层面渐渐成为主要战略资源。数据成为了新战略制高点，是大家抢夺新焦点。大数据将不停成为机构资产，成为提升机构和企业竞争力有力武器。大数据隐私问题大数据对于隐私是一个重大挑战。大数据带来便利同时也带来了个人隐私问题。现在，面对大数据隐私问题，已经不能再纸上谈兵了。现有隐私保护法规和技术伎俩难于适应大数据环境，需要有适合用于大数据隐私相关标准和条例颁布。41第41页大数据发展趋势大数据与云计算等深度融合大数据处理离不开云计算技术，云计算为大数据提供弹性可扩展基础设施