大数据行业分析报告DOC_第1页
大数据行业分析报告DOC_第2页
大数据行业分析报告DOC_第3页
大数据行业分析报告DOC_第4页
大数据行业分析报告DOC_第5页
已阅读5页,还剩20页未读 继续免费阅读

下载本文档

版权说明:本文档由用户提供并上传,收益归属内容提供方,若内容存在侵权,请进行举报或认领

文档简介

大数据行业分析报告()江苏振邦智慧都市信息系统有限公司4月25日目录TOC\o"1-2"\h\u29383一、大数据概述 122441、大数据介绍 1247192、大数据特性 1311343、大数据的技术 2174204、大数据的应用 2325405、大数据解决办法 211602二、大数据发呈现状与趋势分析 4146401、国外现状 4297022、国内现状 56113、发展趋势分析 619491三、重点应用领域及行业公司分析 8153731、重点应用领域 9168302、重点公司 13147313、国内运行商分析 1823545四、存在问题及对策分析 19107181、数据量的成倍增加挑战数据存储能力 19267642、数据类型的多样性挑战数据挖掘能力 2070713、对大数据的解决速度挑战数据解决的时效性 20154934、数据跨越组织边界传输挑战信息安全 20217985、大数据时代的到来挑战人才资源 2023608五、大数据方面的有关政策和法规 21192861、数据生产的有关政策和法规 21193122、数据共享的有关政策与法规 2149803、隐私保护的有关政策和法规 22一、大数据概述1、大数据介绍随着网络和信息技术的不停普及,人类产生的数据量正在呈指数级增加。大量新数据源的出现造成了非构造化、半构造化数据暴发式的增加。这些数据已经远远超越了现在人力所能解决的范畴,如何管理和使用这些数据,逐步成为一种新的领域,于是大数据的概念应运而生。2、大数据特性大数据指的是所涉及的资料量规模巨大到无法通过现在主流软件工具,在合理时间内达成收集、管理、解决、并整顿成为协助公司经营决策目的的咨询。大数据不单单是指数量的量大,并且涉及了下列的四个方面:首先,数据的体量(volumes)大,大数据的起始计量单位最少是P(1000个T)、E(100万个T)或Z(10亿个T),和我们所熟知的G相比,体量不可谓不大。另首先,是数据类别(variety)大,数据来自多个数据源,数据种类和格式日渐丰富,已冲破了以前所限定的构造化数据范畴,囊括了半构造化和非构造化数据。再次,是数据解决速度(velocity)快,在数据体量庞大的状况下,也能够做到数据的实时解决。最后,是指数据的真实性(veracity)高,随着社交数据、公司内容、交易与应用数据等新数据源的兴起,传统数据源的局限被打破,信息的真实性和安全性显得极其重要。3、大数据的技术大数据技术是指从多个各样类型的巨量数据中,快速获得有价值信息的技术。重要可分为:数据采集、数据存取、基础架构、数据解决、统计分析、数据挖掘、模型预测和成果呈现等8种技术。同时,由这几个技术形成了批解决、流解决和交互分析三种计算模式。4、大数据的应用大数据的应用范畴非常广。有机构预测,“大数据”的发展,将使零售业净利润增加60%以上,制造业的产品开发、组装成本将下降50%以上。在制造行业,公司通过对网上数据分析理解客户需求和掌握市场动向,并对大数据进行分析后,就能够有效实现对采购和合理库存量的管理,大大减少因盲目进货而造成销售损失。在商业上,国外某些超市运用对手机的定位和购物推车获得商场内顾客在各处停留时间,运用视频监视图像软件分析顾客购物行为,优化商场布局和货架排列。在政府决策上,分析几十年来的天气数据,将各地降雨、气温、土壤状况和历年农作物产量做成精密图表,就能够预测农产品生产趋势,政府的激励方法、作物存储量和农业服务也能够随之拟定。5、大数据解决办法大数据的解决办法有诸多,普遍合用的大数据解决流程,能够概括为四步,分别是采集、导入和预解决、统计和分析,最后是数据挖掘。(1)、采集。大数据的采集是指运用多个数据库来接受发自客户端(Web、App或者传感器形式等)的数据,并且顾客能够通过这些数据库来进行简朴的查询和解决工作。例如,电商会使用传统的关系型数据库MySQL和Oracle等来存储每一笔事务数据,除此之外,Redis和MongoDB这样的NoSQL数据库也惯用于数据的采集。在大数据的采集过程中,其重要特点和挑战是并发数高,由于同时有可能会有成千上万的顾客来进行访问和操作,例如火车票售票网站和淘宝,它们并发的访问量在峰值时达成上百万,因此需要在采集端布署大量数据库才干支撑。并且如何在这些数据库之间进行负载均衡和分片是需要进一步的思考和设计。(2)、导入/预解决。即使采集端本身会有诸多数据库,但是如果要对这些海量数据进行有效的分析,还是应当将这些来自前端的数据导入到一种集中的大型分布式数据库,或者分布式存储集群,并且能够在导入基础上做某些简朴的清洗和预解决工作。也有某些顾客会在导入时使用来自Twitter的Storm来对数据进行流式计算,来满足部分业务的实时计算需求。导入与预解决过程的特点和挑战重要是导入的数据量大,每秒钟的导入量经常会达成百兆,甚至千兆级别。(3)、统计分析。统计与分析重要运用分布式数据库,或者分布式计算集群来对存储于其内的海量数据进行普通的分析和分类汇总等,以满足大多数常见的分析需求,在这方面,某些实时性需求会用到EMC的GreenPlum、Oracle的Exadata,以及基于MySQL的列式存储Infobright等,而某些批解决,或者基于半构造化数据的需求能够使用Hadoop。统计与分析这部分的重要特点和挑战是分析涉及的数据量大,其对系统资源,特别是I/O会有极大的占用。(4)、挖掘。与前面统计和分析过程不同的是,数据挖掘普通没有什么预先设定好的主题,重要是在现有数据上面进行基于多个算法的计算,从而起到预测(Predict)的效果,从而实现某些高级别数据分析的需求。比较典型算法有用于聚类的Kmeans、用于统计学习的SVM和用于分类的NaiveBayes,重要使用的工含有Hadoop的Mahout等。该过程的特点和挑战重要是用于挖掘的算法很复杂,并且计算涉及的数据量和计算量都很大,惯用数据挖掘算法都以单线程为主。二、大数据发呈现状与趋势分析1、国外现状大数据的快速发展,使它成为IT领域的又一大新兴产业。据中央财经大学中国经济管理研究员估算,国外大数据行业约有1000亿美元的市场,并且每年都以10%的速度在增加,增速是软件行业的两倍。全球数据量存储状况、政府主动介入推动,联合国启动“全球脉动计划”,借大数据推动落后地区发展。1月,世界经济论坛年会把“大数据、大影响”作为重要议题。美国从开放政府数据、开展核心技术研究和推动大数据应用三方面布局大数据产业。美国在开放政府上非常主动,通过D开放37万个数据集,并开放网站的API和源代码,提供上千个数据应用。除了推动本国政府数据开放,美国倡导发起全球开放政府数据运动,已有41个国家对应。美国政府还投资两亿美元增进大数据核心技术研究和应用,把大数据放在与集成电路、互联网同等重要的位置,从国家层面推动。、资我市场对大数据钟爱有加4月,大数据分析公司Splunk高调宣传大数据,引发投资者关注。12月初,为公司市场提供Hadoop解决方案的创业公司Cloudera获得6500万美元融资,估值约为7亿美元。近期,高盛联席主席斯科特.斯坦福说:“投资大数据及其运用回报率最高”。大数据领域的公司并购热度也在上升,单笔平均并购金额方面,大数据超出云计算位居IT领域榜首,在总并购额上也位居第二。、人才需求巨大盖特纳咨询公司预测大数据将为全球带来440万个IT新岗位和上千万个非IT岗位。麦肯锡公司预测美国到需要深度数据分析人才44万-49万,缺口14万-19万人;需要既熟悉本单位需求又理解大数据技术与应用的管理者150万,这方面的人才缺口更大。2、国内现状现在,大数据在国内还处在初步阶段,尽管起步较晚,但发展快速。作为大数据在国内的元年,规模还只有2.6亿元,而到就已达成11.2亿元,预计将来几年大数据市场将迎来高速增加期,有望突破40亿元。-国内大数据市场规模以来,中国计算机学会、中国通信学会先后成立了大数据委员会,研究大数据中的科学与工程问题,科技部的《中国云科技发展“十二五”专项规划》和工信部的《物联网“十二五”发展规划》等都把大数据技术作为一项重点予以支持。其中工信部公布的《物联网“十二五”发展规划》,把信息解决技术作为四项核心技术创新工程之一被提出来,其中涉及海量数据存储、数据挖掘、图像视频智能分析,这都是大数据的重要构成部分。而另外三项核心技术创新工程,涉及信息感知技术、信息传输技术和信息安全技术,也都与“大数据”亲密有关。应用方面,中国三大通信运行商都在结合本身业务状况,主动推动大数据应用工作,并获得了较好的进展。电子商务公司阿里巴巴提出要做中国数据分析第一平台,通过掌握的公司交易数据,借助大数据技术自动分析鉴定与否予以公司贷款,全程不会出现人工干预。据透露,截至现在阿里巴巴已经放贷300多亿元,坏账率约0.3%左右,大大低于商业银行。公司方面,我国能够解决大数据的公司并不是诸多,这重要是由于国内公司在数据库、数据仓库和商业智能等领域基础比较单薄。但作为国内走在大数据行业前列的某些公司,技术水平也能达成较高水平,例如永洪科技在大数据、分布式计算、数据分析等领域含有核心竞争力、自主创新并拥有多项发明专利。推出的Z系列产品在大数据的应用分析中在国际上也是领先的。另外,尚有其它的某些“大数据”有关的上市公司:数据解决、分析环节、综合解决:拓尔思、美亚柏科;语音识别:科大讯飞;视频识别:海康威视、大华股份、华平股份、中威电子、国腾电子;商业智能软件:久其软件、用友软件;数据中心建设与维护:天玑科技、银信科技、荣之联;IT咨询、方案实施:汉得信息;信息安全:卫士通、启明星辰。数据解决、分析环节、综合解决:拓尔思、美亚柏科大数据的热潮也触发了一场思想启蒙运动,使得“大数据是资产,不是包袱”、“要拿数据说话”等观念逐步进一步人心,变化了以往不重视数据积累,不相信数据分析等认识。有了这种思维模式的变化,大数据的应用就有了但愿。3、发展趋势分析据统计全球被创立和被复制的数据总量达1.8ZB;预计全球电子设备存储的数据将增至35.2ZB。人类社会继蒸汽时代、电气时代和网络时代后,正在加速跨进大数据时代。大数据的发展阶段及预测、开源软件和产业垂直整合大数据时代开源技术的发展已经能够和商用软件分庭抗礼,传统的操作系统、中间体、数据库等平台级软件的同质化趋势已经渐趋明显。最后顾客的关注焦点集中如何解决公司的业务问题,而不是购置谁的数据库或者操作系统。因此,越靠近最后顾客的公司,将在产业链中拥有越大的讲话权。开源软件加剧了基础软件的同质化趋势,而软、硬件一体化的趋势,进一步弱化了产业链上游的讲话权。垂直整合推动大数据产业集约化的发展道路,从而最大程度的获得商业利润。、非构造化大数据解决分析成为难点和重点随着互联网和通信技术的迅猛发展,数据类型早已不是单一的构造化数据,还充满着广泛存在于社交网络、物联网、电子商务等之中网络日志、音频、视频、图片、地理位置信息等等多类型的数据。这些数据被命名为非构造化数据。据统计,85%的数据都属于非构造化数据。这些非构造化数据的产生往往随着着社交网络、移动计算和传感器等新的渠道和技术的不停涌现和应用。但是现有的数据解决办法仅合用于构造化数据,无法将大量的非构造化数据与构造化数据进行统一、整合,从而就无法发掘数据中的价值。现在国内在非构造化大数据挖掘分析方面,在社会化计算领域,针对于微博数据获得一定的实用性进展,并形成了一定的市场规模。如社会化媒体云服务平台,它是建立在TRS大数据分析挖掘系统基础上的大型在线服务平台,该服务面对政府、企事业单位和个人,以在线云服务的方式提供信息监测、统计分析、关系挖掘、传输效果评定等一系列服务。、机器数据挖掘成为一种重要的发展方向大数据中,机器数据是最大且增加最快的一部分。每个当代公司机构,无论规模大小,都会产生海量的机器数据,运用这些数据是现在机构或公司的核心任务。现在国外有代表性机器数据挖掘厂商为Splunk,Splunk针对IT运维、信息安全、交易分析等方面提供业界领先解决方案与产品。通过运用专利数据分析技术,提供多个产品以满足各行各业顾客在核心业务的运行保障、安全确保及业务分析方面的需求。如今,国内某些厂商也在开发类似的机器挖掘产品,但愿弥补国内空白。、大公司的定制化解决方案大数据软件技术来源于以国外谷歌、Yahoo等巨头公司的分布式计算平台,并随着这些技术的开源基础架构,在国内互联网公司中得到广泛定制化应用。因此现在大数据软件和应用的特点体现出开源和多样性的特点。某些拥有海量数据的大公司,并没有互联网公司那样的大数据系统布署能力,因此这一需求推动了大数据原则化和产品化解决方案市场的发展。在国外市场,已经出现了以提供公司级大数据软件产品的公司,如Cloudera公司提供基于Hadoop公司版大数据解决方案。在国内,某些厂商也把海量非构造化信息解决技术和Hadoop架构进行有效结合集成,并结合公司在大数据采集、存储、分析挖掘、可视化方面的具体需求,开发公司级大数据分析挖掘系统。推动大数据分析系统在公司的落地。三、重点应用领域及行业公司分析大数据技术的创新与应用,不仅能够应对数据爆炸带来的挑战,还能够发明出巨大的价值、提高社会生产率,因此大数据必将发展成为重要的新兴产业。在整个大数据的发展过程中,不仅在各个应用领域有大数据手段的涉入,在大数据产业链中的各段都涌现出大批的大数据公司。大数据产业链全景图1、重点应用领域(1)、公共领域据《证劵日报》市场研究中心统计分析发现,现在我国在公共领域对大数据的运用重要集中在电力行业、智能交通、电子政务和司法系统四个方面。电力行业:大数据对该行业的应用重要体现在智能电网上,通过获取人们的用电行为信息,智能电网能实现优化电的生产、分派以及消耗,有助于电网安全监测与控制、客户用电行为分析与客户细分。智能交通:交通运输部将对公共交通信息化应用系统建设、有关支撑系统建设、数据资源与交换系统建设提供资金支持。电子政务:通过政府信息化,大数据能够提高政府决策的科学性和精确性,提高政府预测预警能力以及应急响应能力,节省决策的成本。司法系统:公安市场大规模的信息化和装备投资产生了海量的非构造化数据,公安的实战应用是大数据的重要应用领域。公共领域行业大数据案例案例名称车队优化解决方案项目背景随着车辆的保有量不停激增,对海量车辆数目与有关数据的管理和优化提出了更高的规定。需要跟踪和监测车辆,保持与车队操作人员的交流,利于灵活调度、提高运用率。项目内容依靠优秀的WebShpere、Tivoli、Maximo技术和有关实施和应用,对车辆本身和周边的多个仪器所采集的信号信息数据进行收集,在通过大数据手段分析解决后,为车辆的管理者提供有价值的分析成果,协助他们做出决定,改善和提高业务。项目成果做到了快速实时的需求访问并获得精确数据,通过对大数据的分析可做出车辆保修问题的早期洞察,提高维修效率。减少车辆停滞时间,节省燃料成本。总结对车辆进行跟踪和管理,解决了智慧交通所存在的问题(2)互联网互联网作为一种数据平台、一种数据集散地,聚集了海量的数据,完全能够借助新的大数据理论和技术,分析其中蕴含的丰富内容、发现其中存在的统计规律,方便为互联网提供更加好的服务和应用、为互联网行业此后实现更加好更快的持续发展提供定量化的根据。大数据在互联网领域的应用现状及将来发展:电子商务运用大数据理论和技术,对网络购物、网络消费、网络团购、网上支付等数据进行深度挖掘、进一步分析,能够发现大量有价值的信息和统计规律,对布局和推动此后中国互联网经济的健康有序发展、对进一步规范经营者和消费者的电子商务活动、加强国家对该领域的宏观调控和监管等,均将产生主动的影响。网络广告运用大数据理论和技术,可进一步分析网络广告的效果及其对商品销售等的影响、广告“读者”对之的反映等。网络新闻、搜索引擎运用大数据理论和技术,通过对网民搜索内容、习惯、爱好、核心词等进一步分析,可为新闻门户网站的建设、搜索引擎技术的改善、互联网舆情的监控与引导等提供根据。旅行预订运用大数据理论和技术能够对旅行预订数据进行进一步、精细分析,为更加好的布局和旅游经济发展、更加好的为游客提供产品和服务等提供参考和根据。社交网络运用大数据进行进一步分析,可更加好的发现民众新的交往习惯与方式、民众关注的社会问题与社会热点、民情民意,为改善互联网时代的通信和社交服务提供参考。网络视频、网络音乐和网络游戏通过大数据平台收集顾客的行为数据,通过分析理解每个顾客的动机和潜在价值,来调节视频网站、音乐网站和游戏的设计,并对这些顾客行为进行实时自动营销,以更加好的满足顾客需求。同时基于行为数据对顾客细分后,还能够进行跨领域的顾客营销,对不同顾客类型推送不同类型的游戏、视频和音乐。互联网行业大数据案例案例名称Facebook广告精确投放项目背景互联网公司收入重要来源依靠广告,要吸引更多厂商的广告,互联网公司需要增加顾客粘性,提高顾客体验项目内容Facebook通过追踪顾客在线社交行为,涉及顾客的喜怒以及好友信息,积累了海量顾客行为和网络群组关系数据。Facebook对数据进行分类,整顿,分析,进而对顾客归类,实时发现顾客群。根据不同的群组,Facebook为顾客推送他们可能潜在感爱好的广告。项目成果1、到,Facebook在互联网广告市场中的份额翻了一番;又比增加了95%。Facebook的广告业务增速是谷歌的3倍多。和期间,Facebook是互联网广告市场上唯一一家市场份额稳步增加的公司。总结大数据技术使Facebook对于顾客理解越来越进一步,广告投放也就越精确,广告价值也就越高。(3)、智慧都市智慧都市要体现人类社会对当代都市和运行管理新的科技发展的水平,它必然来自于对大数据的充足分析和运用,大数据源于非构造数据的猛增涉及互联网的发展,使得数据级不停提高。因此如何对数据进行分析和运用,增进人类智慧运用管理都市,这是面临的挑战。智慧都市建设迫切使用先进的技术涉及数据挖掘和功效的强大的运算系统,从而来整合分析跨地区、跨行业、跨部门的海量数据的解决,将特定的知识应用于特定的行业和特定的解决方案中,来支持智慧都市建设的决策和有关行动。将大数据应用与智慧都市的建设中,将迎来五大转变:化被动为主动:传统模式下人们往往是被动解决各类紧急事件,而大数据模式下将提供预测、预警机制,可主动布署人力,调动资源。化僵化为灵活:传统统计报表多为一天一生成或一月一生成,程序僵化、变动不易,而大数据模式下顾客可自由生成多个统计报表,而无需系统事先预制报表。化低效为高效:传统模式下的海量数据含糊查询和统计分析无法达成顾客的实时使用需求,而大数据模式则提供秒级响应的顾客体验。化单一为互动:传统的数据应用多为单表挖掘分析,一旦涉及跨表就会因效率问题而无能为力,而大数据模式则擅长复杂的跨表关联分析,推动数据串并关联,产生更大价值。化粗放为精细:原来粗放的数据访问每次可查询的内容较少,为达成目的需多次操作,而精细化的数据访问可由系统自动关联并推送信息服务,顾客一次查询可获得丰富的信息内容。智慧都市行业大数据案例案例名称宝德大数据构建智慧都市项目背景智慧都市建设迫切使用先进的技术涉及数据挖掘和功效的强大的运算系统,从而来整合分析跨地区、跨行业、跨部门的海量数据的解决项目内容通过大数据收集智慧都市有关信息,涉及位置、客户需求、在线数据等,从而实现基于位置的服务、社会化推荐、趋势分析、客户分析等经数据挖掘与分析后的内容。使用大数据的手段,通过对机器生成数据进行分析,可是实现24小时不间断运转达成实时分析,通过大量数据的收集实现模式挖掘,通过快速反映实现流式分析。项目成果实施方案后,在智慧都市的建设过程中,手段更加灵活,操作更加便捷,环境更加安全。更利于实现多方广泛合作,使都市更加含有吸引力,污染更少,社会服务更加完善。总结在智慧都市的建设过程中,会产生大量的非构造化数据,在大数据的模式下,通过海量数据的挖掘和分析,能够使智慧都市建设更加含有目的性。(4)、金融行业互联网金融是当下的一种热词,言下之意是指运用互联网技术、大数据思维进行的金融业务再造。总体而言体现在两个方面,一是金融机构依靠互联网技术和思维自我变革;二是互联网公司跨界开展金融服务。现在,以大数据为代表的新型技术将在两个层面改造金融业。一是金融交易形式的电子化和数字化,具体体现为支付电子化、渠道网络化、信用数字化,是运行效率的提高;二是金融交易构造的变化,其中一种重要体现便是交易中介脱媒化,服务中介功效弱化,是构造效率的提高。随着着大数据应用、技术革新及商业模式创新,金融业中的银行和卷商也迎来巨大的转变。另外,腾讯、阿里巴巴等互联网公司也在凭借其强大的数据积累和客户基础,进军金融业,开拓新的盈利点,这也成为金融产品在线销售的一大推动力。金融行业大数据案例案例名称中信银行信用卡中心实现秒级营销项目背景如何有效管理和运用不停增加的客户数据,满足业务发展需求,提高业务竞争力,是现在银行业数据库应用的最大挑战项目内容某厂商为中信银行信用卡中心提供了统一的客户视图,借助客户统一视图,中信银行信用卡中心能够更清晰的理解其客户价值体系,从而开展更有针对性的营销活动。基于数据仓库,中信银行信用卡中心现在能够从交易、服务、风险、权益等多个层面分析数据。通过提供全方面的客户数据,营销团体能够按照低、中、高价值对客户进行分类,根据银行整体经营方略,主动的提供对应的个性化服务。项目成果实施方案后,中信银行信用卡中心实现了近似实时的商业智能(BI)和秒级营销,运行效率得到全方面提高。中信银行信用卡中心通过其数据库营销平台全年进行了1286次宣传活动,每次营销活动配备平均时间从以前的两周缩短到两天。总结通过提取分析信用卡中心的数据,中信银行实现了业务创新,同时提高了运行效率,节省了成本。2、重点公司现在重要大数据厂商的收入状况厂商大数据收入(百万美元)总收入(百万美元)大数据收入占比IBM1100106,0001%Intel76554,0001.4%HP550126,0000.4%Oracle42536,0001.2%Teradate2202,20010%Dell15061,0000.2%EMC14019,0000.7%SAP8517,0000.5%华为7321,8000.3%西门子69102,0000.06%Splunk456368%1010data253083%Cloudera1818100%Total5156866,0490.6%从收入规模上来说,现在大数据市场的领导者是IBM、Intel以及HP,现对大数据市场中的部分重点公司进行分析。(1)、IBM11月,斥资17亿美元收购数据分析公司Netezza,该公司的数据仓库产品有效的整合数据库内分析和并行网络架构。5月,公布专门针对大数据分析的平台产品。10月,在SPSS统计工具软件中增加视图和分析数据功效,从而协助公司运用地理信息。2月,推出一体机分析工具IBMNetezzaCustomerIntelligenceAppliance,该工具能够进行快速复杂的实时分析。4月,收购VaricentSoftware,Varicent软件能够自动收集财务、销售、人力资源等部门的数据,并形成分析报告。4月,宣布收购Vivisimo公司,Vivisimo软件协助客户搜索及深度挖掘大数据,且直观呈现数据。5月,收购TealeafTechnology,该公司开发用于分析消费者网络数据的软件公司。4月,宣布和搜狗公司(下列简称“搜狗”)合作成立联合实验室,共享平台、技术资源和人才以研发基于Systemx的下一代数据中心和大数据运算平台。11月,展示了公司级大数据和分析基础架构平台——IBMPowerSystems。IBM市场定位提供服务器、数据库软件、专家系统等一体化解决方案,覆盖整个大数据行业解决方案InfosphereBigInsights和InfoSphereStream信息管理产品业务分析产品给顾客带来的价值在云计算架构上整合软、硬件技术,强大且全方面的信息管理、数据分析软件,及专业的咨询队伍,为客户提供更加简易、及时的数据分析、挖掘和决策服务分析IBM的大数据战略布局全方面,重视商业分析功效的提高,近几年收购30多家商业分析领域的公司(2)、Oracle12月,第二版OracleExadata数据库机改名为“OracleExadata数据库云服务器”,该系统集成数据库软件、硬件服务器及存储设备。10月,宣布推出OracleExalytics商务智能云服务器。1月,公布Oracle大数据机,包含OracleNoSQL数据库、Cloudera的分布式Hadoop及开源R编程语言。Oracle市场定位高度集成,为顾客提供端对端的大数据解决方案。解决方案大数据机、OracleExalogic中间件云服务器、OracleExadata数据库云服务器及OracleExalytics商务智能云服务器构成一种高度集成化产品组合。为以上系统提供一线支持。给顾客带来的价值全方面集成软硬件产品,协助客户洞察数据及挖掘数据的商业价值。分析Oracle大数据战略清晰明了,通过软硬一体化的集成设备为客户提供应用最广泛、高度集成化的系统产品组合,为公司顾客提供端到端的大数据解决方案。、EMC7月,宣布收购数据仓储技术提供商Greenplum公司。5月,推出世界最大的单一文献系统,公布IsilonIQ108NL硬件产品和SmartLock数据保存软件应用。12月,推出支持大数据分析的平台EMCGreenplum统一分析平台(UAP)。3月,收购软件开发公司PivotalLabs。4月,公布数据科学的社交平台GreenplumChorus。2月,推出RSA信息安全智能分析平台,该平台以RSANetWitness技术架构为基础,将SIES、网络取证和大数据分析融合到一种平台之中。EMC市场定位充足发挥存储、管理和保护方面的优势,运用云计算开放式、分布式和集群技术解决大数据解决方案统一的大数据分析平台UAP涉及EMCGreenplum关系数据库、EMCGreenplumHDHadoop发行版和EMCGreenplumChorus给顾客带来的价值针对大数据提供分析工具、服务,及强大的扩展性和开源的生态系统分析EMC在数据存储、管理和保护方面优势明显。另外,数据团体和分析团体能够在统一的软件平台上共享信息、协作分析,无需在不同平台间转移数据。、SAP12月,公布高性能分析应用软件SAPHANA。3月,推出全新升级的SAPBusinessOne8.82产品,该产品可布署在SAPHANA平台上,满足成长型公司数据分析需求。4月,公布有关HANA数据库平台及数据库提供商Sybase的近期及长久规划,重点关注大数据的解决。4月,推出预测性分析软件SAPBusinessObjectsPredictiveAnalysis协助客户实现预测性建模和高级可视化。SAP市场定位含有内存计算技术的HANA能够快速高效解决海量数据,满足不同行业大型和成长型公司的需求解决方案HANA能够快速解决大公司的海量数据SAPBusinessOne8.82可布署在SAPHANA平台上满足成长型公司数据分析需求给顾客带来的价值协助顾客以简捷的方式快速获取实时信息,提高预测和规划的能力分析HANA是一种开放性的开发合作平台,容易获得硬件系统厂商的支持(5)、惠普9月,收购存储公司3PAR,成为增加最快的高端存储平台。2月,收购分析及数据管理软件公司Vertica,该公司重要开发用于存储和查询数据库的数据管理解决方案。8月,收购英国第二大软件厂商Autonomy,该公司擅长基于语义计算的数据解决和数据挖掘。惠普市场定位通过将原有的技术能力和3Par、Autonomy、Vertica的技术能力技能融合创新,实现大数据价值链的全覆盖解决方案HPStoreonce全新重复数据删除,实现高速备份和数据恢复能力。采用AutonomyIntelligentDataOperatingLayer10的HPDataProtector7,让公司使用网络点击流量、浏览及交易数据。Vertica分析平台,让公司能在任何地点、使用任何接口分析和管理多个信息给顾客带来的价值协助顾客更短时间保护更多数据,从而在数据暴发式增加时更加好的应对风险分析大数据布局全方面,实现大数据价值链的全覆盖(6)、淘宝9月,宣布开放平台计划(“淘园”),第三方开发者能够通过开放接口访问淘宝数据。3月,宣布向全球分层次开放数据,向普通消费者免费提供涉及电子商务行业的宏观数据。8月,支持海量数据的数据库系统OceanBase遵照GPL2开源。9月,完全开放全部零售形态,连接外部B2C电商平台,该方略涉及品牌商、供应商、零售商等。淘宝市场定位掌握了大量的交易数据,为商家提供各类数据服务解决方案数据魔方平台。商家能够运用该平台理解行业宏观状况、品牌的市场状况、消费者行为等消息。与第三方研究机构合作,研究机构直接向商家提供服务。给顾客带来的价值商家能够以较低的成本及时获取可靠数据,并且运用这些数据服务理解市场、顾客需求,从而改善自己的产品与运行方略分析相比商家实地调研,数据产品成本较低、来源可靠、实时性强。拥有大量数据资源,是天生优势国内运行商分析、中国联通中国联通成功将大数据和Hadoop技术引入到“顾客上网统计集中查询与分析支撑系统”,并已经布署了4.5PB的存储空间。系统已经含有了每天解决700亿条上网统计的能力,每天新增数据量达20多个TB,每年以70%的速度在递增。通过该大数据项目,联通在全球运行商中率先提供了顾客上网统计的清单查询服务,为移动互联网时代移动上网流量的明明白白消费提供了技术上的确保。同时,也为中国联通的移动互联网业务精细化运行、流量提高、移动网络规划和优化提供了有效支撑。、中国移动中国移动在大云1.5平台上布署了分析型PaaS产品,运用BC-Hadoop构建大数据解决平台,并在英特尔至强+Hadoop平台上运行,同时建设了并行数据挖掘系统以及商务智能平台等大数据应用平台,为将来在大数据应用和服务市场做了充足准备。、中国电信从开始中国电信成立的八大基地,在运行过程中都用到了大数据的概念。现在为止中国电信在全国拥有300座以上的机楼,计算能力已经超出了100万解决器核心,存储能力已经达成EB的级别。中国电信提出了大数据发展思路,并以综合平台、智能管道为依靠,以丰富大数据为基础,聚焦重点大数据应用,特别是聚合更有价值的四大大数据商业应用模式,依靠本身核心业务,以实现利润最大化。中国电信最有价值的大数据应用体现在四方面:语音数据分析、视频数据分析、流量分析和位置数据分析。四、存在问题及对策分析大数据带来战略机遇的同时,也带来了不可无视的一系列挑战。1、数据量的成倍增加挑战数据存储能力大数据及其潜在的商业价值规定使用专门的数据库技术和专用的数据存储设备,传统的数据库追求高度的数据一致性和容错性,缺少较强的扩展性和较好的系统可用性,不能有效存储视频、音频等非构造化和半构造化的数据。现在,数据存储能力的增加远远赶不上数据的增加,设计最合理的分层存储架构成为信息系统的核心。2、数据类型的多样性挑战数据挖掘能力从数据库的观点看,挖掘算法的有效性和可伸缩性是实现数据挖掘的核心,而现有的算法往往适合常驻内存的小数据集,大型数据库中的数据可能无法同时导入内存,随着数据规模的不停增大,算法的效率逐步成为数据分析流程的瓶颈。要想彻底变化被动局面,需要对现有架构、组织体系、资源配备和权力构造进行重组。3、对大数据的解决速度挑战数据解决的时效性随着数据规模的不停增大,分析解决的时间对应地越来越长,而大数据条件下对信息解决的时效性规定越来越高。传统的数据挖掘技术在数据维度和规模增大时,需要的资源呈指数增加,面对PB级以上的海量数据,解决大数据需要简朴有效的人工智能算法和新问题求解办法。4、数据跨越组织边界传输挑战信息安全随着技术的发展,大量信息跨越组织边界传输,信息安全问

温馨提示

  • 1. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
  • 2. 本站的文档不包含任何第三方提供的附件图纸等,如果需要附件,请联系上传者。文件的所有权益归上传用户所有。
  • 3. 本站RAR压缩包中若带图纸,网页内容里面会有图纸预览,若没有图纸预览就没有图纸。
  • 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
  • 5. 人人文库网仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对用户上传分享的文档内容本身不做任何修改或编辑,并不能对任何下载内容负责。
  • 6. 下载文件中如有侵权或不适当内容,请与我们联系,我们立即纠正。
  • 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。

评论

0/150

提交评论