2013年大数据场应用与趋势调研

1、2013年大数据市场应用与趋势调研即将逝去的2013年，被认为是具有跨时代意义的“大数据元年”。在这一年， 数据比以往任何时候都要宝贵，甚至成为可以与石油资源相媲美的新能源， 大数 据被认为是继信息化和互联网后整个信息革命的又一次高峰。然而，大数据不是口号，需要更多的企业付诸实践，从单调的数据中挖掘出潜在价值。年初的一项调查曾指出，28%勺全球企业和25%勺中国企业已经开始进行大数据 实践。为了进一步了解中国企业大数据应用的真实情况，IT168近期联合ITPUB ChinaUnix展开了一项有关大数据应用与趋势的专项调查，揭示大数据给企业带 来的挑战及其解决之道。此次调查于2013年9月30日

2、正式启动，历时一个半月，通过线上线下两种途径 回收问卷500余份，人群覆盖数据架构师、数据库管理和运维工程师、数据库开 发工程师、数据分析师、研发总监和IT经理等技术人员。调查主要结论:1.每月新增数据规模在500G以上的企业由2012年的16.67%,增长到18.11%。 虽然拥有大数据的企业比例有所上升，但与预测中数据增长速度还有很大差距。2. 选用国产大数据产品的企业仅占5.61%，国产厂商若抓住大数据和信息安全 的重大机遇，将迎来成长的春天。3. 企业认为大数据的存储和处理过程中三个最大的难点是数据安全、系统性能 瓶颈和数据类型多样化。4. 在大数据时代，企业面临的最大挑战是缺乏专业的

3、大数据人才5. 针对非结构化数据，企业目前最迫切需要解决的是如何对这些数据进行分析。6. 当前已经部署大数据的企业达到 21.89%,计划1年内部署的占27.92%, 2014 年将是大数据部署的高峰期。7. 企业在大数据选型的过程中最先考虑的三个因素是产品的性能、服务与支持 水平和与其他应用的兼容性。8. 大多数企业选择大数据产品或解决方案的类型是大数据分析软件。9. 被调查者最关注的大数据技术，排在前五位的分别是大数据分析、云数据库、Hadoop内存数据库，以及数据安全。10. 被调查者认为在大数据分析中最重要的三个功能，分别是实时分析、丰富的 挖掘模型和可视化界面。一、企业大数据应用现状

4、如何定义大数据？这是一个仁者见仁、智者见智的问题。主流的有“3V模型，即数量(Volume)、速度(Velocity) 和种类(Variety); 还有Gartner的定义，即大 数据是超出了常用硬件环境和软件工具在可接受的时间内为其用户收集、管理和处理数据的能力。庞大的数据量无疑是大数据最明显的一个特征。有预测称，全球信息量正以每年59%勺速度增长。企业的数据规模是否达到难以承受的程度 ？在去年的调查中我们 就曾对企业每月新增数据规模进行摸底，结果显示企业的数据规模不断增大，但还未达到企业无法掌控的程度，每月新增数据规模在500G以上的企业占到16.67%。梅所在的公司/鲍惟毎月据規SP1O

5、1-5O0GSOO右以1豐所在的公司/麒愷忖对大歡鹏选用了些眼务商产品？0-1MlLiOOG企业每月新增数据规模调查 今年的情况又是如何呢？从上图可以看出，被调查者所在企业每月新增数据规模 在 10G以下的占到 26.79%, 11-100G 的占到 41.89%, 101-500G的占到 13.21%, 500G以上的达到18.11%。对比去年的结果可以看出，企业每月新增数据规模在 500G以上的由2012年的 16.67%,增长到2013年的18.11%,同比增长8.64%。拥有大数据的企业比例有 所上升，但与预测中数据增长速度(59% )还有很大差距。企业选用大数据厂商调查企业更青睐哪家

6、大数据厂商？或许从现有产品的部署情况可以看出端倪。从上图 可以看出，排在前六位的的厂商分别是IBM(18.74%)、Oracle(18.33%)、SAP(11.35%)、Microsoft(9.71%)、SAS(7.52%和 NetApp(7.52%)。与2012年的调查数据相比，Oracle从27.93%下降到18.33%, 家独大的状况 终止，取而代之的是遍地开花，各个厂商所占份额相对平均。前三位中IBM和SAP份额增长最为迅猛，分别由15.99%和7.66%增长到现在的18.74%和11.35%。在今年的调查中，新增了国产厂商的选项。相比国外的几家IT巨头，国产厂商的占有率仅为5.61%

7、。今年震惊一时的“棱镜门”事件给企业信息安全敲响了警 钟，也给国产厂商带来巨大的机遇和挑战。大数据和信息安全领域的需求激增， 国产厂商将迎来成长的春天。二、企业大数据痛点分析多年前，企业关注信息化和互联网化，近几年关注更多的是云计算、移动化和社 交化。无论哪种技术趋势，都给企业的数据处理和分析带来不少难题。 数据量的 激增、数据多样性和复杂性、数据安全的问题，都成为企业面临的挑战。为了进 一步了解企业的真实需求，此次调查针对大数据时代的企业痛点进行分析。絃所在的公司/单位在大数据的存储和处理方面有垄难点T企业大数据的存储和处理难点调查从上图来看，企业在大数据存储和处理上的难点分布比较均匀， 所

8、占比例最高的 为数据安全(18.98%)，排在第二的是系统性能瓶颈(18.42%),第三位的是数据类 型多样化(18.01%)。其他还有数据分析效率低(15.24%)、数据读写瓶颈(14.96%) 和存储压力(14.40%)。选项之间的差距非常小，也说明这六项都被认为是企业数据存储和处理的难点， 其中数据安全是企业最关注的问题。在大数据环境下，很多企业正在重新思考信 息安全策略，保护数据资源不被侵犯。懸认为在大数据时代.企业面临的挑战是什么?博第能果H Cltt玄tt*门址离袖阳It #KRrtta犠主中童呻夫企业在大数据时代面临的挑战在大数据时代，企业面临的挑战可以从上图中看出一些端倪。缺乏

9、专业的大数据人才(26.99%)成为企业面临的最大挑战，其次是非结构化数据的分析和处理 (26.65%)、传统技术难以处理大数据(25.27%)以及新技术门槛过高(21.13%)。大数据相关人才的欠缺将会成为影响大数据市场发展的一个重要因素。据Gartner预测，到2015年，全球将新增440万个与大数据相关的工作岗位，且 会有25%勺组织设立首席数据官职位。大数据的相关职位需要的是复合型人才， 能够对数学、统计学、数据分析、机器学习和自然语言处理等多方面知识综合掌 控。未来，大数据将会出现约100万的人才缺口，需要社会、高校和企业共同努 力去培养和挖掘。怦对韭结初化数据.意认为11前迫切福要

10、解决的是？Kitt 科宣行分序企业针对非结构化数据的挑战面对文本、图片、视频等非结构化数据，企业并不擅长处理。从上图的调查结果 可以看出，企业目前最迫切需要解决的是如何对这些数据进行分析，所占比例达到38.96%。其次是与其他数据源进行集成（32.50%）、如何保存这些数据 （14.72%），以及数据安全问题（13.82%）。驾驭大数据一书曾写到，数据的核心是发现价值，而驾驭数据的核心是分析。 分析是大数据最关键的环节，尤其对于传统方式难以应对的非结构化数据， 人们 最先想到是把它们转化为结构化数据，然后再处理和分析。与企业对结构化数据安全性的关注不同， 非结构化数据的安全问题在企业中缺乏 应

11、有的重视。但据统计，高达80%勺商业数据均以非结构化的形式保存。非结构 化数据的安全问题也迫在眉睫，企业需要提前做好预警和规划。三、企业大数据选型规划 毋庸置疑，大数据是2013年最热门的话题。热闹之余，我们还应该冷静的思考 一下，企业是否需要部署大数据、需要部署哪种类型的大数据，以及如何选择适 合的解决方案，需要做一个有针对性的选型规划。根据今年的一项调查显示，全球企业软件支出近300亿美元，相比2012年增长6.4%，预计2014年企业支出将向大数据倾斜，尤其在企业内容管理、数据集成 和数据质量工具三个方面。堆所在的公可#单位捷否考jJhw大萱据应用？部署大数据应用规划调查 从国内企业大数

12、据应用的现状和规划来看，情况有什么不同呢 ？通过上图可以看 出，目前已经部署大数据应用的企业所占比例达到 21.89%,计划1年内部署的 企业占27.92%,计划2年内部署的企业占14.34%,没有相关计划和不确定的企 业分别占11.32%和24.53%。大数据时代，企业已经逐渐意识到数据的重要性，也慢慢开始接受从传统数据库 到大数据分析的转变。但是大数据最大的难点就是落地，需要与业务需求相结合, 选择一套合适的大数据解决方案。您所在的公司/单恆在做大歎据选型时，考盘的因素育哪些？所鼻厂星 4品的需樽产里岭户品的鼻用弄乎理規苦歼M9性朗大数据选型影响因素调查从上图可以看出，企业在大数据选型的过

13、程中最先考虑的三个因素是产品的性能 (19.79%)、服务与支持(15.20%)和兼容不同应用(13.94%)。其次是产品的价格 (13.16%)、产品的易用性(12.18%)、支持移动化(11.11%)、所属厂商及品牌 (7.80%)，以及是否开源(6.82%) 0产品的性能排在第一位是毋庸置疑的。排名在产品价格前面的服务与支持，却似乎印证了 IT厂商向服务提供商转型道路的正确性。另外，随着移动化的不断深 入，支持移动版的大数据解决方案，将成为未来趋势。您所在的公闵/单位已经或者将僉选择什么类电的大敕据产崩或解决方案？大数据产品或解决方案类型调查除了产品选型时考虑的因素，企业选择什么类型的大

14、数据产品或解决方案更适合 自己呢？从上图可以看出，选择大数据分析软件的企业占32.05%、选择大数据整体解决方案的占28.96%,选择基础架构产品的占28.38%,最少选择的是大数据 一体机，所占比例达到10.62%。除了前文所述的大数据分析的重要性之外，我们还可以看到大数据一体机没有想 象中那么受欢迎。据业内人士透露，大数据一体机往往针对某一业务流程设计， 缺乏普适性，且价格昂贵，不是一般企业能够接受的。所以目前的大数据一体机 往往针对成熟的业务流程，能极大的简化部署和维护工作。四、企业大数据应用趋势在很长的一段时间中，只要一提到大数据，人们的脑海中总会浮现出Hadoop它几乎成为大数据的代

15、名词。但其实大数据的技术领域很广，涉及数据获取、整 合、治理、分析、探索、汲取智慧的方方面面。在众彩的技术證轉中.堆所关注的大誑据技术包藉12.91K大数据技术趋势调查 从上图可以看出，被调查者最关注的大数据技术中，排在前五位的分别是大数据分析(12.91%)、云数据库(11.82%)、Hadoop(11.73%)、内存数据库(11.64%)，以 及数据安全(9.21%)。其次是NoSQL(8.21%)数据仓库(8.21%)、数据集成 (7.94%)、商业智能(7.13%)、列式数据库(5.96%)、大数据(数据库)一体机 (3.52%)，以及 NewSQL(1.71%。令人欣慰的是，Hadoop已不再是人们心目中仅有的大数据技术，而大数据分析 成为最被关注的技术。从中可以看出，人们对大数据的了解已经逐渐深入，关注的技术点也越来越多。您认为以下气是数据分析与裔业會桂H重要的功能?宣ITS柝町良比鼻祈斥揮井祈淤曇肄功*大数据分析功能调查既然大数据分析是最被关注的技术趋势，那么大数据分析中的哪项功能是最重要 的呢？从上图可以看出，排在前三位的功能分别是实时分析(21.32%)、丰富的挖掘模型(17.97%)和可视化界面(15.91%)。其次是预测分析(13.10%)、社交数据分 析(12.12%)、云端服务(11.69%)，以及移动 BI(7.90%)。2012年也曾做