大数据技术及其应用

1、大数据技术及其应用2015年1月13日1.何谓谓大数数据？2.大数数据技术与数术与数据分析3.大数数据在各个个行业业中的应应用4.大数数据的未来发来发展制作人：朱磊大数数据的产产生 随着网络和信息技术的不断普及，人类产生的数据量正在呈指数级增长。大约每两年翻一番，根据监测，这个速度在2020 年之前会继续保持下去。这意味着人类在最近两年产生的数据量相当于之前产生的全部数据量。 大量新数据源的出现则导致了非结构化、半结构化数据爆发式的增长。信息数据的单位由TB-PB-EB-ZB的级别。这些由我们创造的信息背后产生的这些数据早已经远远超越了目前人力所能处理的范畴。如何管理和使用这些数据，逐渐成为一

2、个新的领域，于是大数据的概念应运而生。大数数据的定义义 大数据一词，最早出现于20世纪90年代，当时的数据仓库之父Bill Inmon，经常提及Big Data。 2011年5 月，在“云计算相遇大数据” 为主题的EMCWorld 2011 会议中，EMC 抛出了Big Data概念。所以，很多人认为，2011年是大数据元年。 但是其实大数据还没有统一的标准定义，大多数人认可的定义有三个：1.百度搜索的定义为：大数据是一个体量特别大，数据类别特别大的数据集，并且这样的数据集无法用传统数据库工具对其内容进行抓取、管理和处理。大数据有4V特点：数据体量(Volume)大、数据类别(Variety)

3、大、数据处理速度(Velocity)快、数据真实性(Veracity)高。大数数据的定义义2.互联网周刊的定义为：“大数据”的概念远不止大量的数据（TB、PB、EB、ZB）和处理大量数据的技术，或者所谓的4个V之类的简单概念，而是涵盖了人们在大规模数据的基础上可以做的事情，而这些事情在小规模数据的基础上是无法实现的。换句话说，大数据让我们以一种前所未有的方式，通过对海量数据进行分析，获得有巨大价值的产品和服务，或深刻的洞见，最终形成变革之力。3.研究机构认为：大数据是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。从数据的类别上看，大数据指的是无

4、法使用传统流程或工具处理或分析的信息。它定义了那些超出正常处理范围和大小、迫使用户采用非传统处理方法的数据集。大数数据与传统数与传统数据的比较较第一，数据体量巨大。从TB级别跃升到PB乃至EB级别。第二，数据类型繁多。这种类型的多样性也让数据被分为结构化数据和非结构化数据。相对于以往便于存储的以文本为主的结构化数据，越来越多的非结构化数据的产生给所有厂商都提出了挑战。拜互联网和通信技术近年来迅猛发展所赐，如今的数据类型早已不是单一的文本形式，除了网络日志、音频、视频、图片、地理位置信息等等多类型的数据对数据的处理能力提出了更高的要求。大数数据与传统数与传统数据的比较较第三，价值密度低。价值密度

5、的高低与数据总量的大小成反比。以视频为例，一部一小时的视频，在连续不间断监控过程中，可能有用的数据仅仅只有一两秒。如何通过强大的机器算法更迅速地完成数据的价值“提纯”是目前大数据汹涌背景下亟待解决的难题。第四，处理速度快。这是大数据区分于传统数据挖掘最显著的特征。根据IDC的一份名为“数字宇宙”的报告，预计到2020年全球数据使用量将会达到35.2ZB。在如此海量的数据面前，处理数据的效率就是企业的生命。大数数据技术与数术与数据分析 不断形成与发展的新型服务推动着人类经济社会项目的数据形式与规模向着更快、更准的方向发展，这无疑也预示着现代大数据时代正朝着我们推进。众所周知，数据并不单单是一项解

6、决问题的手段，数据的种类逐渐从原有的结构模式向现今的结构化、半结构化以及非结构化的数据模式转换，这也预示着数据已不再只是一项简单的工具，而已逐渐作为一项较为基本的资源。那么应当如何正确、合理地应用现代数据呢?应当如何分析、研究数据资源? 让数据更好的为企业单位服务，这已经逐渐成为当代人较多关注的问题。 大数据技术是指从各种各样类型的巨量数据中，快速获得有价值信息的技术。解决大数据问题的核心是大数据技术。主要可分为：数据采集，数据存取，基础架构，数据处理，统计分析，数据挖掘，模型预测，结果呈现等8种技术。大数数据技术与数术与数据分析数据源数据存取数据理解数据处理数据挖掘统计分析模型建立模型预测（

7、检验）结果呈现大数数据技术与数术与数据分析 目前，无论是在社会用人单位或者是个体方面都会涉及与处理相关数据信息的问题，社会大众在应用数据信息之际也被社会诸多的数据信息所围绕，即使现代社会数据信息的发展情况较为良好、也让社会大众更为信服，然而在社会大众对大数据的印象观念中，数据形式的发展已经超过了他们所预想的、数据总量已经超过社会大众所理解的范畴，应当如何正确、有效地处理该部分数据信息，能够更好的为企业、单位的发展提供更好的服务，已经变为现代社会大众共同面对的问题，要求求人们谨慎地对待，具体问题要具体分析。大数数据在行业业中的应应用 大数据应用，其真正的核心在于挖掘数据中蕴藏的情报价值，而不是简

8、单的数据计算。通过大数据的数据挖掘技术，运用适当的数据分析方法我们可以更好的为企业单位的运营提供可靠的数据支持。一、精确行业业市场场定位；二、促进进行业业市场营销场营销；三、支撑行业业收益管理；四、创创新行业业需求开发开发。大数数据在行业业中的应应用一、精确行业业市场场定位： 成功的品牌离不开精准的市场定位，可以这样说，一个成功的市场定位，能够使一个企业的品牌加倍快速成长，而基于大数据的市场数据分析和调研是企业进行品牌定位的第一步。随着大数据时代的来临，借助数据挖掘和信息采集技术不仅能给研究人员提供足够的样本量和数据信息，还能够建立基于大数据数学模型对未来市场进行预测。对自己产品处于市场上的什

9、么位置有一个很好的定位，能够更加有效的促进品牌的推广。大数数据在行业业中的应应用二、促进进行业业市场营销场营销： 在各个行业的市场营销工作中，无论是产品、渠道、价格还是顾客，可以说每一项工作都与大数据的采集和分析息息相关，而以下两个方面又是市场营销工作中的重中之重。一是通过获取数据并加以统计分析来充分了解市场信息，掌握竞争者的商情和动态，知晓产品在竞争群中所处的市场地位，来达到“知彼知己，百战不殆”的目的；二是企业通过积累和挖掘行业消费者档案数据，有助于分析顾客的消费行为和价值趣向，便于更好地为消费者服务和发展忠诚顾客。了解这些信息，再对市场进一步分析，确定适合自己的营销模式，扩展自己的市场。

10、如果企业善于在市场营销加以运用，将成为市场竞争中立于不败之地的利器。大数数据在行业业中的应应用三、支撑行业业收益管理： 需求预测是通过对建构的大数据统计与分析，采取科学的预测方法，通过建立数学模型，使企业管理者掌握和了解行业潜在的市场需求，未来一段时间每个细分市场的产品销售量和产品价格走势等，从而使企业能够通过价格的杠杆来调节市场的供需平衡，并针对不同的细分市场来实行动态定价和差别定价。需求预测的好处在于可提高企业对行业市场判断的前瞻性，并在不同的市场波动周期以合适的产品和价格投放市场，获得潜在的收益。大数数据在行业业中的应应用四、创创新行业业需求开发开发： 随着论坛、博客、微博、微信、电商平

11、台、点评网等媒介在PC端和移动端的创新和发展，公众分享信息变得更加便捷自由，而公众分享信息的主动性促使了“网络评论”这一新型舆论形式的发展。如果能对网上关于行业的评论数据进行收集，建立网评大数据库，然后再利用分词、聚类、情感分析了解消费者的消费行为、价值趣向、评论中体现的新消费需求和企业产品质量问题，以此来改进和创新产品，量化产品价值，制订合理的价格及提高服务质量，从中获取更大的收益。大数数据的未来发来发展 2014年8月，拟由中科院深圳先进技术研究院、 中国量化投资研究院、上海大数据产业技术创新战略联盟、复旦大学管理学院将聚会上海共同举办 “2014中国大数据国际高峰论坛”，为国内外的大数据

12、产业界、学术界和政策制定方之间搭建一个沟通交流的国际化平台。届时将有100多位世界顶尖的大数据产业界专家和学术界知名学者，与600多位来自IT、金融、教育、医疗和政府代表，共同探讨大数据产业发展以及大数据产品和工具等前沿话题，分享大数据智慧，探索各行业之间面临的数据分析应用问题的解决途径。此次峰会将大力推动大数据与信息技术产品的融合创新，促进大数据技术与工具在金融、医疗等领域的快速广泛应用，推动学校大数据相关学科教育和科研进步，提高政府科学决策能力，提升企业生产及管理精细化和智能化的水平，从而以推动中国大数据产业向纵深发展！大数数据的未来发来发展 进入2014年，大数据市场的新产品、新技术、新

13、服务正在不断涌现，我国大数据产业存在重大机遇也面临巨大挑战。国际上大数据产业发展的最新趋势是什么？国内大数据产业发展存在的问题与解决办法是什么？金融、信息技术、消费、教育、医疗等行业如何在大数据中挖掘价值等问题成为国内大数据产业发展关注的焦点。大数数据的未来发来发展所以，大数据必将成为企业和社会关注的重要战略资源；自2013年开始，大数据技术已开始和云计算技术紧密结合，预计未来两者关系将更为密切，除此之外，物联网、移动互联网等新兴计算形态，也将一齐助力大数据革命，让大数据营销发挥出更大的影响力；随着大数据的快速发展，就像计算机和互联网一样，大数据很有可能是新一轮的技术革命，随之兴起的数据挖掘、机器学习和人工智能等相关技术，可能会改变数据世界里的很多算法和基础理论，实现科学技术上的突破；未来，数据科学将成为一门专门的学科，被越来越多的人所认知。各大高校将设立专门