浅谈大数据及展望未来

XXX移动互联网、传感器、物联网、社交网站、云计算等的兴起，我们这个社会的儿乎所有方面都已数字化，产生了大量新型、实时的数据。无疑，我们已身处在大数据的海洋。有两个重要的趋势使得目前的这个时代（大数据时代）与之前有显著的差别：其一,社会生活的广泛数字化,其产生数据的规模、复杂性及速度都已远远超过此前的任何时代：其二，人类的数据分析技术和工艺使得各机构、组织和企业能够以从前无法达到的复朵度、速度和精准度从庞杂的数据中获得史无前例的洞察力和预见性。大数据是技术进步的产物，而其中的关键是云技术的进步。在云技术中，虚拟化技术乃最基本、最核心的组成部份。计算虚拟化、存储虚拟化和网络虚拟化技术，使得大数据在数据存储、挖掘、分析和应用分享等方面不仅在技术上可行，在经济上也可接受。世界以及人类自身，试图找到隐藏其中的深刻关联、运行规律及终极答案。大数据以其人类史上从未有过的庞大容量、极大的复杂性、快速的生产及经济可得性，使人类第一次试图从总体而非样本，从混杂性而非精确性，从相关关系而非因果关系来测量、计量我们这个世界。人类的思维方式、行为方式及社会生活的诸多形态（当然包括商业活动）正在开始发生新的变化。或许是一场革命性、颠覆性的变化。从这个意义上讲，大数据不仅是一场技术运动,更是一次哲学创新。大数据（BigData）是指那些超过传统数据库系统处理能力的数据。它的数据规模和转输速度要求很高，或者其结构不适合原本的数据库系统。为了获取大数据中的价值,我们必须选择另一种些信息。如沃尔玛或谷歌这类领先企业都要付高昂的代价才能从大数据中挖掘信息。而当今的各种资源，如硬件、云架构和开源软件使得大数据的处理更为方便和廉价。即使是在车库中创业的公司也可以用较低的价格租用云服务时间了“对于企业组织来讲,大数据的价值体现在两个方面：分析使用和二次开发。对大数据进行分析能揭示隐藏其售、地理和社会信息的分析能提升对客户的理解。对大数据的二次开发则是那些成功的网络公司新的广告模式。这种通过大数据创造出新产品和服务的商业行为并非巧合，谷歌、雅虎、亚马逊举行。英特尔公司中国研究院吴甘沙出席论坛并做了题U为“大数据的探索历程一一回归初心”的主题演讲。吴甘沙谈了做大数据研究一路走来着重处理的三个关系。的问题。做了儿十年的数据仓库其至海量并行处理的数据库都不能处理那么大的数据，怎么办?需要范式切换。主要有三个方面，新型的数据与机器关系当中的笫一条就是重新考虑架构与算法,重新考虑舍得，有舍才能得，天下没有免费的午餐，所以必须要舍弃一些，得到一些新的。必须舍弃可水平扩展服务器处理每两年翻番的数据量的挑战。笫二个舍得是舍弃硕件的可靠性和可用性，得统数据库的强一致性,获得更放松一致性、可扩展架构，如NoSQLo第四个舍得是传统算法强调非常严格的精确性，现在要放弃一些精确性，通过近似、采样这种方式来获得更好的扩展性。行处理,获得实时性，接着在存储和内存之间现在乂出现了闪存，有闪存化棋至全闪存的存储，也期，两年以后出现新的非易失性的闪存，它的速度可能要比闪存快儿百倍，和内存相似，这乂会极第二层关系:数据与人的关系。主要是价值的觉醒，如果数据不能产生价值它可能是负面资产。数据怎么能够给人带来价值?我们介绍一下它的价值维度，把它映射到二维的时空象限里，用六个关键词来描述它。笫一是“V。1lime”，两个关键词，小数据见微对个人进行刻划，大数据知著能够了解宏观规律，它是空间概念，同时也是时间概念，数据刚刚产生的时候，它的个性化价值、见微的价值最大，而随着时间的推移，它渐渐退化到只有集合价值。第二是Ve1ocity,时间明。第三是Variety,多源异质的数据，能够过滤噪声、查漏补缺、去伪存真，就是辩讹。还有晓意，能够从大量的非结构化数据中获得语意,从而能够使机器窥探人的思维境界，这六个价值维度解读数据并利用数据。首先看洞察数据，数据科学，人和机器作用发生了消长，讲个例子，机器学习大家觉得是机器的问题，其实人在里面起到很重要的作用，尤其是机器学习是模型加特征，而特征工程是一个人力工程，你要有经验非常丰富的特征团队去死磕特征，找出更好、更多的特知道黑客帝国描述了一个场景，人脑袋后面插一个插头，给机器提供营养，我可能不会那么悲观,但是像这样的互动关系以一种更良性的方式出现了，现在人的一言一行、社交行为、金融行为都已经成为机器的养料、机器的数据，使得机器获得更好的洞察。终端用户需要更好地、更傻瓜化的分析工具和可视化工具，两年前我去参加大数据的会，基具。大数据跟各行各业的化学作用正在发生。如果马化腾说“互联网+”是互联网与各行各业的加法效应,那么大数据将与各行各业产生乘法效应。据可能是黑暗的数据，在政府、在企业里大家看不到。我们怎么办呢?必须让数据发现数据。只有让数据能够发现数据、遇到数据,才能产生金风玉露一相逢、便胜却人间无数的效果。这里有三个数据的隐私权，什么数据不能给你看;数据的许可权,什么数据是可以给你看的;数据的审计权，我给你看了以后，你是不是按照许可的范阖去看;数据的分红权。数据像原油乂不同于原油,原油用完了就没有了，数据可以反复地产生价值，因此数据的拥有者应该得到分红。我们要保证数据的年姚期智老先生提出了口万富翁的窘境的问题，两个白万富翁他们想要比谁更富，但是谁都不愿意说出来自己都多少钱,在我们的数据共享当中要通过各种各样的技术达到这样的效果。还有数据交互联网能发展起来经济学理论和实践是很重要的支撑,梅特卡夫定律决定了一个互联网公司的价值,跟它用户数的平方成正比，乂比如说谷歌请最好的经济学家，它的一个广告业务的核心就是建立在一个非常先进的拍卖经济学的模型基础上。数据经济也需要这样一些基础的理论，比如数据定价和信息定价不一样,信息做一个咨询报告5000美金卖给你，可以卖给所有人。但数据对不同大数据是需要新处理模式才能具有更强的决策力、洞察发现力和流程率和多样化的信息资产。这也是一个描述性的定义，在对数据描述的基础上加入了处理此类数据的一些特征，用这些特征来描述大数据。当前，较为统一的认识是大数据有四个基本特征：数据规模人电脑。此外，各种意想不到的来源都能产生数据。数据种类多（Variety）—个普遍观点认为，人们使用互联网搜索是形成数据多样性的主要原社交媒体、互联网搜索、手机通话记录及传感器网络等数据类型造成。其中，部分传感器安装在火车、汽车和飞机上，每个传感器都增加了数据的多样性。于实现软件性能优化的高速电脑处理器和服务器，创建实时数据流已成为流行趋势。企业不仅需要相较传统的业务数据，大数据存在不规则和模糊不清的特性，造成很难其至无法使用传统的应用软企业面临的挑战是处理并从各种形式呈现的复杂数据中挖掘价值。除了有四个特性之外，大数据时代的数据还呈现出其他三个特征。第一个特征是数据类型繁多。包括网络日志、音频、视频、图片、地理位置信息等等，多类型的数据对数据的处理能力提出了更高的要求.第二个特征是数据价值密度相对较低。如随着物联网的广泛应用，信息感知无处不在,信息第三个特征是处理速度快，时效性要求高。这是大数据区分于传统数据挖掘最显著的特征。支，另一方面它是人工智能(AI,ArtificialIntel1igence)的核心课题之一。析、偏相关分析、距离分析、回归分析、简单回归分析、多元回归分析、逐步回归、回归预测与残差分析、岭回归、logistic回归分析、曲线估计、因子分析、聚类分析、主成分分析、因子分析、快6.数据挖掘：分类(Classification)>估计(Estimation)、预测(Prediction)、相关性分组模型预测:预测模型、机器学8.结果呈现：云计算、标签大数据的釆集是指利用多个数据库来接收发自客户端(Web.App或者传感器形式等)的数据，并且用户可以通过这些数据库来进行简单的查询和处理工作。比如，电商会使用传统的关系在大数据的釆集过程中，其主要特点和挑战是并发数高,因为同时有可能会有成千上万的用户来进行访问和操作，比如火车票售票网站和淘宝，它们并发的访问量在峰值时达到上口万，所以需要在采集端部署大量数据库才能支撑。并且如何在这些数据库之间进行负载均衡和分片的确些来自前端的数据导入到一个集中的大型分布式数据库，或者分布式存储集群，并且可以在导入基据进行流式计算,来满足部分业务的实时计算需求。统计与分析主要利用分布式数据库，或者分布式计算集群来对存储于其内的海量数据进行普通的分析和分类汇总等，以满足大多数常见的分析需求，在这方面,一些实时性需求会用到EMCSQL的列式存储Infobright等，而一些批统计与分析这部分的主要特点和挑战是分析涉及的数据量大，其对系统资源,特别是I/O会有据上面进行基于各种算法的计•算,从而起到预测(Predict)的效果，从而实现一些高级别数据分析且计•算涉及的数据量和计算量都很大，常用数据挖掘算法都以单线程为主。整个大数据处理的普遍流程至少应该满足这四个方面的步骤,才能算得上是一个比较完整的大医药、文化产业等。金融，作为现代经济中枢，其实也已透出了大数据金融的曙光。金融业者也或推出自己的电商平台，或与互联网企业联手提供相应的金融产品和服务。尚未有一个统一的、规范的概念。在我看来，互联网金融本来就是一个不确切的概念，也不可能有一个明确的定义。严格说来，所谓互联网金融只是大数据金融的一种展现或形态。换言之，前者是流量、客户等数据（信息）是其涉足金融业的基石。对金融企业而言，提供中介服务，撮合金融交易也是以数据（信息）为基础。其次，没有大数据技术的支撑，所谓互联网金融也难以快速、持续融却发展缓慢。当然，其中原因很多,但其主要原因则是大数据技术是近儿年才快速发展起来的。最后，从金融企业来看，在数据中心建设,软硬件系统建设，数据（信息）挖掘、分析等方面也是做积极探索。因此，要准确反映近年新金融趋势，“大数据金融”比“互联网金融”更为贴切。3.2大数据金融有以下七大特征网络化的呈现。在大数据金融时代,大量的金融产品和服务通过网络来展现，包括固定网络和移动网络。其中，移动网络将会逐渐成为大数据金融服务的一个主要通道。随着法律、监管政策的完善，随着大数据技术的不断发展，将会有更多、更加丰富的金融产品和服务通过网络呈现。支付结品销售、金融咨询等都将主要通过网络实现，金融实体店将大量减少，其功能也将逐渐转型。在风险管理理念上，财务分析（第一还款来源）、可抵押财产或其他保证（第二还款来源）重要性将有所降低。交易行为的真实性、信用的可信度通过数据的呈现方式将会更加重要，风险定价方式将会出现革命性变化。对客户的评价将是全方位、立体的、活生生的，而不再是一个抽象的、模糊的客户构图。基于数据挖掘的客户识别和分类将成为风险管理的主要手段，动态、实时的监测而非事后的回顾式评价将成为风险管理的常态性内容。称程度大大降低。对某项金融产品（服务）的支持和评价，消费者可实时获知该信息。高效率性。大数据金融无疑是高效率的。许多流程和动作都是在线上发起和完成，有些动作是强大的数据分析能力可以将金融业务做到极高的效率，交易成本也会大幅降低。金融企业服务边界扩大。首先，就单个金融企业而言，其最合适经营规模扩大了。山于效率提会更快来临，也会更平坦更宽。其次，基于大数据技术，金融从业人员个体服务对象会更多。换言之，单个金融企业从业人员会有减少的趋势，或至少其市场人员有降低的趋势。普惠金融。大数据金融的高效率性及扩展的服务边界，使金融服务的对象和范围也大大扩展，受到。其至极小金额的融资服务也会普遍发展起来。传统金融想也不敢想的金融深化在大数据金3.3大数据金融图景尽管大数据技术还处于早期发展阶段,但大数据金融已透出了一片曙光。我们结合多方面的文献和事实，试图勾勒出大数据金融图景。泛金融化。金融供给也许不再是传统金融业者的专属领地，许多具备大数据技术应用能力的企业都会或多或少涉足、介入金融行业。在未来的某一天,也许鲤I与非银行间,证券公司与非证界融合成为常态。同时，金融企业在提供传统金融服务的同时,其服务范围、内容也会泛金融化，多层次的行业格局。大数据金融时代，金融服务层次将空前丰富,既有行业寡头，也有区域金融服务企业。同时,也存在大量的地方、社区金融企业，也会出现无实体店的金融企业。行业市场更加细分。不同层次的消费者都能享受到特定的金融服务。在此过程中，会催生许多与大数据金网络化加新型实体店。大数据金融将网络化呈现和线下消费者体验相互融合，以满足金融消费 者不同需求。网络化尤其是移动网络的迅速发展，金融服务场景会发生很大变化，所谓"3A” 务、更多社会化服务会成为金融实体店的主要内容。高度个性化金融。大数据金融时代，客户已被高度数据化。大数据技术的进步，使成千上万的客户都能被精准细分与定位，真正实现以客户为中心。金融企业的服务将是高度个性化的，能4大数据应用中的三大未解难题近年来，大数据这个词成为互联网领域关注度最高的词汇，时至今日，大数据已经不再是IT圈的“专利”了,从去年的春晚，到刚刚过去的两会，都能见到它的身影，但实际上春晚与两会的数据都只能叫做小数据，它与真正的大数据还相差棋远。即便如此，数据所产生的价值已经被人是结构化的数据，我们一般将这些数据进行分类、排序等操作，将相同类型的数据进行对比、分析、挖掘，总而言之基本上都是统计工作。到了第二阶段，数据的范围扩大到行业内，各种各样的据，在这一阶段的特点就是非结构化和结构化数据并存，且数据量巨大，要对这些数据进行分析第三阶段则是未来大数据发展的理想化状态，首先它一定是跨行业的，且数据的范圉是整个社会。通过对这些数据进行分析加以使用，将直接改变我们的生活方式，这也是现在很多企业所设想的未来交通、医疗、教育等领域的发展方向。第三个阶段是我们所憧憬的，但在我们所处的第二阶段面对的更多是问题。其中的一个问题就是“大”。大数据给人最直观的感受就是大，它所带来的问题不仅仅是存储，更多的是庞大的这些设备每天所拍摄的视频及照片产生的数据量是惊人的,仅照片每天就能产生2千万张，而对嫌疑车辆的监控，当你想要使用这些数据的时候，传统的数据库以及系统架构，放进这么庞大的数据，是根本跑不动的。这一问题导致很多企业对大数据望而却步。西：分布式存储(HDFS)和分布式计算(Mapreduc底层技术的复杂性。山此可见想要用好大数据又是一大考验。真想要用它来完成某些商业任务你还得是个“土豪”。在国外那些使用大数据的成功案例里，亚定制系统。从上面两个案例来看用于商业用途的大数据现阶段还是很费钱的，随着大数据软件环境逐渐成熟，开发工具增多，价格在未来会逐渐降低。从上面罗列的这三点困难，其实并不是要给大数据泼冷水，而是想说大数据想要淘金并不简确定了自己的能力之后，选择一个能够发挥你现有资源最大价值的项Uo如果你需要帮手，应先考具，为以后的扩充打好基础。更重要的是——从小规模做起。5大数据创新的驱动力计算机科学与技术的发展使得大规模信息处理基础设施产生重要改变。在过去的30年中，经在这个过程中，相关的数据仓库和数据挖掘分析技术也成为一个热点研究方向;人们认识到数据处理过程中的信息可以被有效整理和分析来支持以数据为中心的决策支持。数据库管理系统在LI前的互联网时代继续占据了重要地位。在一个典型的互联网服务系统在这个系统架构中，人们期望系统能支持无限次和舟速的互联网用户访问，这个时候数据库层山很难提供良好的解决方案。另一个大数据相关的挑战是服务器端数据中心的数据维护及安全隐私crosoft等公司也纷纷开发自己的云汁算系统。尽管云讣算在互联网应用中已经体现出很多优越性，其在系统成熟性、可用性等方面还有很大提高空间。包括数据获取、组织管理、分析处理和应用呈现等整个数据管理生命周期。针对数据管理和分析和流处理、通用数据处理等等。大数据不但给数据库研究领域,同时也给体系结构、存储系统、系题的根本,并驱动众多新科技的发展。6大数据的发展前景大数据的概念来