大数据技术革命与未来的时代

大数据技术革命与未来的时代

随着物联网、云计算等技术的日新月异，信息技术的发展逐渐进入了一个新阶段。规模化的数据,以及对规模化数据的开发和利用,成为数字时代发展的一个新趋势。英国著名学者维克托·迈尔-舍恩伯格在其《大数据时代》一书中称这样一个时代为大数据时代。他认为,大数据时代的到来,意味着一个新的技术革命浪潮的到来。围绕大数据,人类社会的生产和生活方式将发生新的变革。全球著名的战略思想库麦肯锡全球研究院在2011年发布的《大数据:创新、竞争和生产力的下一个前沿》报告中指出,数据将成为未来人类社会赖以生存的新的重要战略性生产资料,将是未来社会创新、竞争和生产力的下一个前沿。在此背景下,中国大数据技术的开发和应用已在很多领域展开,受到高度重视。比如,中国工程院院士、著名互联网专家邬贺铨先生也曾认为,随着技术的飞速发展和信息的爆炸性增长,互联网正在经历大数据时代。他认为,大数据技术的应用将催生很多新的业态,将会对互联网发展和人类社会产生深刻变革。作为数字时代发展的新趋势,大数据时代的到来以及大数据技术的应用无疑将对社会方方面面产生重要影响。那么,大数据技术的应用将会对媒体业的发展,尤其是传统媒体的转型升级产生什么样的影响,这是传媒界必须思考的重要现实命题。一、基于业务分析的商业价值:大数据的应用价值从字面意义上来看,大数据是指规模化的海量数据。实际上,它是指大小超出了典型数据库软件的采集、储存、管理和分析能力的数据集。这样一个数据集,数据量从TB级发展到PB级。众所周知,现在互联网常用的存储计量单位为GB,而比GB更大的储存单位还有TB、PB,甚至EB和ZB,这其中大小相差均为1024倍之多。由此不难看出,大数据技术应用对数据规模要求是何其之高。一般认为,“大数据”特征可以用四个“V”来归括。一是VolumeBig,即数据规模容量大,计算能力要求高,从TB到PB,甚而EB和ZB。如此海量的数据信息远非现有信息基础设施和IT架构所能承担。二是VariableType,即数据类型多样,数据来源多种。既有结构化数据,又有半结构化数据,更有非结构化数据,且将以网页、视频、图像与位置等形态的半结构化和非结构化数据为最主要的数据类型。三是VelocityFast,即数据处理实时速度要求快。大数据的数据流是高速实时数据流,换言之为动态数据,因此对数据处理速度和持续性要求非常高。四是ValueHigh,即商业价值高。但是,大数据的商业价值高和价值密度低是相伴而存的。也就是获取的具有高度价值的信息,是通过海量数据处理而来的,可谓“千淘万漉虽辛苦,吹尽狂沙始到金”。大数据的以上特征,无疑决定了大数据技术的应用,不是现有的数据库软件所能处理的,也不是一般的信息技术基础设施所能承载的。它需要新的信息软件系统的支撑和数据中心建设。问题是,对数据处理有这么高的要求,却受到业界的无限推崇,根本的原因则在于它是一种发展趋势,是一种产业变革力量,具有很强的商业价值,在未来可能形成变革时代的商业模式。大数据技术的应用能够形成一种商业模式的奥秘在于,大数据不仅是一种资源,更是一种工具。作为一种工具,利用大数据进行数据分析,可以进行趋势判断,进而进行商业业态创新和商业价值开发。业界普遍认为,大数据技术应用对社会方方面面都有商业价值:一是运用大数据可以进行宏观经济分析服务。在这方面,业界已有很多实践案例。比如,IBM日本公司的经济指标预测系统,从网络新闻中撷取影响制造业的480项经济数据,然后进行一定的数理模型分析,从而计算出采购经理人指数的PMI预测值。而众所周知,PMI是经济领域监测经济运行的及时、可靠的先行指标之一,利用大数据技术的应用对其进行商业价值开发的前景可谓非常广阔。管中窥豹,可见一斑。在未来,大数据技术的应用将成为未来服务经济分析的重要工具。二是运用大数据推动信息产业消费升级。在电子商务兴起的背景之下,网购已成为一种消费趋势。这种趋势不仅极大地促进了物流和实体产业的快速发展,而且极大地促进了物联网、云计算等信息产业的融合发展。而大数据技术的应用所带动的营销方式升级,则必然促进电子商务领域的发展,进而推动信息产业发展。三是运用大数据进行各种咨询服务。据麦肯锡的研究报告,如果大数据全面应用于美国医疗行业,美国每年将减少8%的医疗支出,同时能创造出3000亿美元的附加值。与此同时,保险、电子商务、交通、媒体等各行各业都可以运用大数据技术进行管理服务提升和数据价值挖掘。利用数据进行分析,从而进行产品开发无疑具有巨大的商业空间。虽然大数据技术应用的社会领域无所不包,非常广泛。但是,总体来看,大数据技术利用的商业模式,主要是大数据分析所开发的产品。这些产品,或可优化企业管理,或可提高政务系统效率,或可提升企业服务能力,或可提升企业产品的价值,直至形成新的信息产品。大数据技术的运用基于海量数据的获取。数据的获取能力,是决定大数据分析和开发的关键。大数据技术运营的过程中,其数据主要来源是什么呢?一般认为,这种来源主要包括三个方面。一是企业内部的经营交易信息,二是物联网世界中商品和物流信息,三是互联网世界中人与人交互信息和位置信息。这三大数据信息的海量集聚,才是大数据产业化和价值化的关键。从流程来看,大数据的运营模式应该是由这样一个环节构成的,首先是数据获取,其次是数据分析,最后是数据产业化。二、从数据到数据思维:大数据时代的管理理念和实践过程大数据标志着数字时代发展的新趋势。当代世界,新闻出版业正在经历着数字转型的艰难挑战,无疑也将受到大数据技术应用的深刻影响。从本质上来讲,媒体业就是数据产业。因此,充分利用大数据技术,既是推动自身转型升级的需要,更是行业本质的要求。有这样几个方面值得我们注意。一是通过大数据技术应用提升媒体管理水平。大数据不仅是一种工具,更是一种哲学观和方法论。这种哲学观就是人类社会的发展已经进入以数据资源为基础的阶段,数据思维将是人类发展的一个主要思维方式。正如《大数据时代的历史机遇》一书中所说,“缺少数据资源,无以谈产业。缺少数据思维,无以言未来”。在大数据时代,数据成为一种与能源和物质同等重要的生产资料,围绕数据进行产品开发和服务升级将成为未来信息产业竞争的新趋势。这就要求,包括媒体业在内的各种社会企业都要有数据思维,要认识到数据的价值,以开放和创新视野来谋划数据和开发数据。具体到新闻业本身,首先意味着新闻机构管理理念、管理方式、管理方法,甚至管理运行体制机制都将发生前所未有的变革。换言之,新闻企业管理将步入一个以数据为中心的阶段,以数据思维为理念的时代。比如,新闻企业的很多生产经营行为或将围绕一个数据库中心展开。通过一定的管理软件,可以将企业内部所有部门和所有员工的业务行为记录在案,从而形成数据库。在这个软件平台上,企业外部读者通过网络或手机应用平台进入企业的大量行为也将形成一个数据库。与此同时,新闻企业所拥有的原创新闻信息内容本身就是一个具有无限价值的数据资产,运用大数据技术对这些数据资产进行开发,无疑有着广阔的商业前景。这无疑对传统出版管理提出了很大挑战,要求其管理观念和管理系统全面创新和升级。二是通过大数据技术应用进行新闻内容辅助报道。大数据时代的到来,为新闻选题策划和内容生产水平的提升提供了新的可能。大数据的本质就是通过对数据证析,进行数据研判,从而优化产品,提升质量。对于新闻业而言,通过对受众阅读偏好等数据的分析,可以更精准地进行选题策划,从而提高选题质量和提升报道水平,增强新闻报道的贴近性、生动性。比如,利用大数据的数据挖掘技术,对受众浏览过的网页内容进行分析,就可以很容易判断几亿受众阅读信息的特征,从而在此基础上判断受众到底喜欢什么。众所周知,传统的新闻受众调查,都是基于抽样调查展开的。而在大数据时代则不同,巨量数据为事物发展趋势的研判带来了可能。人们在大数据时代,更热衷的是寻找事物的相关关系,而不是因果关系。也就是说,通过大数据来判断市场受众的阅读需求和阅读品位,将变得更加精确。比如,对亚马逊网站上受众在网站上的查询行为的分析,就可以发现读者的阅读需求偏好。在这方面,西方一些传媒机构有一些做法很值得借鉴。比如,MSN网站2011年上线的msnNow数字出版企业,在对Twitter、Facebook、Bing和BreakingN等网站数据内容分析的基础上,以分钟为单位识别热门话题,然后在此基础上组织编辑团队策划撰写了100字左右的话题故事,在当时就受到受众青睐。近年来,西方媒体对数据的运用越来越重视,出现了不少专门与数据打交道的记者,通过数据挖掘的方式进行新闻报道。利用大数据分析辅助策划新闻选题和组织报道内容,无疑是未来新闻生产不可或缺的重要方面。三是通过大数据技术应用实现新闻服务的精细化和定制化。对于媒体业而言,大数据的市场应用不仅表现在内容生产上,还表现在用户拓展上,尤其对移动媒体新闻市场具有重要意义。这体现在两个层面,一是精确地寻找受众。比如,新闻企业网站,尤其是门户新闻网站每天都有成万上亿的受众逗留体验,可以通过对他们的数据行为的分析,弄清受众是谁、访问过哪些网站、关心哪些话题等受众个性化的特点,从而在此基础上深入整合分析受众行为特征。二是精确地推荐新闻。推荐新闻是在精确地寻找受众基础上进行的。只有通过大数据挖掘技术弄清了分众的行为特征,才能对受众进行个性化内容推介,从而实现新闻个性化和分众化的信息服务。三、外部数据库的发展大数据技术已成为推动媒体业转型升级的重要工具。媒体业要充分地认识到大数据技术应用对媒体未来发展的深刻影响,采取积极措施发展大数据技术,开发数据价值,从而更好地推动媒体转型升级。具体来讲,有这样几个方面。一是要重视数据资源积累和转化工作。大数据技术应用的前提,是拥有海量的数据获取能力。一是内部数据库建设,二是外部数据库发展。内部数据库就是通过对传统出版内容资源的数据化转换和内部管理资源的数据化处理,形成一个大的开放的数据网络。外部数据库发展,是数据资源的必要补充。一方面可以通过出版企业的网络平台获取用户行为数据,另一方面可以通过合作、购买、交换等方式来从其他数据供应商获取数据资源。二是要推动大数据技术应用能力的提高。对于传媒业来讲,网络和信息技术的应用是短板。虽然大多数的传统新闻机构都在朝着数字化方向转型,创办了诸多网站平台,但是,与百度等技术平台比较起来,传统新闻机构的大数据应用和开发能力要逊色得多。而大数据商业价值的开发,又离不开数据技术应用。因此,媒体业要想在大数据时代勇立潮头,就必须在大数据技术应用上提高运用能力和水平。一方面要推动传统数据获取和应用能力的发展,另一方面要推进新型的包含了统计分析