大数据的存储与管理

大数据的存储与管理

近年来，随着物联网、云计算、移动互联网等新技术的快速发展，数据逐渐增加，而且随着规模的增加，出现了大量的数据。大数据是继云计算之后IT产业又一次颠覆性的技术革命。它贯穿于整个社会,正处于成长阶段,大数据引起了产业界、科技界和政府机构的广泛关注。大数据随着新型SNS网络的发展等在肥沃的土壤中更加迅速地成长。现在,大数据时代占据了大部分市场和企业,规模不断壮大。一、国内互联网企业设计能力i生物随着网络技术、信息技术的发展,人类产生的数据成指数增长。资料显示,2011年,全球数据规模为1.8ZB,可以填满575亿个32GB的iPad。到2020年,全球数据达到40ZB。我国,2010年新存储的数据为250PB,2012年中国的数据存储量达到364EB,约为日本的60%,北美的7%。全球互联网行业巨头以百度、阿里巴巴、腾讯等为代表的国内互联网企业开始创建自己的数据中心,并在IT基础设施和创新方面有显著的成就。由此看来,大数据慢慢走向成熟,即将成为社会、生活不可缺少的一部分。二、大数据的特点大数据(BigData),可以认为,它所涉及的资料量规模巨大,通过一些方法和手段,在合理时间内达到获取、管理、处理并整理这些大量的资料数据,进一步帮助企业高层做出经营决策。“大数据”的出现不是偶然事件,它是在社会发展的推动下,逐渐网络化、信息化。比如各种二维码、虹膜等都可以认为是大数据。对于数据的识别和分析是很有难度的。大数据的特点如下。(1)数据类别大。大数据一般包括以事务为代表的结构化数据,以网页为代表的半结构化数据和以视频和语音信息为代表的非结构多类数据,并且它们的处理和分析方式区别很大。(2)数据量大。通过各种方式,比如市场、信息、网络等产生的一系列大量数据。所谓大数据,数量肯定是很大的了。(3)数据快速化。有些数据是具有时效性的。比如电商行业,数据是有时间限制的,否则数据无意义,或者会造成误差。(4)数据的灵活性与复杂性。数据更新迅速,是变化的,数据的类型、用途不同,分析方式的不同、需求的不同导致了数据的灵活性和复杂性。三、基本组织设计大数据的处理主要是从一大堆的数据当中筛选出有价值的数据,然后进行对比、分析、处理等。解决大数据问题的核心是大数据技术,主要可分为:数据采集、数据存取、基础架构、数据处理、统计分析、数据挖掘、模型预测、结果呈现等8种技术。大数据技术主要形成了批处理、流处理和交互分析三种计算模式。大数据的关键技术主要还是对海量数据的存储和计算处理等,特别是对数据的分类,根据用途需求的不同,筛选出对于某一个领域某一个用途有意义、有价值的一系列数据,抛弃相对而言无用的数据。四、大数据面临的机遇和挑战1.读取个人信息比如日常生活中我们经常使用的微信、旺信以及一些其他如淘粉吧、团购网等需要授权的网站和软件应用,都需要读取使用者的个人信息等数据,有可能会导致数据的泄露。2.相对价值与相对价值相结合的发展趋势特别是大数据中的价值数据,当然价值包括数据本身的价值和其使用价值,价值也分为绝对价值和相对价值,企业可以通过这些数据分析未来的发展趋势。国内三大巨头BAT坐拥数据金矿,我们来看百度、阿里巴巴、腾讯三大巨头的大数据利用以及三者的不同之处(如下页表1)。3.创造潜在的潜在价值大数据的重心将从存储和传输,过渡到数据的挖掘和应用。索取我们的个人位置信息可创造潜在价值6000亿美元。沃尔玛为其网站W自行设计了最新的搜索引擎Polaris,利用语义分析、数据挖掘等使得购物完成率提升了10%~20%,这意味着数十亿的金额。五、如何适应“大数据”时代1.联合域合作智慧城加强各个领域之间的合作关系,加强企业商业智能、社会服务、市场营销等各大领域的合作。企业服务于民众和政府,政府也推动企业的发展,激励市场的需求,企业根据商业智能对数据的分析了解当今市场发展趋势,进行产品的生产和市场分配,根据用户的需求了解当今社会的发展要求,政府把握公民动态,了解民生。2.数据安全问题防止数据被非法交易、倒卖、窃取、泄漏或者纂改。大量的数据通过云端存储,数据管理比较分散。数据从产生到获取,再到分析、处理等每一个过程都牵扯用户的隐私和安全问题,整个过程中,如不采取相应措施,非法用户容易入侵,窃取和纂改数据,数据的正确性没有了保障。因此,如何保证大数据的安全以及分析结果的可靠是信息安全领域所要解决的问题。3.企业员工进行自我能力的培养。对于能力和能力。在对于大数据发展离不开人才的需求。大数据兴起的时间不算长,这方面的人才还是急缺的。可以根据社会的需求培养具有大数据思维和创新能力的复合型人才,企业可以根据企业自身的需要对企业内部人员进行教育培训,另外可以通过招聘引进一些具有大数据经验的人士。引导员工职业发展,采用员工激励制等,鼓励员工不断地学习提升自我。加强大数据人才的培养也是大数据发展的重点之一。六、大数据在中小企业教学中的应用大数据通过互联网渠道,遍布全球的各个角落。互联网企业与其他数据传播手段相比,开展大数据应用存在“近水楼台先得月”的优势。百度、阿里巴巴、腾讯、谷歌、亚马逊等都拥有强大的数据资源和数据技术平台。美国等先进国家政府部门投资2亿美元开展大数据应用。我们要向美国学习推进大数据的应用实践。大数据的应用主要体现在互联网应用、电信应用、金融应用和政府应用。大数据应用的核心思想是将数学算法运用到海量数据中预测事情发生的可能性。作为高校的一名教师,我们可以将大数据运用到高校教学中,以院系的软件工程专业为例(图1),该专业的学生毕业初期76.52%都是选择在公司处理IT编程相关领域,4.45%选择了考研,5.27%选择考公务员等,五年之后他们的选择又如何,仍然坚守在IT岗位上的人又有多少?这些数据,我们都可以进行统计分析,了解每一年的毕业生就业情况。大数据在大学生就业中的应用体现在:根据毕业生的就业情况统计出的数据反映社会对软件技术专业人才的需求以及学生就业选择的方向,发现未来软件方向的就业趋势。同时,在高校开设的《职业生涯规划课》上可以根据往届学生的就业情况给予新生更好地引导,让学生产生良好的认识,不会盲目地做出选择。大数据应用在毕业生就业上的指导有一定参考性,数据证明了趋势,更加生动、真实。七、大数据时代人才培养的几点基大数据已被越来越多的人熟悉,在未来的日子里,大数据将迎来一场激烈的竞争。我们应该抓住大数据的关键点,跟上时