大数据处理中的安全要点

1、J线交通又挈通信网安全理论与技术大数据处理中的安全学院：电子信息工程学院专业：通信工程学生姓名：李海峰学号：1311102613111026指导教师：穆海冰20132013年1010月1616中文摘要大数据要求在合理时间内撷取、管理、处理、并整理海量数据，并将其成为帮助企业经营决策更积极目的的资讯。比较一般数据处理有着数据量巨大、数据类型多样、价值密度低、处理速度快等特点。作为新兴产物，大数据仍然有许多亟需解决的安全问题。从基础技术角度来看，大数据依托的基础技术是NoSQL非关系型数据库），NoSQ阮许不断对数据记录添加属性，其前瞻安全性变得非常重要。从核心价值角度来看，大数据关键在于数据分析

2、和利用，但数据分析技术的发展，对用户隐私产生极大的威胁。本文首先讲述什么是大数据，及大数据的特点，然后根据其特点分析，说明大数据存在的一些安全隐患，最后阐述怎样解决大数据中存在的一些安全问题。关键词：大数据；安全；NoSQL虚拟化AbstractAbstractLargedatarequiresareasonabletimetocapture,manage,process,andorganizevastamountsofdata,andmakethesedatabecomemoreactivetohelpbusinessdecision-makingpurposesinformation.Co

3、mparedwithgeneraldata,therearehugeamountofdata,manykindsofdatatypes,thevalueoflowdensity,processingspeedandothercharacteristics.Asanewproduct,therearestillmanylargedatasecurityproblemsneededtosolve.Frombasictechnicalperspective,NoSQL(non-relationaldatabases)isreliedbylargedata,NoSQLallowsdatarecords

4、continuouslyaddattributes,anditsforward-lookingsecuritybecomesveryimportant.Fromtheperspectiveofcorevalues,thekeyliesinbigdataanalysisanduseofdata,butwiththedevelopmentofdataanalysistechnology,userprivacyisUnderthreat.Thispaperfirstdescribeswhatisbigdata,andlargedatacharacteristics,andthenanalyzesth

5、eexistenceofsomelargedatasecurityrisksaccordingtoitscharacteristics.Finallyexplainhowtosolvesomeexistinglargedatasecurityissues.Keywords:Bigdata;Safe;NoSQL;VirtualizationKeywords:Bigdata;Safe;NoSQL;Virtualization目录中文摘要iAbstractAbstractii第1章绪论21.1什么是大数据21.2大数据的特征2第2章大数据安全问题4渀最大数据时代的信息安全“隐患”4渀最实现“大数据时

6、代下的安全7第3章结论与展望8参考文献9第 1 章绪论什么是大数据大数据(bigdata),或称巨量资料，指的是所涉及的资料量规模巨大到无法透过目前主流软件工具，在合理时间内达到撷取、管理、处理、并整理成为帮助企业经营决策更积极目的的资讯。“大数据”作为时下最火热的IT行业的词汇， 随之而来的数据仓库、 数据安全、 数据分析、数据挖掘等等围绕大数据的商业价值的利用逐渐成为行业人士争相追捧的利润焦点。早在1980年，著名未来学家阿尔文托夫勒便在第三次浪潮一书中，将大数据热情地赞颂为“第三次浪潮的华彩乐章”。不过，大约从2009年开始，“大数据”才成为互联网信息技术行业的流行词汇。美国互联网数据中

7、心指出，互联网上的数据每年将增长50%每两年便将翻一番,而目前世界上90犯上的数据是最近几年才产生的。 此外， 数据又并非单纯指人们在互联网上发布的信息，全世界的工业设备、汽车、电表上有着无数的数码传感器，随时测量和传递着有关位置、运动、震动、温度、湿度乃至空气中化学物质的变化，也产生了海量的数据信息。大数据技术的战略意义不在于掌握庞大的数据信息， 而在于对这些含有意义的数据进行专业化处理。换言之，如果把大数据比作一种产业，那么这种产业实现盈利的关键，在于提高对数据的“加工能力”，通过“加工”实现数据的“增值”o且中国物联网校企联盟认为，物联网的发展离不开大数据，依靠大数据可以提供足够有利的资

8、源。随着云时代的来临，大数据(Bigdata)也吸引了越来越多的关注。著云台的分析师团队认为，大数据(Bigdata)通常用来形容一个公司创造的大量非结构化和半结构化数据，这些数据在下载到关系型数据库用于分析时会花费过多时间和金钱。大数据分析常和云计算联系到一起， 因为实时的大型数据集分析需要像MapReduc样的框架来向数十、数百或甚至数千的电脑分配工作。大数据分析相比于传统的数据仓库应用，具有数据量大、查询分析复杂等特点。计算机学报刊登的“架构大数据：挑战、现状与展望”一文列举了大数据分析平台需要具备的几个重要特性，对当前的主流实现平台并行数据库、MapReduc我基于两者的混合架构进行了

9、分析归纳，指出了各自的优势及不足，同时也对各个方向的研究现状及作者在大数据分析方面的努力进行了介绍，对未来研究做了展望。对于“大数据（Bigdata）研究机构Gartner给出了这样的定义。“大数据”是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。从某种程度上说，大数据是数据分析的前沿技术。简言之，从各种各样类型的数据中，快速获得有价值信息的能力，就是大数据技术。明白这一点至关重要，也正是这一点促使该技术具备走向众多企业的潜力。大数据可分成大数据技术、大数据工程、大数据科学和大数据应用等领域。目前人们谈论最多的是大数据技术和大数据应用。工程和科

10、学问题尚未被重视。大数据工程指大数据的规划建设运营管理的系统工程；大数据科学关注大数据网络发展和运营过程中发现和验证大数据的规律及其与自然和社会活动之间的关系。大数据的特征大数据具有如下四个基本特征：一是数据量巨大（Volume）。大数据不再以GB或TB为单位来衡量，而是以PB（1000个T）、EB（一百万个T）或ZB（10亿个T）为计量单位。根据IDC的监测，全球在2010年正式进入ZB时代，预计到2020年，全球将总共拥有35ZB的数据量。形象地说，如果把35ZB的数据全部刻录到容量为9GB的光盘上，其叠加的高度将达到233万公里，相当于在地球与月球之间往返三次。二是数据类型多样 （Var

11、iety） 。 大数据不仅体现在量的急剧增长， 而且数据类型也更为复杂。它既包括结构数据，可以用二维表结构存储在数据库中，如常用的Excel软件所处理的数据；又包括非结构化数据，如网络日志、视频、图片、地理位置信息等，并且非结构化数据占据了相当大的比重。有统计显示，全世界结构化数据增长率大概是32%而非结构化数据增长则是63%预计到2012年，非结构化数据占有比例将达到互联网整个数据量的75犯上。用于产生智慧的大数据，往往是这些非结构化数据。三是价值密度低（Value）0大数据重点不在其数据量的增长，而是基于大数据的商业智能技术（或被称为高级分析技术），是在信息爆炸时代对数据价值的再挖掘。在数

12、据量极速增长的情况下，如何通过挖掘数据利用有效信息，对于企业至关重要。但大数据的价值密度较低，以视频为例，在连续不间断监控过程中，可能仅有一两秒的影像是有用的数据。四是处理速度快（Velodty）。这一特点也是大数据和传统的数据挖掘技术存在本质不同的地方。当各种信息汇集在一起时，如何把握数据的时效性，是大数据时代对数据管理提出的基本要求。总之，业界将大数据的特点归纳为4个“VVolume,Variety,Value,Velocity第 2 章大数据安全问题大数据时代的信息安全“隐患”作为新兴产物，大数据仍面临一些亟待解决的安全问题。从基础技术角度来看，大数据依托的基础技术是NoSQL非关系型数

13、据库）。当前广泛应用的SQL（关系型数据库）技术，经过长期改进和完善，在维护数据安全方面已经设置严格的访问控制和隐私管理工具。而在NoSQLJ术中，并没有这样的要求。而且，大数据数据来源和承载方式多种多样，如物联网、移动互联网、车联网、手机、平板电脑、PC以及遍布地球各个角落的各种各样的传感器，数据分散存在的状态，使得企业将很难定位这些数据和保护所有机密信息。止匕外，NoSQ比许不断对数据记录添加属性，具前瞻安全性变得非常重要，对数据库管理员也提出了新的要求。从核心价值角度来看，大数据关键在于数据分析和利用，但数据分析技术的发展，对用户隐私产生极大的威胁。在大数据时代，想屏蔽外部数据商挖掘个人

14、信息是不可能的。目前，各社交网站均不同程度地开放其用户所产生的实时数据，被一些数据提供商收集，还出现了一些监测数据的市场分析机构。通过人们在社交网站中写入的信息、智能手机显示的位置信息等多种数据组合，已经可以以非常高的精度锁定个人，挖掘出个人信息体系，用户隐私安全问题堪忧。大数据时代的数据安全怎么做？对于这个问题有着不同的理解。有的人认为需要在原有安全的基础上加入新的的网络元素，继续沿用既有的数据安全思路，稳中求进;有的人认为需要重新构建全新的数据安全模式，打破原有的桎梏，重组现有技术构成，建立全新的数据安全模式。这两种看法都可以看做一种对于大数据时代特性的适应，很难说孰优孰劣，只能说大家的发

15、展路线不同，思路不同。主张在原有安全基础上发展的人们认为，原有的端点数据安全模式十分的稳定，具有较长的运用经验，安全可靠高效。现在的云端技术对于数据安全的要求主要体现在网络安全的应对上。对于传统的端点安全技术来说，有多种方式可以实现最终的安全。面对现有的大数据特性，需要在一些方面做出调整。一般来说有以下的几个方面需要改进。第一，大数据时代的数据结构化。数据结构化对于数据安全和开发有着非常重要的作用。大数据时代的数据非常的繁杂，其数量非常的惊人，对于很多企业来说，怎样保证这些信息数据在有效利用之前的安全是一个十分严肃的问题。结构化的数据便于管理和加密，更便于处理和分类，能够有效的智能分辨非法入侵

16、数据，保证数据的安全。数据结构化虽然不能够彻底改变数据安全的格局，但是能够加快数据安全系统的处理效率。未来数据标准化，结构化是一个大趋势，不管是怎样的数据安全模式都希望自己的数据更加的标准。第二，网络层的安全策略是端点数据安全的重点加固对象。常规的数据安全模式往往喜欢分层构建。这也是数据安全的常规做法。现有的端点安全方式对于网络层的安全防护并不完美。一方面是大数据时代的信息爆炸，导致网端的非法入侵次数急剧增长，这对于网络层的考验十分的严峻，另一方面由于云计算的大趋势，现在的网络数据威胁方式和方法越来越难以预测辨识，这给现有的端点数据安全模式造成了巨大的压力。在未来，网络层安全应当作为重点发展的

17、一个层面。在加强网络层数据辨识智能化，结构化的基础上加上于本地系统的相互监控协调，同时杜绝非常态数据的运行，这样就能够在网络层构筑属于大数据时代的全面安全堡垒，完善自身的缺陷。第三，本地策略的升级。对于端点数据安全来说已经具备了成熟的本地安全防护系统，但是由于思路的转化，现有的端点数据安全系统有一定认识上的偏差，需要进行及时的调整。由于大数据时代的数据财富化导致了大量的信息泄露事件，而这些泄露事件中，来自内部的威胁更大。所以在本地策略的构建上需要加入对于内部管理的监控，监管手段。用纯数据的模式来避免由于人为原因造成的数据流失，信息泄露。由这一点出发我们可以预想到在未来的数据安全模式中，管理者的

18、角色权重逐渐分化，数据本身的自我监控和智能管理将代替一大部分人为的操作。这对于大部分企业来说都是能够减少损失和成本的大事情，值得引起大家的关注和思考。在本地安全策略的构建过程中还要加强与各个环节的协调。由于现在的数据处理方式往往会依托与网络，所以在数据的处理过程中会出现大量的数据调用，在调用过程中就容易出现很大的安全威胁。这个时候如果能够把本地和网络的链接做的更细腻，完善缓存机制和储存规则，就能够有效保证数据源的纯洁，从根本上杜绝数据的安全威胁。本地数据安全策略还有很多需要注意的问题，也有很多还没有发现的隐患，这些都需要在完善自有系统的基础上，继续开发。第四，数据存储的问题。在传统端点的数据安

19、全中，数据存储作为非法入侵的最后一站，被业界人士高度的重视，对于数据存储建立了全面完善的防护措施，这些非常值得借鉴，但是还要有进一步的完善。这里的完善主要是数据存储隔离与调用之间的数据逻辑关系策划。这同样是为了适应现在的数据模式。经过上面几个问题的针对性完善，就能够开发出相对更加适应现在大数据时代应用的数据安全模式。只是在开发力度上的不同导致了现有的端点安全专家们很难深入的调整自己的方法，导致现在市场上存在一批似是而非的数据安全方案，这应该是发展的一个过程吧！对于想要重新建立数据大时代数据安全的人们来说，他们面对的不是细节的问题，而是整体布局的问题。想要针对现有的大数据背景，开发出属于下一代的

20、虚拟数据安全方案，绝对是一种创新性的变革，对于未来数据安全的发展具有革命性的作用。因为，针对大数据时代设计的安全方案应该是在虚拟化、移动化的基础上进行的深入开发，而虚拟化安全和移动化网络是未来发展的方向，这样以来，从方向上摆正了自己的位置，具有更快的发展速度和更远的发展空间。但是想要做到这一步需要花费的精力也不是每个团队都能够付出的。在未来的虚拟化数据安全方案中，需要从全面的数据安全系统入手，建立合理的逻辑监管程序，全面数据处理模型，标准化信息配置，同时加强数据的监管，人员监管与外部智能辨识，做好各个环节的相互支撑与防御。虚拟化数据安全的核心是一条贯穿整个安全体系的数据通道，这条渠道需要通过分

21、层管理，交叉监控，实现绝对的隐蔽和安全，同时合理的逻辑关系让整条数据通道变得更加合理和快捷。虚拟化数据安全更加注重客观的数据逻辑，尽量避免由于人为操作造成的数据安全隐患，杜绝数据泄露。虚拟化数据安全更加注重对于智能的运用。数据智能处理一直是安全领域最钟爱的一门技术，能够强化各个环节数据智能化，加强数据的辨识智能，处理智能对于数据安全的发展具有很强的促进作用。虚拟化数据安全未来发展的核心要素就是实现纯数据监控的完美形态，让数据管理数据安全，同时为所有用户提供可靠的数据端口，实现最终的数据转换目标。结合端点数据安全发展的历程，我们看得出数据本身具有很强的适应性，如果善加疏导，就能够整合出意想不到的

22、效果。不管是传统的改进，还是重新建立，对于大数据时代的数据安全发展都具有一定的促进意义，只要进一步发展下去，就能够实现预想的目标。大数据时代已经到来，数据安全行业是所有行业最先起飞的一个，对于业内人士来说，这不仅仅是一次机会，更是一次挑战。只有坚持走在最前列的人，才能够最终获得胜利。同时，整个世界环境内都开始针对网络信息数据做出适当的调整规范，这必然使得未来的数据安全发展得到极大的支持和鼓励，这对于所有从业人士来说都是一个展示自己团队才华的舞台，一个大数据时代的夕中口。实现大数据时代下的安全一、建立信息系统安全事件监测机制，及时发现信息系统安全问题运维阶段中，我们如何及时发现异常行为？这是正常用户应该出现的行为吗？该用户是否被控制或穿了马甲？比如某台服务器出现了大量的外连上传行为、进出访问IP中出现大量陌生的境外IP或CNCERT报的恶意IP等。因此，政企用户需要建立一套有效的安全事件监控和预警措施，能够在信息系统即将遭到攻击或已经遭到攻击时，快速、准确地发现攻击行为，并迅速启动处置和应急机制。同时可以对信息系统的安全事件进行综合分析，了解当前整体系统的安全态势，为整体网络与信息安全规划提供有效的数据支持。二、预先防范，提前做好安