认识大数据及其安全相关策略

1、大数据及其安全相关策略1引言随着互联网、物联网、云计算等技术的快速发展，以及智能终端、 网络社会、数字地球等信息体的普及和建设，全球数据量出现爆炸式 增长，仅在2011年就达到1.8万亿GB IDC预计，到2020年全球数 据量将增加50倍。毋庸辂疑，大数据时代已经到来。一方面，云计 算为这些海量的、多样化的数据提供存储和运算平台，同时数据挖掘 和人工智能从大数据中发现知识、规律和趋势，为决策提供信息参考。 但是，大数据的发展将进一步扩大信息的开放程度，随之而来的隐私数据或敏感信息的泄露事件时有发生。 面对大数据发展的新特点、新 挑战，如何保障数据安全是我们需要研究的课题。2 “大数据”的概念

2、大数据通常被认为是一种数据量很大、数据形式多样化的非结构 化数据。随着对大数据研究的进一步深入， 大数据不仅指数据本身的 规模，也包括数据采集工具、数据存储平台、数据分析系统和数据衍 生价值等要素。其主要特点有以下几点：2.1 数据量大大数据时代，各种传感器、移动设备、智能终端和网络社会等无 时不刻都在产生数据，数量级别已经突破 TB,发展至PB乃至ZB,统 计数据量呈千倍级别上升。据估计，2012年全球产生的数据量将达到2.7ZB, 2015年将超过8ZB2.2 类型多样当前大数据不仅仅是数据量的井喷性增长，而且还包含着数据类 型的多样化发展。以往数据大都以二维结构呈现，但随着互联网、多 媒

3、体等技术的快速发展和普及，视频、音频、图片、HTML RFID GP字口传感器等产生的非结本化数据，每年都以 60犍度增长。预计，非结构化数据将占数据总量的 80%U上12.3 运算高效基于云计算的Hadoop大数据框架，利用集群的威力高速运算和 存储，实现了一个分布式运行系统，以流的形式提供高传输率来访问 数据，适应了大数据的应用程序。而且，数据挖掘、语义引擎、可视 化分析等技术的发展，可从海量的数据中深度解析，提取信息，掌控 数据增值的“加速器”。2.4 产生价值价值是大数据的终极目的。大数据本身是一个“金矿产”，可以 从大数据的融合中获得意想不到的有价值的信息。 特别是激烈竞争的 商业领

4、域，数据正成为企业的新型资产，追求数据最大价值化。同时， 大数据价值也存在密度低的特性，需要对海量的数据进行挖掘分析才能得到真正有用的信息，形成用户价值。以监控视频为例，连续的 播放画面，可以产生价值信息的数据可能是仅仅的一两秒3大数据安全挑战3.1 网络化社会使大数据易成为攻击目标网络化社会的形成，为大数据在各个行业领域实现资源共享和数据互 通搭建平台和通道。基于云计算的网络化社会为大数据提供了 一个开 放的环境，分布在不同地区的资源可以快速整合，动态配辂，实现数 据集合的共建共享。而且，网络访问便捷化和数据流的形成，为实现 资源的快速弹性推送和个性化服务提供基础。正因为平台的暴露，使得蕴含

5、着海量数据和潜在价值的大数据更容易吸引黑客的攻击。也就是说，在开放的网络化社会，大数据的数据量大且相互关联，对于攻 击者而言，相对低的成本可以获得“滚雪球”的收益。近年来在互联 网上发生的用户的信息失窃等连锁反应可以看出，大数据更容易吸引 黑客，而且一旦遭受攻击，失窃的数据量也是巨大的。3.2 非结构化数据对大数据存储提出新要求在大数据之前，我们通常将数据存储分为关系型数据库和文件服务 器两种。而当前大数据汹涌而来，数据类型的千姿百态也使我们措手 不及。对于将占数据总量80蛆上的非结构化数据，虽然 NoSQl据 存储具有可扩展性和可用性等优点，利于趋势分析，为大数据存储提 供了初步解决方案。但

6、是NoSQ啜据存储仍存在以下问题：一是相对 于严格访问控制和隐私管理的 SQLM术，目前NoSQ好无法沿用SQL 的模式，而且适应NoSQL勺存储模式并不成熟；二是虽然NoSQK件 从传统数据存储中取得经验，但NoSQL5然存在各种漏洞，毕竟它使 用的是新代码。三是由于NoSQl务器软件没有辂足够的安全，所以 客户端应用程序需要建安全因素，这又反过来导致产生了诸如身份验 证、授权过程和输入验证等大量的安全问题。3.3 技术发展增加了安全风险随着计算机网络技术和人工智能的发展，服务器、防火墙、无线路由 等网络设备和数据挖掘应用系统等技术越来越广泛，为大数据自动收集效率以及智能动态分析性提供方便。

7、 但是，技术发展也增加了大数 据的安全风险。一方面，大数据本身的安全防护存在漏洞。虽然云计 算对大数据提供了便利，但对大数据的安全控制力度仍然不够，API访问权限控制以及密钥生成、存储和管理方面的不足都可能造成数据 泄漏。而且大数据本身可以成为一个可持续攻击的载体， 被隐藏在大 数据中的恶意软件和病毒代码很难发现，从而达到长久攻击的目的。 另一方面，攻击的技术提高了。在用数据挖掘和数据分析等大数据技 术获取价值信息的同时，攻击者也在利用这些大数据技术进行攻击。4 “大数据”的应用大数据可分成大数据技术、大数据工程、大数据科学和大数据应用等领域。目前人们谈论最多的是大数据技术和大数据应用。工程和

8、科学问题尚未被重视。大数据工程指大数据的规划建设运营管理的系 统工程；大数据科学关注大数据网络发展和运营过程中发现和验证大 数据的规律及其与自然和社会活动之间的关系。物联网、云计算、移动互联网、车联网、手机、平板电脑、PC以及遍布地球各个角落的各种各样的传感器， 无一不是数据来源或者承 载的方式。有些例子包括网络日志，RFID,传感器网络，社会网络，社会数 据（由于数据革命的社会），互联网文本和文件；互联网搜索索引；呼 叫详细记录，天文学，大气科学，基因组学，生物地球化学，生物， 和其他复杂和/或跨学科的科研，军事侦察，医疗记录；摄影档案馆视 频档案；和大规模的电子商务。4.1 大数据存储安全

9、策略基于云计算架构的大数据，数据的存储和操作都是以服务的形式提 供。目前，大数据的安全存储采用虚拟化海量存储技术来存储数据资 源，涉及数据传输、隔离、恢复等的问题。解决大数据的安全存储， 一是数据加密。在大数据安全服务的设计中，大数据可以按照数据安 全存储的需求，被存储在数据集的任何存储空间，通过SSL （安全套接层）加密，实现数据集的节点和应用程序之间移动保护大数据。在 大数据的传输服务过程中，加密为数据流的上传与下载提供有效的保 护。应用隐私保护和外包数据计算，屏蔽网络攻击。目前，PG和TrueCrypt等程序都提供了强大的加密功能。二是分离密钥和加密数 据。使用加密把数据使用与数据保管分

10、离，把密钥与要保护的数据隔离开 4。同时，定义产生、存储、备份、恢复等密钥管理生命周期。三是使 用过滤器。通过过滤器的监控，一旦发现数据离开了用户的网络，就 自动阻止数据的再次传输。四是数据备份。通过系统容灾、敏感信息 集中管控和数据管理等产品，实现端对端的数据保护，确保大数据损 坏情况下有备无患和安全管控。4.2 大数据应用安全策略随着大数据应用所需的技术和工具快速发展，大数据应用安全策略主 要从以下几方面着手：一是防止 AP政击。借助大数据处理技术，针 对AP佞全攻击隐蔽能力强、长期潜伏、攻击路径和渠道不确定等特征，设计具备实时检测能力与事后回溯能力的全流量审计方案，提醒隐藏有病毒的应用程序。二是用户访问控制。大数据的跨平台传输 应用在一定程度上会带来在风险，可以根据大数据的密级程度和用户 需求的不同，将大数据和用户设定不同的权限等级， 并严格控制访问 权限。而且，通过单点登录的统一身份认证与权限控制技术，对用户 访问进行严格的控制，有效地保证大数据应用安全。三是整合工具和 流程。通过整合工具和流程，确保大数据应用安全处于大数据系统的 顶端。整合点平行于现有的连接的同时，减少通过连接企业或业务线 的SIEME具的输出到大数据安全仓库，以防止这些被预