数据安全管理解决方案之大数据脱敏项目建设方案

1、_大数据脱敏项目建设方案_2016年5月目录第1章概述21.1.大数据现状说明21.2.大数据安全现状分析2第2章建设目的3第3章项目范围3第4章建设原则3第5章大数据安全建设方案45.1.大数据脱敏方案45.1.1.大数据脱敏设计架构45.1.2.大数据脱敏工作原理55.1.3.大数据敏感数据发现75.1.4.大数据脱敏技术方案95.2.大数据安全系统配置部署155.2.1.系统部署架构155.2.2.硬件设备清单155.2.3.软件清单165.2.4.兼容性设计165.2.5.可靠性设计16第6章附录176.1.大数据安全调研表17第1章 概述1.1. 大数据现状说明随着大数据规模性、多样

2、性、高速性、真实性特征的逐步显现，以及数据资产逐渐成为现代商业社会的核心竞争力，大数据对行业用户的重要性也日益突出。世界经济论坛报告认为，“大数据为新财富，价值堪比石油”，大数据之父维克托则预测，数据列入企业资产负债表只是时间问题。同时，大数据将推动国民经济各行业各领域的创新应用，电子政务、电子商务都将发生变化，信息资源的战略重要性空前鼎盛，大数据将成为经济社会管理决策的基本平台。另外，大数据也将引领商业模式的重要创新，传统商业模式将开展大数据的挖掘，信息服务商将利用大数据开展个性化服务，移动互联网将开辟新型商务模式。大数据所能带来的巨大商业价值，被认为将引领一场足以与20世纪计算机革命匹敌的

3、巨大变革。大数据正在对每个领域造成影响，在商业、经济和其他领域中，决策行为将日益基于数据分析，而不再是凭借经验和直觉。大数据正在成为政府和企业竞争的新焦点。各大企业正纷纷投向大数据促生的新蓝海。Oracle、IBM、MicroSoft和SAP共投入超过15亿美元成立各自的软件智能数据管理和分析专业公司。在大数据时代，商业生态环境在不经意间发生了巨大变化：无处不在的智能终端、随时在线的网络传输、互动频繁的社交网络，让以往只是网页浏览者的网民的面孔从模糊变得清晰，企业也有机会进行大规模的精准化的消费者行为研究。大数据将成为未来竞争的制高点。1.2. 大数据安全现状分析基于Hadoop生态系统的大数

4、据平台随着企业的不断采用及开源组织的持续的优化、增强，已逐渐成为大数据平台建设的标准产品。然而Hadoop最初的设计并未考虑其安全性，这些平台专注于发展数据处理能力，忽视了其他能力的发展，但Hadoop生态系统作为一个分布式系统，承载了丰富的应用，集中了海量的数据，如何管理和保护这些数据充满了挑战，当前市场上，大数据平台在数据本身的安全管控方面普遍存在严重缺失和较大的漏洞。从企业内部来说，大数据平台的安全管控能力缺失，使得平台在数据存储、处理以及使用等各环节造成数据泄露的风险较大，安全风险面广，且缺乏有效的处理机制；另一方面，企业敏感数据的所有权和使用权缺乏明确界定和管理，可能造成用户隐私信息

5、的泄露和企业内部数据的泄露，直接造成企业声誉和经济的双重损失。从外部来看，数据即价值，大数据平台中复杂、敏感、全面的数据无疑会吸引更多的潜在攻击者。同时，数据的大量汇集，使得黑客成功攻击一次就能获得更多数据，极大降低了黑客的进攻成本。因此，大数据将有可能成为网络攻击的显著目标。大数据平台安全能力的严重缺失和风险的普遍存在，导致大数据平台本身是脆弱的，对企业数据安全造成了极大的风险，对企业来说是难以忽视的风险点。第2章 建设目的通过本项目实施，可以实现如下目标：1、针对大数据敏感数据信息，设计并落实敏感数据安全解决方案，实现敏感数据的模糊化，确保敏感数据信息安全可靠；2、通过大数据平台安全方案的

6、建设，填补XXXX大数据平台数据安全防护方面的空缺，有效降低大数据安全管控方面的风险。第3章 项目范围大数据平台范围：本项目范围适用于基于开源Hadoop架构的大数据平台环境，包括Mapreduce、HDFS、Hive、HBse等大数据组件。第4章 建设原则大数据安全方案设计建设应遵循实用性、前瞻性、兼容性原则，其中：适用性原则：必须适用XXXX实际大数据环境，能够与大数据平台顺利结合，发挥安全管控效用；前瞻性原则：平台架构设计具有良好的前瞻性和扩展性，充分考虑未来大数据新技术的发展；兼容性原则：大数据安全平台应兼容基于Hadoop的各版本的要求，包括发布版和开源版本。安全性原则：系统采取全面

7、的安全保护措施，采用严格的访问控制机制、系统冗余机制、数据保密机制等，保证安全平台的安全性。第5章 大数据安全建设方案5.1. 大数据脱敏方案5.1.1. 大数据脱敏设计架构大数据平台脱敏及模糊化模块主要包括两大功能：敏感数据发现和敏感数据脱敏。架构设计如下图所示：通过设置敏感数据发现策略，平台自动识别敏感数据，发现敏感数据后产生报警，保障数据在产生阶段安全。敏感数据发现功能包括如下内容： 敏感信息规则库建立 关系型数据检测 敏感内容描述检测敏感数据脱敏：针对Hadoop平台Hive、Hbase大数据存储组件结合用户权限提供动态数据脱敏功能，保障敏感数据访问安全，同时基于大数据安全分析技术，发

8、现敏感数据访问的异常行为，并提供敏感数据视图，实现全局化数据管理和对各种类别敏感数据脱敏的精细化管理。数据脱敏及模糊化功能模块是在数据库层面对数据进行屏蔽、加密、隐藏、审计或封锁访问途径的方式。该模块作为一个网关形式部署，所有需要进行敏感数据动态脱敏的应用系统需通过该产品实现对数据库的访问。l 数据脱敏：当应用程序请求通过敏感数据脱敏模块时，对其进行实时筛选，并依据用户角色、职责和其他定义规则对敏感数据进行脱敏处理。脱敏的方式包括如下几种形式： 数据替换 - 以虚构数据代替真值； 截断、加密、隐藏或使之无效 - 以“无效”或 *代替真值； 随机化 - 以随机数据代替真值； 偏移 - 通过随机移

9、位改变数字数据；l 访问预警：在大数据应用正常访问行为模型自学习基础上，进行应用异常行为分析、发现及告警功能强化应用安全管控，保证数据安全。5.1.2. 大数据脱敏工作原理通过认证授权服务进行认证登录后，使用JDBC方式对大数据平台数据仓库进行操作，根据控制、规则策略、防火墙网络阻断等技术手段，达到模糊化要求，再分配给业务、运维人员使用。 用户接口层：用户接口主要有三个：CLI，Client 和WebUI。其中最常用的是 CLI，Cli启动的时候，会同时启动一个 Hive 副本。Client 是 Hive 的客户端，用户连接至 Hive Server。在启动 Client 模式的时候，需要指出

10、 Hive Server 所在节点，并且在该节点启动 Hive Server。 WUI 是通过浏览器访问 Hive。本方案采用Client客户端Beeline的方式对Hive进行操作。 数据脱敏平台：客户端通过数据脱敏平台登录Hive后，对Hive进行操作。通过脱敏策略配置，使用户可访问数据进行脱敏，通过数据异常行为分析、发现，进行数据访问告警，保护敏感数据安全，并在WEB前端进行视图展示。 数据存储：Hive将元数据存储在数据库中，连接到这些数据库（mysql，derby）的模式分为三种：单用户模式、多用户模式、远程服务器模式。元数据包括Database、表名、表的列及类型、存储空间、分区、

11、表数据所在的目录等。 Driver：完成HQL的查询语句的词法分析、语法分析、编译、优化及查询计划的生成。生成的查询计划存储在HDFS中，并由MapReduce调用执行。 Hadoop环境：Hive的数据存储在HDFS中，针对大部分的HQL查询请求，Hive内部自动转换为MapReduce任务执行。5.1.3. 大数据敏感数据发现5.1.3.1. 建立大数据敏感数据规则防止敏感信息泄漏威胁的首要步骤是定义企业敏感信息，通过建立敏感信息样本库，定义企业的敏感信息的具体特征。敏感信息库内置企业各类敏感信息的识别规则，包括但不限于： 身份证号码 手机号码 生日 信用卡号码 敏感信息规则应支持如下两类

12、数据存储机制： 结构化数据，如存储在数据库中的客户或员工记录等； 半结构化数据，半结构化数据具有一定的结构性。例如：OEM是一种典型的半结构化数据模型。同时敏感信息规则应支持用户自定义各类敏感信息规则以便在不同应用场景中允许用户进行规则扩展。5.1.3.2. 大数据敏感数据检测脱敏系统支持对大数据平台存储的结构化和半结构化数据库、表进行敏感数据扫描探测，并对每个数据表进行抽样数据匹配，基于敏感信息库来检测存储在大数据平台的敏感数据如：客户信息、交易数据等。脱敏系统将数据库中的包含敏感信息的表和字段标记出来以实现各类高级数据安全功能。例如利用敏感数据标记实现以下需求：用户数据库表中含有很多客户信

13、息(如用户姓名、身份证号、账号、手机号等)，实现定义规则： 只向外传输姓名，不作为信息泄密事件 姓名、账号和电话等信息同时向外泄露，则就认定为信息泄露事件。数据检测支持在给定数据行的任意列组合的基础上进行检测。例如，接受单一姓名、账号、电话的检测，也能够接受“姓名”和“身份证号码”字段的组合，因此可以灵活、方便地进行敏感数据的检测。5.1.3.3. 大数据敏感内容检测描述用户管理人员采用内容描述匹配来辅助建立敏感数据样本库。内容描述匹配具有高度准确性，对结构化和半结构化数据同样适用，它通过用户输入关键字、模式匹配、文件类型、文件大小、发送人、接收人、用户名和网络协议等各类条件，来实现敏感信息的

14、检测。1.关键字检测支持多种模式的关键字检测：支持“*”和 “？”通配符检测；支持忽略大小写检测；支持多文种关键字检测；支持多关键字检测。支持支持临近关键字匹配，通过定义某一跨度范围内的关键字对等，达到减少误报。2.正则表达式检测敏感数据往往具有一些特征，表现为一些特定字符之间的组合，这用正则表达式来进行规则定义。系统支持基于正则表达式的检测，实现对“规则字符串”过滤与检查。3.数据标识符检测支持数据标识符检测。像身份证号码、手机号、银行卡号、驾照号等数据标示符都是敏感数据重要特征，这些数据标识符具有特定用处、特定格式、特定校验方式。支持多种类型的数据标识符模板，包括如下类型身份证号码、银行卡

15、号、驾照、十进制IP地址、十六进制IP地址等。同时提供了相应的接口，用户可以基于实际情况自行编辑自己需要的数据标识符校验器，如话单、详单等。5.1.4. 大数据脱敏技术方案5.1.4.1. 大数据脱敏设计思路数据脱敏是在用户层面对数据进行屏蔽、隐藏或封锁访问途径，从而达到敏感数据保护的目的。1、首先需要配置对于某个用户、某一数据库的表、列，确认采用何种脱敏方式；2、用户的SQL指令在被数据仓库解析执行之前，会首先进行脱敏判断。如果对该用户来说，其访问的某些数据被配置了脱敏方式，那么数据仓库仅会将脱敏后的数据返回给用户，从而保证了原始数据对用户的不可见。流程见下图所示：5.1.4.2. 大数据脱

16、敏技术原理分析大数据脱敏模块位于应用程序和大数据平台之间，保护存储在大数据平台中的敏感数据。脱敏模块截取发送到大数据平台的访问请求，并送到规则引擎进行处理。脱敏模块提供配置管理工具，管理敏感数据脱敏的策略配置并建立连接和安全规则。敏感数据动态脱敏模块通过改写应用系统发送的访问请求实现敏感数据动态脱敏，处理流程如下：1、数据脱敏模块侦听并转发应用程序发送到大数据平台访问请求。2、当应用程序发送一个请求到大数据平台时，动态数据屏蔽模块收到该请求并识别发起请求的程序名、用户名、语法等信息，根据规则引擎的策略配置来确定转发该请求到大数据平台前需执行的动作。 3、数据脱敏模块根据规则对应用程序发送的HI

17、VE语法、Hbase语法进行改写，并发送修改后的请求发送到大数据平台中。4、大数据平台处理该请求，并发送回给应用程序的结果。5.1.4.3. 大数据解析引擎技术实现数据解析引擎的实现机制如下：1、网络协议解析：对网络流量进行应用层解析；2、语法智能分析：对应用层访问协议中的大数据访问请求语法进行智能识别；3、安全策略智能匹配：依据策略中的语法特征对流量中的请求访问语句进行匹配识别； 4、请求语句改写：对符合安全策略智能匹配的请求语句，按照用户配置的模糊化策略进行语句重写；5、协议转发:将改写后的请求语句重新构建成网络流量，并转发至大数据平台数据解析引擎的实现机制。其中核心功能是通过开发脱敏Fu

18、nction算法，根据不用的用户和组、角色、权限、资源（Server、Database、Table、Column）定制开发不同的模糊化脱敏规则。用户执行SQL查询，通过用户名、权限、模糊化算法进行匹配，最终返回请求结果。5.1.4.4. 大数据脱敏方法数据脱敏方法可根据用户需求的不同而进行定制，我们在系统中默认提供了最常见的两种脱敏方法示例如下：l 方法一：随机值替换脱敏本方式采用随机值替换（字母变为随机字母，数字变为随机数字）的方式来改变查询返回的结果，该方案的优点是可以在一定程度上保留数据的格式，且用户在不知情的情况下无法发现查询返回的数据是经过脱敏操作的。l 方法二：特殊字符替换脱敏与随

19、机值替换不同，该方式在处理待脱敏的数据时是采用特殊字符（如“*”）替换的方式，该方式更好的隐藏敏感数据，但缺点是用户无法得知原数据的格式，在涉及到一些数据统计工作的时候会有影响。在实际使用过程中，多种脱敏方法经常需要配合使用，对一张数据表中不同资源使用不同的脱敏方法进行数据脱敏，示例如下：脱敏前：脱敏后：在这个示例中，我们对此表的三个字段分别用不同的脱敏方法进行了处理：第一个字段采用随机数替换，替换范围为前IP地址前两个值。第二个字段采用特殊字符替换，替换范围为所有字符。第三个字段采用特殊字符替换，替换范围为第3-6个字符。5.1.4.5. 大数据脱敏方法适用场景目前脱敏方法支持的常用操作主要

20、有：l 查看表结构l 带常用条件的查询，如“where”、“like”、“where in”等l 数据分组，max,min,avg,sum,count等l 查询结果的group by分组统计目前脱敏方法不支持操作主要有：l 多表查询l 子查询（嵌套查询）l 用查询结果创建新表5.1.4.6. 大数据敏感策略配置敏感策略管理模块，主要实现模糊规则管理、敏感资产管理、脱敏场景规则管理。如下图所示：敏感策略管理脱敏策略配置模块敏感资产管理脱敏场景管理脱敏规则管理模糊规则管理，主要实现对不同敏感数据类型进行模糊规则设置管理，模糊化规则如下表描述：1. 敏感资产管理，实现对敏感数据和疑似敏感数据的库表字

21、段进行梳理、敏感确认过程以及对已有敏感数据资产的维护管理，另外还涉及各类数据库敏感数据资产对应的库表的管理。2. 脱敏场景管理，由于不同用户和数据处理情况需求，对于同样的数据源需要设置不同的脱敏规则，需要定义出相应脱敏场景。3. 脱敏规则管理，实现在不同脱敏场景定义敏感数据资产的相应脱敏模糊化规则。脱敏策略管理页面：如上图所示，在管理页面中可根据需求定制、保存脱敏算法，并且可以“停用”“使用”的配置选择是否激活算法，操作灵活，管理便捷。5.1.4.7. 大数据敏感数据视图在大数据应用正常访问行为模型自学习基础上，进行应用异常行为分析、发现、告警及相关操作审计功能，便于管理员及时发现大数据平台中

22、可能存在的风险点及攻击行为，强化应用安全管控，保证数据安全。操作审计页面：如上图所示，在“操作日志审计”页面中可看到与已使用的脱敏策略相关的审计内容信息。5.2. 大数据安全系统配置部署5.2.1. 系统部署架构本次大数据安全平台的脱敏网关、安全基线扫描服务器工作模式都是独立于大数据平台。其中数据脱敏网关部署为集群方式，最少部署两台服务器，通过负载均衡设备对外提供服务，整体拓扑如下：5.2.2. 硬件设备清单应用模块主机型号主机数量CPU配置内存配置存储网络接口备注大数据安全管控平台-数据脱敏网关X86 PC服务器2台（标配）8*2.4GHz或更高DDR3 64GB1TSAS硬盘万兆网卡，4个需提供支持万兆接口的交换机5.2.3. 软件清单应用模块操作系统应用软件其他软件备注大数据安全管控平台-数据脱敏网关CentOS 6.5 64Bit自主开发大数据脱敏软件开源Hadoop2.6稳定版5.2.4. 兼容性设计本项目数据模糊化和平台组件安全解决方案兼容各类商业、开源大数据平台，扩展方便，无需增加额外成本即可同时支持多套大数据平台，并且可迁移至其他大数据平台使用。应用模块可移植性特点数据脱敏 采用网关部署架构，独立于大数据平台 迁移至其他类型