大数据脱敏脱需求文档_v02

1、.Hbase数据脱敏系统需求分析文件状态 草稿 正式发布 正在修改项目编号：当前版本：0.2作者：完成日期：发布确认签字项目经理：需求分析师：;.版 本 历 史版本号：版本从0.1开始编制，正式发布的版本从1.0开始编制，小改动增加0.1，大改动增加1.0修订类型：创建、增加、修改、删除、审批版本号修订类型修订说明日期变更人批准人日期V0.1创建编制Hbase数据脱敏系统需求分析说明书2017.5.08V0.2修改修改Hbase数据脱敏系统需求分析说明书2017.5.12一 引言11.1 编写目的11.2 背景11.2.1 需求缘由11.2.2 硬件部署环境11.2.3 软件部署环境11.3

2、术语定义21.4 名词解释21.5 参考材料2二 需求描述32.1 需求点概述32.2 需求点描述32.2.1 G-01：下发策略42.2.2 G-02：策略管理42.2.3 G-03：规则管理52.2.4 G-04：敏感信息管理52.2.5 G-05：用户管理62.2.6 G-06：角色管理62.3 产品视图72.4 用户特性72.5 总体约束8三 功能总结83.1 概述83.2 功能需求103.2.1 F-02-01 用户登录103.2.2 F-02-02 用户管理113.2.3 F-02-03 角色管理113.2.4 F-02-04 策略管理123.2.5 F-02-05 规则制定133

3、.2.6 F-02-6 操作日志管理133.2.7 F-02-7 数据访问日志管理14143.3 接口需要153.4 性能需求153.5 质量需求15四 待确认的问题列表15.1 引言1.1 编写目的为了研发明朝万达Hbase数据脱敏产品，规范产品研发流程，明确Hbase脱敏产品需求而编写此文档。1.2 背景1.2.1 需求缘由随着大数据时代的到来，大数据中蕴藏的巨大价值得以挖掘，同时也带来了隐私信息保护方面的难题，如何在实现大数据高效共享的同时，保护敏感信息不被泄露，已成为各个行业广泛关注的问题。即需要对敏感信息数据进行保护，防止用户个人私密信息泄露，也需要保证正常的信息共享，为此大数据脱敏

4、系统应运而生。1.2.2 硬件部署环境客户环境需要有HBase大数据集群，此外需要提供一台Linux服务器，配置到该集群中，作为本系统的服务器使用。1.2.3 软件部署环境HBase数据脱敏系统以软件包（tar包 + jar包）的形式提供给用户。脱敏系统Server端（tar包）部署在服务器上，jar包部署在每个Hbase的节点上。1.3 术语定义协处理器: 可以对HBase服务添加额外的逻辑处理的软件模块。数据脱敏: 指对某些敏感信息通过规则进行数据的变形，实现敏感隐私数据的可靠保护，这样就可以在研发、测试和其他非生产环境以及外包环境中安全地使用脱敏后的真实数据集。脱敏策略：针对数据脱敏时制

5、定的规则。1.4 名词解释权限管理员：创建、删除、修改、查询管理员信息，分配管理员角色。本系统初始用户为权限管理员（Admin）。操作管理员：制定策略、给用户下发策略、制定脱敏规则的管理人员。审计管理员：审查管理员的操作日志以及业务用户的数据访问日志。业务用户：业务用户是本系统边界之外的用户，用户信息会被同步到本系统。1.5 参考材料l ;.2 需求描述2.1 需求点概述l 客户可以配置策略，查看策略，修改策略，删除策略, 将策略指定给用户或用户组，查看某个用户所有的策略，启停某个用户的策略。l 客户可以为某个策略制定一种或多种脱敏规则。l 客户可以查看敏感数据分类分级统计图表，敏感词频，安全

6、评估风险报告。l 支持对指定表、列族、列做脱敏（替换，置空，加密解密）变换。l 客户可以创建新的权限管理员，操作管理员，审计管理员、查看管理员信息、删除管理员、修改管理员的操作权限。l 所有被脱敏的用户数据访问操作都记录在日志中并可以查询和审计。l 所有管理员的操作日志都记录在日志中并可以查询和审计。2.2 需求点描述 为了形象的说明需求点，特用以下示意图示进一步说明需求点:l 业务用户是在访问HBase的时候被动受控的角色。操作管理员可以针对不同业务用户下发不同的管控策略。l 策略元素包含策略名称和数据目标。策略是数据目标和脱敏规则的整体描述。一个策略是由多个治理规则聚合而成，即：策略 =

7、Table.family.column + n* 治理规则。l 治理规则元素包含规则名称，对该字段的操作动作。治理规则是对数据目标具体操作的描述，即：治理规则 = 动作 + 参数，如：（遮蔽后4位，正则替换）。2.2.1 G-01：下发策略操作管理员针对业务用户下的符合该用户身份权限的规则，用来屏蔽外部无权用户访问到机密信息。2.2.2 G-02：策略管理策略是针对指定HBase表、列族、列制定的不同的数据脱敏规则。操作管理员可以使用策略管理来创建，删除，修改，查询和启停策略。2.2.3 G-03：规则管理脱敏规则的组成元素包括名称，治理动作。名称是对该规则的称号；治理动作在本文指脱敏方法。操

8、作管理员使用规则管理功能可以增加，删除，修改，查询脱敏规则。2.2.4 G-04：敏感信息管理操作管理员使用敏感信息管理功能，可以查看敏感数据分级分类图表，敏感词出现频率。针对敏感数据使用情况可以进行安全评估统计，同时生成风险报告。2.2.5 G-05：用户管理权限管理员通过用户管理功能，可以创建用户，可以查询所有已创建的用户，对某个已有用户信息进行修改，当不在需要某个用户时将它删除。2.2.6 G-06：角色管理权限管理员使用角色管理功能，可以指定用户角色，取消用户角色。2.3 产品视图Hbase数据脱敏系统是主要功能包括用户授权管理，脱敏策略配置管理功能，敏感信息发现监控功能，审计展示功能

9、。Hbase数据脱敏系统视图如下: 2.4 用户特性Hbase数据脱敏的用户分俩大类，包括内部用户和外部用户。其中内部用户采用三权分立原则，主要分为权限管理员，操作管理员，审计管理员这三类角色。权限管理员是熟悉行业规章制度的一类用户，主要完成Hbase脱敏系统的授权和用户管理; 操作管理员是对用户业务非常熟悉的一类用户，它主要完成根据业务需要完成脱敏策略制定及下发; 审计管理员是对用户业务和数据安全都很了解的一类用户，主要完成脱敏系统的审计功能; 这三种管理员的彼此没有权限交集。 外部用户只有业务用户一种，是同步当前系统OS/LDAP用户或用户组，在本系统仅做只读显示和脱敏规则被授权。2.5

10、总体约束l Hbase数据脱敏产品必须符合SOX行业法规，对用户私密信息进行必要保护。l Hbase数据脱敏是基于Hbase协处理开发仅支持Hbase 0.92以上版本。3 功能总结3.1 概述根据需求归纳总结数据Hbase脱敏系统产品功能包括 产品用户用例图示如下:3.2 功能需求3.2.1 F-02-01 用户登录功能编号F-02-01版本0.2功能名称用户登录创建者创建时间2017.05.09最后修改者最后修改时间2017.05.09执行者权限管理员，审计管理员，操作管理员功能概述1管理员 通过Hbase脱敏系统控制台登录界面登录， 控制台通过口令密码简单认证，根据用户类型来展示不同的用

11、户功能界面。权限管理员创建操作管理员和审计管理员。输入信息用户名字符串和口令字符串处理管理员 登录处理逻辑: 1: 用户从Hbase脱敏系统控制台输入用户名与口令。2: 登录界面程序简单校验用户名与口令字符串输入规则。3. 判断用户输入的用户名口令是否正确。4. 返回登录结果。输出管理员 登录结果输出: 成功直接进入用户功能界面，失败则给出错误提示后返回登录界面重新登录例外无规则和边界无性能要求登录功能必须在3s内返回结果。界面要求l 界面必须美观， 简洁。3.2.2 F-02-02 用户管理功能编号F-02-02版本0.2功能名称用户管理创建者创建时间2017.05.09最后修改者最后修改时

12、间2017.05.09执行者权限管理员功能概述1权限管理员 操作使用用户管理功能，可以创建用户，可以查询所有已创建的用户; 对某个已有用户信息进行修改; 当不在需要某个用户时将它删除。输入信息用户名称 联系方式 口令。处理权限管理员，用户管理处理逻辑: 1. 根据界面输入规则对输入项进行检测。2. 将用户帐号信息保存。3. 给出处理结果提示。输出权限管理员: 成功则输出成功信息， 失败给出错误原因例外权限管理员只能查看业务用户，不能修改删除业务用户。规则和边界无性能要求用户提交信息之后3秒内必须返回。界面要求l 界面输入项必须给出必要的输入项提示和解释说明。l 必要输入项必须提示给用户。3.2

13、.3 F-02-03 角色管理功能编号F-02-03版本0.2功能名称角色管理创建者创建时间2017.05.09最后修改者最后修改时间2017.05.09执行者权限管理员功能概述权限管理员使用此功能对已创建用户进行角色指定。可以指定用户为权限管理员，审计管理员或操作管理员。当不在需要授权用户时可以取消授权，未经授权的用户无法登录脱敏系统。输入信息指定操作元素。处理1. 进行授权操作，成功之后将授权信息保存。输出1.授权校验成功给出成功提示，否则给出错误提示。例外权限管理员不能对业务用户进行授权。规则和边界性能要求用户提交信息之后3秒内必须返回。界面要求l 必要输入项必须提示给用户。3.2.4

14、F-02-04 策略管理功能编号F-02-04版本0.2功能名称策略管理创建者创建时间2017.05.09最后修改者最后修改时间2017.05.09执行者操作管理员功能概述创建策略，删除策略，查询策略和修改策略。输入信息策略名称，规则，数据表关联关系。处理1. 根据界面输入规则对输入项进行检测。2. 将输入信息入库。3. 成功输出成功信息，错误输出错误码。输出成功则输出成功信息， 失败给出错误原因例外无。规则和边界性能要求用户提交信息之后3秒内必须返回。界面要求l 界面输入项必须给出必要的输入项提示和解释说明。l 必要输入项必须提示给用户。3.2.5 F-02-05 规则制定功能编号F-02-

15、05版本0.2功能名称规则管理创建者创建时间2017.05.09最后修改者最后修改时间2017.05.09执行者操作管理员功能概述规则管理功能可以增加， 删除， 查询， 修改脱敏规则。规则的组成元素包括名称，治理动作。 治理动作即脱敏方法。脱敏动作的算法包括置空，替换， 乱序等，算法可以扩展。 输入信息规则名称，治理动作的信息。处理1. 将用户输入的规则名称，治理动作保存起来同步到策略文件中。输出成功提示处理成功信息，失败返回具体错误原因例外无规则和边界性能要求用户提交信息之后3秒内必须返回。界面要求1. 界面输入项必须给出必要的输入项提示和解释说明。2. 必要输入项必须提示给用户。3.2.6

16、 F-02-6 操作日志管理功能编号F-02-06版本0.2功能名称操作日志管理创建者创建时间2017.05.09最后修改者最后修改时间2015.05.09执行者审计管理员功能概述对WEB控制台所有管理员的操作行为进行审计。输入信息按用户查询，按时间查询处理1.输入查询条件。2.按查询条件对操作日志进行检索。3.输出查询结果给审计员。输出成功则输出成功信息， 失败给出错误原因例外无。规则和边界性能要求用户提交信息之后3秒内必须返回。界面要求l 界面输入项必须给出必要的输入项提示和解释说明。l 必要输入项必须提示给用户。3.2.7 F-02-7 数据访问日志管理功能编号F-02-07版本0.2功

17、能名称数据访问日志管理创建者创建时间2017.05.09最后修改者最后修改时间2015.05.09执行者审计管理员功能概述对所有Hbase数据访问的行为进行审计输入信息基于solr 查询条件调整处理1.输入查询条件。2.按查询条件对操作日志进行检索。3.输出查询结果给审计员。输出成功则输出成功信息， 失败给出错误原因例外无。规则和边界性能要求用户提交信息之后5秒内必须返回。界面要求l 界面输入项必须给出必要的输入项提示和解释说明。l 必要输入项必须提示给用户。3.2.8 F-02-8 敏感信息管理功能编号F-02-08版本0.2功能名称敏感信息管理创建者创建时间2017.05.12最后修改者最后修改时间2015.05.12执行者操作管