集团大数据平台安全方案规划

1、第集团大数据平台安全方案规划目 录 TOC o 1-3 f 1综述 PAGEREF _Toc508652149 h 31.1项目背景 PAGEREF _Toc508652150 h 31.2建设目标 PAGEREF _Toc508652151 h 31.3需求分析 PAGEREF _Toc508652152 h 31.3.1基础平台 PAGEREF _Toc508652153 h 41.3.2企业画像应用 PAGEREF _Toc508652154 h 52大数据平台安全方案 PAGEREF _Toc508652155 h 62.1系统环境安全 PAGEREF _Toc508652156 h

2、62.2物理环境安全 PAGEREF _Toc508652157 h 62.3网络安全 PAGEREF _Toc508652158 h 62.3.1边界防护 PAGEREF _Toc508652159 h 62.3.2安全监控中心 PAGEREF _Toc508652160 h 62.3.3安全原则 PAGEREF _Toc508652161 h 62.3.4安全威胁 PAGEREF _Toc508652162 h 62.3.5安全策略 PAGEREF _Toc508652163 h 62.3.6安全防护 PAGEREF _Toc508652164 h 62.4系统应用安全 PAGEREF _

3、Toc508652165 h 62.4.1系统安全需求 PAGEREF _Toc508652166 h 62.4.2用户身份认证 PAGEREF _Toc508652167 h 62.4.3会话安全管理 PAGEREF _Toc508652168 h 62.4.4用户访问控制 PAGEREF _Toc508652169 h 62.4.5剩余信息保护 PAGEREF _Toc508652170 h 62.5数据安全 PAGEREF _Toc508652171 h 62.5.1数据安全建设目标 PAGEREF _Toc508652172 h 62.5.2全流程安全管控 PAGEREF _Toc50

4、8652173 h 62.5.3平台安全模块分布 PAGEREF _Toc508652174 h 62.5.4数据安全管理方案 PAGEREF _Toc508652175 h 62.5.5数据去隐私化方案 PAGEREF _Toc508652176 h 62.6日志采集 PAGEREF _Toc508652177 h 62.6.1主机和数据库日志采集 PAGEREF _Toc508652178 h 62.6.2用户日志采集 PAGEREF _Toc508652179 h 62.7审计日志 PAGEREF _Toc508652180 h 62.8安全管理 PAGEREF _Toc50865218

5、1 h 6综述项目背景互联网、云计算、物联网、及时通讯工具和社交网络的兴起和普及，特别是大数据技术的应用，正深刻改变着当前市场格局。达沃斯世界经济论坛发布的大数据，大影响：国际发展的新可能的报告宜称，大数据已成为与货币和黄金一样的一种新的经济资产类别。，美国总统办事室（EOP）公布了大数据研究和发展规划，把大数据研发应用从商业行为提升到国家战略层面。在这种新形式下，大数据项目将会作为整个集团的跨公司、跨部门、跨内外的数据综合服务平台，承载着互联网+业务的核心枢纽。该平台的主要建设目标是为集团及其全部相关机构提供全栈大数据服务，包括技术平台、数据应用及产品、数据服务。该平台的建设目标并不仅仅局限

6、于使用大数据技术构建数据分析系统，而是基于云计算、云服务的理念，打造集团“数据即服务”的平台理念。通过整合集团、子公司、互联网+平台、第三方等数据，通过授权机制为集团本部、各子公司、合作伙伴、投资方等提供经营、决策等所需的相关大数据能力和数据服务。建设目标本期项目建设目标：为集团及其全部相关机构提供全栈式大数据服务，包括技术平台、数据应用及产品、数据服务；基于云计算、云服务的理念，打造集团“能力、数据即服务”的平台理念；为集团本部、各子公司、合作伙伴、投资方等提供经营、决策等所需的相关大数据基础能力和数据服务。需求分析本期大数据云服务平台项目包括大数据基础平台建设、企业画像应用两部分。其中数据

7、云平台接入中信云平台，统一进行运营和对外提供服务。基础平台基础平台提供一站式大数据解决能力和一站式数据分析能力。平台系统支持PaaS层能力，承载用户创建、修改、删除计算与存储资源，创建、发布、与回收业务应用等平台管理功能以及元数据管理、数据质量等数据管控功能；平台系统支持DaaS层能力，即支持数据采集、存储（数据湖）、计算以及展现四大部分能力；平台系统支持SaaS层能力，支持数据的分发、共享、探索、以及协作等功能。采集部分支持通过探针、爬虫、ETL手段从数据源将数据录入该平台，从数据类型上看，采集部分支持结构化数据采集与非结构化数据采集；从实效性上看，平台支持实时数据采集、初始化数据采集以及增

8、量数据采集；从业务层面看平台支持业务数据采集与第三方数据采集多个维度。存储部分负责将采集端收集的数据，以及平台内部处理后生成的数据永久性存放。从数据类型上看，平台支持结构化存储、半结构化存储以及非结构化存储；从使用方式上看可以平台支持归档数据存储、批处理数据存储以及在线热数据存储；从业务层面来看平台支持外部数据、子公司业务主数据以及互联网+平台数据存储。计算部分负责对存储区的数据进行操作，平台支持增删改查、分析统计、模糊检索、挖掘预测等功能。从数据类型上看，平台支持结构化数据计算（SQL）与半结构化/非结构化数据计算；而从使用方式上看，平台支持离线计算、在线应用以及实时处理。数据展现层支持开发

9、运维展现与应用展现能力。该平台具有完整的可视化开发运维界面，能够通过图形的方式进行平台的状态与健康监控、性能分析、日志查询、资源管控等运维功能，以及在线开发、调试、部署与诊断功能。平台支持在BI报表，OLAP交互式分析、用户自由查询、交互式挖掘、模糊检索、移动端展示等可视化功能。平台基于云计算、云存储的理念，打造集团“数据即服务”的平台理念，该平台能够使集团将各个子公司、机构与部门的数据有机地结合到一起，能够使用户在该平台中自由地创建、修改、删除计算存储资源，能够有效灵活地访问到其他用户公开的数据，并自由定义自身需要的数据处理逻辑与报表展现方案，并将结果数据进行公开与共享。平台需要能够满足用户

10、自定义数据加工与分析流程，包括：支撑用户与企业画像应用；提供物联网数据分析能力；支撑互联网数据应用；提供非结构化数据处理能力。企业画像应用企业画像应用围绕集团的子公司，整合集团内外部数据从多个维度进行企业画像，增强对子公司的洞察和智能管控。企业画像将围绕企业基本资料、股东信息、股权关系、关联图谱、管理层信息等维度展示，以及结合企业动态、其它动态信息等动态更新。内部数据以从多个集团公司上报的股权结构、财务数据、合同文件等为主，同时结合外部数据服务、互联网爬虫收集的企业相关信息，对企业进行多维度深入分析，构建统一的企业画像系统。应用具备良好的用户体验，提供移动端应用。大数据平台安全方案系统的安全取

11、决于系统运行物理环境的安全性、服务器及网络的安全性、操作系统的安全性、应用系统的安全性及应用数据的安全性等。应通过设计实施整体的系统安全方案，并对安全方案的实施结果进行评估，及时采取修复补救措施，调整安全预防策略，综合动态地进行系统安全管理。系统的安全方案应符合国家和行业主管部门有关信息安全管理法规和标准的要求，需要遵循集团的网络和安全规范要求，系统应纳入总体安全体系。具体的要求有：系统环境安全具备多年大型IT系统的建设及维护经验，在建设及维护过程中，系统环境安全方面，满足如下要求：对于服务器操作系统，进行相应的安全配置维护管理，及时打补丁，安装反病毒程序，定期查杀病毒，根据实际情况及时进行安

12、全策略调整，定期进行有关系统的数据备份。对于数据库系统，进行相应的安全配置维护管理，根据实际情况及时进行安全策略调整，定期进行数据库系统的有关备份。由于客户端计算机的多用途性，很容易受到病毒感染和恶意攻击，可能会进一步影响到服务器和网络，因此，对客户端计算机也要采取安全措施，进行相应的安全配置管理，采取如设置有效的系统密码，设置较高的浏览器安全级别，及时打补丁，安装反病毒程序，定期查杀病毒等安全措施。物理环境安全建立硬件环境防范体系：平台主机服务器、操作系统、数据库、网络设备、安全设备全部实现集中管理。平台集中对上述系统资源进行用户帐号管理、权限分配、身份认证、访问控制、安全审计等安全防护。保

13、证系统基础架构和硬件设施的人员访问安全。建立多层级备份机制：数据备份是为了防止系统操作错误或系统故障而导致数据丢失的防护手段，可以确保在出现重大问题时，关键数据能够迅速恢复且不被第三方截获，保证平台安全性。网络安全具备多年大型IT系统的建设及维护经验，在建设及维护过程中，系统网络安全方面，我们将协助用户保证互联网、企业内网各级节点接入安全，终端接入安全，杜绝非法接入（非入网、非授权节点与终端禁止接入）。网络中安装防火墙，进行访问检测、监测、控制、审查分析，阻止非法恶意攻击入侵，阻止恶意代码进入和网络阻塞。目前大部分的病毒攻击行为是由网络层病毒攻击引起的，引发网络带宽被大量占用，情况严重时造成网

14、络通讯设备宕机，以至于整个业务网络瘫痪。通过入侵检测设备、路由交换设备，实时检测网络内异常数据流量，掌握病毒传播情况,及时抓住病毒传播源头，并实时显示报警信息判断网络内其它区域是否存在病毒攻击行为。如：通过网络蠕虫病毒所传播的特定端口和数据包大小来判定是否为一个病毒攻击行为。管理员一旦发现这种行为可以及时做出处理。这种措施可以实时监控整个网络的异常数据流量。入侵检测设备通过对网络流量的镜像监听来观察网络中的异常行为。在实际部署时，首先配置交换机把目标监测端口的流量镜像到交换机的镜像端口上，旁路监听设备的监控端口直接连接到交换机的镜像端口上，从而监控整个网络的病毒行为。边界防护安全域的核心交换机

15、和IT支撑系统互联网接入域交换机只能与网络及安全防护设备互联，不能直连服务器设备。防火墙技术是目前网络边界防护最成熟的和最常见的技术。采用防火墙技术，重点保护综合应用系统平台的安全，阻止非法访问和滥用系统资源的网络行为。同时，需要启用防火墙的蠕虫病毒检测控制功能，有效抵御blaster，nachi，nimda，redcode，Sasser，slapper，sqlexp，zotob等主流蠕虫病毒，避免对平台服务器的影响。在平台局域网入口边界部署防火墙，基于IP地址、服务端口、IP协议、用户、时间等信息定义安全策略，可以有效控制非法网络访问行为。通过在平台边界部署防火墙并正确配置安全策略，可以解决

16、以下安全问题：保护脆弱的服务,通过过滤不安全的服务，防火墙可以极大地提高网络安全和减少子网中主机的风险。例如，防火墙可以禁止NIS、NFS服务通过，防火墙同时可以拒绝源路由和ICMP重定向封包等安全威胁。控制对系统的访问,防火墙可以灵活的部署安全策略，开放系统对外提供的合法服务。这使得系统各服务器隐藏在防火墙后面，避免全部暴露给普通计算机用户。规范终端用户行为,防火墙作为边界安全防护设备，可以有效的控制终端用户与系统相关服务器的访问连接，通过合理的应用连接管理和良好的带宽控制管理将有效的保护服务器免受恶意攻击而消耗大量资源。防火墙双机部署，可以灵活地工作在透明模式、路由模式甚至混合模式下，当主

17、用设备发生故障后，可以快速切换到备用设备上，故障切换时间小于1秒钟，实现了高可靠的要求。记录和统计网络日志,防火墙可以记录和统计通过防火墙的网络通讯，提供关于网络使用的统计数据并对非法访问作记录日志，从防火墙或专门的日志服务器提供统计数据，来判断可能的攻击和探测，利用日志对入侵和非法访问进行跟踪以及事后分析。安全监控中心具备全方位的安全体系，通过先进网络安全防护技术和设备的使用，设立安全监控中心，为本系统提供安全体系管理、监控，渠护及紧急情况处理等。安全监控中心基本功能如下：访问控制：通过对特定网段、服务建立的访问控制体系，将绝大多数攻击阻止在到达攻击目标之前。检查安全漏洞：通过对安全漏洞的周

18、期检查，即使攻击可到达攻击目标，也可使绝大多数攻击无效。攻击监控：通过对特定网段、服务建立的攻击监控体系，可实时检测出绝大多数攻击，并采取相应的行动（如断开网络连接、记录攻击过程、跟踪攻击源等）。加密通讯：主动的加密通讯，可使攻击者不能了解、修改敏感信息。认证：良好的认证体系可防止攻击者假冒合法用户。备份和恢复：良好的备份和恢复机制，可在攻击造成损失时，尽快地恢复数据和系统服务。多层防御：攻击者在突破第一道防线后，延缓或阻断其到达攻击目标。隐藏内部信息：使攻击者不能了解系统内的基本情况。安全原则系统数据层重构网络安全主要是防止各种攻击，保证业务平台中各业务设备与系统的安全可靠运行，确保合法用户

19、对业务平台的正常访问。系统按照以下原则进行安全域划分和边界防护：业务保障原则：安全域方法的根本目标是能够更好的保障网络上承载的业务。在保证安全的同时，还要保障业务的正常运行和运行效率。结构简化原则：安全域划分的直接目的和效果是要将整个网络变得更加简单，简单的网络结构便于设计防护体系。比如，安全域划分并不是粒度越细越好，安全域数量过多过杂可能导致安全域的管理过于复杂和困难。等级保护原则：安全域的划分要做到每个安全域的信息资产价值相近，具有相同或相近的安全等级、安全环境、安全策略等。生命周期原则：对于安全域的划分和布防不仅仅要考虑静态设计，还要考虑不断的变化；另外，在安全域的建设和调整过程中要考虑

20、工程化的管理。安全威胁一般来说，核心域内安全面临的威胁主要包括：误操作：配置操作人员的误操作有可能导致数据丢失、服务中断、安全保护水平下降等后果；滥用：接触安全域的人员违反安全策略和维护管理制度，造成数据机密性、完整性服务可用性等损失。网管配置缺陷：出于需求和设计上的不足，使得系统和平台存在安全缺陷，使攻击、滥用、误用等存在可能，例如：由于采集机制采用低版本SNMP，造成系统设备的核心配置被泄露，造成核心系统的安全性降低。由于SNMP采用简单或缺省COMMUNITY，例如public等，造成黑客很容易获得系统设备的MIB库，造成核心系统的安全性降低。如果系统开放的端口较多，可能导致利用这些端口

21、和对应服务的漏洞，对系统造成破坏。病毒：可对各个系统产生影响，且能非法窃取数据。安全策略采用防火墙和多种访问控制、安全监控措施；采用专线为主、拨号备份为备的双链路和主、备路由器增强可靠性；采用成熟可靠的认证和加密机制；采用IPSec技术保证数据传输过程的安全；采用双防火墙双机热备；采用IDS、漏洞扫描工具；设立DMZ区，所有对外提供公开服务的服务器一律设置在DMZ区，将外部传入用户请求连到Web服务器或其他公用服务器，然后Web服务器再通过内部防火墙链接到业务前置区；设立业务前置区，对外业务前置主机可放置此区域，阻止内网和外网直接通信，以保证内网安全；所有的数据交换都是通过前置区进行；为防止来

22、自内网的攻击和误操作，设置内部网络防火墙；安全防护边界区边界区包括二台支持IPSec功能的路由器，采用专线的方式接入Internet网络，互为备份。将IPSec部署在边界路由器上是保证端对端数据传输的完整性和机密性，保护TCP/IP通信免遭窃听和篡改。边界防火墙区边界防火墙区设置两台防火墙互为热备份。在防火墙的内侧和外侧分别有一台连接防火墙的交换机，从安全的角度出发，连接两台防火墙采用单独的交换机，避免采用VLAN造成的安全漏洞。两台防火墙之间的连接根据设备的不同而不同，以能够可靠地为互相备份的防火墙提供配置同步和心跳检测为准。入侵检测IDS能够实时准确地捕捉到入侵，发现入侵能够及时作出响应并

23、记录日志。对所有流量进行数据分析，过滤掉含有攻击指令和操作的数据包，保护网络的安全，提供对内部攻击、外部攻击和误操作的实时保护。DMZ区建立非军事区（DMZ）, 是为不信任系统提供服务的孤立网段，它阻止内网和外网直接通信，以保证内网安全，在非军事区上设置并安装基于网络的实时安全监控系统,所有对外提供公开服务的服务器一律设置在DMZ,其中WWW、E-mail、FTP、DNS服务器置于非军事区（DMZ）。内部路由器区内部路由器区设置二台用于连接业务前置区的路由器。业务前置区设立独立的网络区域与外部和内部主机之间交换信息，并采取有效的安全措施保障该信息交换区不受非授权访问。内部防火墙内部防火墙可以精

24、确制定每个用户的访问权限，保证内部网络用户只能访问必要的资源，内部防火墙可以记录网段间的访问信息，及时发现误操作和来自内部网络其他网段的攻击行为。病毒防范和漏洞扫描 在服务器、前置机上安装网络版防病毒软件，及时在线升级防病毒软件，打开防病毒实时监控程序，设定定期查杀病毒任务，及时抵御和防范病毒。定期对网络设备进行漏洞扫描，及时打系统补丁。路由设置采用静态路由，边界的主、备路由器采用浮动静态路由，当主链路不通时，通过备份链路建立连接。网管从安全的角度考虑，业务外联平台的网管采用带外网管。网管服务器和被管理设备的通讯通过单独的接口。用PVLAN使被管理设备只能通过网管专用的接口与网管服务器连接，而

25、被管理设备之间不能互通。为了防备网管服务器被控制的可能性，规划独立的网管服务器为业务外联平台服务。网管平台能够对业务外联平台进行状态管理、性能管理、配置管理、故障管理。带外网管平台采用单独的交换机，以保证系统的安全。QOS在数据包经过内层防火墙进入管理区域后立即打上QOS标记，使业务前置区的数据包按照规定的优先级别占用网络资源。系统应用安全系统安全需求本系统具备安全功能，可方法防范以下安全威胁：1、非人为因素：服务器意外断电、损坏、存储出错或损坏，网络中断、病毒破坏、系统软件安全漏洞等；2、人为因素：操作失误，恶意攻击、信息窃取、假冒、抵赖等。本系统提供不同网络安全级别的安全解决方案，包括：实

26、现基于访问的负载均衡；实现集团内要求的外网安全策略；实现有效的访问控制和日志记录；用户身份认证具备登录控制能力对登录用户进行身份标识和鉴别。系统所提供密码规则符合国际惯例和采购人要求，如强制要求一个最短的密码长度、密码复杂性设置等。系统会要求用户在首次登陆时修改密码。系统提供用户身份标识唯一和鉴别信息复杂度检查功能，保证应用系统中不存在重复用户身份标识，身份鉴别信息不易被冒用。身份鉴别信息在存储、传输过程中以密文方式存在，避免用户输入的口令在屏幕上明文显示，启用登录失败处理功能，可采取结束会话、限制非法登录次数和自动退出等措施。在鉴别期间，只提供给用户必要的反馈信息。系统程序中的内、外部访问处

27、理，不应存在操作系统用户和应用用户的使用。会话安全管理系统具有限制同一用户并发会话数量的功能，会话中断后能及时清理会话残留信息。用户访问控制系统具有访问控制功能，限制仅被授权的人员才能访问，通过访问控制列表对系统资源实现允许或拒绝用户访问，控制粒度至少为用户组。系统授予不同用户为完成各自承担任务所需的最小权限，并应遵循职责分离的原则。系统严格限制默认帐户的访问权限，修改这些帐户的默认口令。提供用户访问权限控制方式，包括针对机构层级、特定的应用模块、特定的交易类型、具体的某支交易、特定的数据范围、独特的用户标识、用户组群标识、特定终端设备、具体的时间范围等，并请说明具体的实现机制。提供分级授权、

28、审批的实现机制，不同机构数据相互隔离或分区存放，从技术方案设计层面防止不同机构用户的交叉访问。剩余信息保护系统保证用户鉴别信息所在的存储空间被释放或再分配给其他用户前得到完全清除。数据安全数据安全建设目标大数据云服务平台的数据安全管理，旨在通过体系化的方式，梳理大数据云服务平台的相关数据安全策略，全方位进行安全管控，通过多种手段保障数据中心的数据安全，做到“事前可管、事中可控、事后可查”。数据安全的建设内容主要将满足以下要求：1、大数据云服务平台内部的所有数据的关键字段必须去隐私化（入库前）。2、所有数据访问（尤其是非程序调用）必须有日志记录。3、所有数据访问日志，统一日志格式，便于查询和跟踪

29、、审计。4、对大数据云服务平台各层数据的安全控制，必须通过界面化进行配置管理。5、无论前台和后台导出数据，包括文件系统、数据库（GP、HBase等）导出数据若非程序调用，必须跟踪至号码级别。6、重点数据库表、接口实体，必须通过配置方式重点监控，尤其是匹配少量号码的访问（少量100个，重点监控单个号码的访问）。7、大数据云服务平台各层每日根据日志统计，形成分析报告，重点监控报告、监控预警信息等。8、日志统计和日志内容，保留在线1年，1年以上备份离线。9、安全模块统一集成至平台，作为一个独立模块，统一配置维护。10、对前后台数据的访问，除程序调用外不得使用公共账号，程序调用账号支持密码规则（SOX

30、）。全流程安全管控为满足上述数据安全建设需求，本次系统建设涉及数据采集、加工整合、数据访问、数据开放环节的数据安全，安全能力包括去隐私化、日志服务、审计服务、统一鉴权、导出管理、数字水印等。平台安全模块分布大数据云服务平台的整体安全管控贯穿在平台里整个数据加工和处理的流程中:在数据采集层，主要通过数据去隐私化模块，完成对数据源的加密入库，保证库中的敏感数据都是经过加密的。在数据整合层，主要是对开发和维护人员的主机和数据库操作的日志采集与审计，确保没有违规的操作，同时在维护人员执行数据导出操作过程中，将明细数据进行备份。在服务层，主要是通过统一访问鉴权，实现对数据服务的鉴权、审计、设置黑白名单等

31、方式控制服务的访问情况。在应用层和访问层，利用了数字水印保护内外部应用，通过数据导出控制，备份用户导出内容。同时用户在显示和下载详单数据，满足对隐私数据的还原操作。数据安全管理方案数据加密/解密提供关键字段加密、解密功能，保证用户数据隐私:数据加密在大数据云服务平台嵌入加密程序，数据进入大数据云服务平台时，对指定敏感字段进行加密。加密时采用此加密程序。数据解密数据在计算时，均使用密文字段计算,在应用系统中嵌入解密程序。当用户使用应用系统查询计算后的数据默认为密文数据。如果用户想查看明文，系统才会调用解密程序将数据解密为明文字段。加密算法对称密码算法，主要是分组密码和流密码及其应用。分组密码中将

32、明文消息进行；分块加密输出密文区块，而流密码中使用密钥生成密钥流对明文消息进行加密。非对称密码算法，需要两个密钥：公开密钥和私有密钥。公开密钥与私有密钥是一对，如果用公开密钥对数据进行加密，只有用对应的私有密钥才能解密；如果用私有密钥对数据进行加密，那么只有用对应的公开密钥才能解密。杂凑算法（hash函数），即把任意长的输入消息串变化成固定长的输出，主要用于完整性校验和提高数字签名的有效性。加密算法支持国际通过加密算法，如DES加密算法、AES加密算法等密钥生成密钥由密钥程序生成，为保证数据安全性，用户可以对密钥进行修改，同时对历史数据加密数据进行刷新。密钥程序可由用户手动生成密钥。密钥存放加

33、密密钥以文件方式存储，存放在指定主机的指定目录下。加密密钥文件命名格式为”帐期.key”，例如2013年5月帐期加密密钥文件201305.key，2013年5月10日帐期加密密钥文件20130510.key。加密程序需要读取这个指定主机指定目录下的加密密钥文件，解密密钥由指定人员保管。敏感数据对敏感的数据信息进行全加密。图 STYLEREF 1 s66数据加密设置要求具备统一的数据加解密功能，各应用系统通过调用统一的加解密API或服务，实现数据的加解密。场景描述：数据入库时由ETL（或入库程序）调用统一的加解密能力进行加密，在数据库中做库内计算时，均使用密文字段计算，用户通过SQL提取时也是密

34、文。在特定应用程序中通过调用统一的加解密能力将数据解密为明文字段。数据模糊化数据模糊化是为了防止非法人员获取平台的有价值数据而加设的数据防护手段，从而保证用户根据其业务所需和安全等级，恰如其分地访问敏感数据。当业务访问数据中心数据时，该模块对数据进行实时筛选，并依据访问者的用户角色其它 IT 定义规则对敏感数据进行模糊化。模糊化的方式包括如下几种形式：数据替换 - 以虚构数据代替真值截断、加密、隐藏或使之无效 - 以“无效”或 *代替真值随机化 - 以随机数据代替真值偏移 - 通过随机移位改变数字数据字符子链屏蔽 - 为特定数据创建定制屏蔽限制返回行数 - 仅提供可用回应的一小部分子集基于其它

35、参考信息进行屏蔽 - 根据预定义规则仅改变部分回应内容通过对数据进行模糊化的设置，并结合相应的模糊化计算公式，保证关键数据的模糊化展示。要求具备数据的安全属性定义功能，包括敏感级别（敏感、非敏感）、敏感类型（加密，模糊化）、模糊化规则等，并支持针对不同用户设定不同敏感级别；场景描述：数据库中存储了手机号码的明文数据，有2名用户A、B对需要访问数据。配置手机号码数据对用户A为非敏感数据，可直接访问明文；配置手机号码数据对用户B为敏感数据，需要进行模糊化，屏蔽后8位数字，只展示139*。配置完成后分别使用用户A、B登录访问数据，验证配置结果。数据安全审计数据安全审计由数据安全模块实现，数据安全模块

36、对系统产生的数据访问日志记录进行获取并整理。其中包括数据存储日志记录、数据获取日志记录以及元数据管理和数据权限及策略管理的日志记录。日志记录获取功能得到的日志记录信息，存储到介质前，需要作日志记录格式化、日志记录信息校验、以及日志记录敏感级别管理，以保证存储的日志记录是准确、有效、可以参与安全控制的。数据安全审计主要是在发生数据安全事故后，根据相关数据信息进行责任定位的手段。为有效追踪，数据安全模块可以按照用户工号、登录IP、访问时间、访问模块和地域等提供日志的组合查询统计；管理人员根据授权可以查询、统计、浏览、导出用户的操作日志，及时发现和处理非法和违规的数据操作。数据备份和回复为避免数据由

37、于设备故障、损坏，以及灾难性事件等不可抗力而丢失或损坏。我们提供完备的数据备份和恢复机制。考虑到系统实际的数据量，根据系统的特点数据备份基本策略的设定按如下方式：数据库全量备份：按照系统的要求，建议每周备份一次。数据库增量备份：由备份主机执行增量备份，建议每晚业务空闲时进行。文件全量备份：由备份主机执行文件数据全备份，建议每周自动备份一次。文件增量备份：由备份主机执行增量备份，建议每晚业务空闲时进行。结合以上备份策略，从便于管理和恢复的角度考虑，制订数据分组对应策略，将数据分门别类放在不同编号的磁带组上，并建立不同的存取权限。建议建立：数据库介质：专门放置数据库信息。文件介质：除数据库以外的文

38、件。数据去隐私化方案去隐私化保护范围提供了去隐私引擎和隐私还原引擎，供数据采集、数据加工和应用访问层调用。隐私信息保护调用一系列的功能模块，对数据采集、数据加工和数据封装等过程提供数据去隐私或者还原操作等功能。数据去隐私化去隐私管理将去隐私算法封装成单独的功能模块存在于数器坊产品中，各数据加工过程可以进行调用。按照数据可逆性、数据完整性、效率高的基本原则，去隐私管理需选择适合的隐私信息保护加密技术，算法管理实现对算法的具体实例的定义和配置，将具体实例提供给去隐私/还原模块进行算法的加解密操作。默认包含的算法包括：RC4、AES、DES、MD5、SHA-1。RC4加密技术RC4加密算法是Ron

39、Rivest在设计的，密钥长度可变的流加密算法簇，由于其核心部分的S-box长度可为任意，一般为256字节。该算法的速度可以达到DES加密的10倍左右，且具有很高级别的非线性，根据目前的分析结果，没有任何的分析对于密钥长度达到128位的RC4有效，所以，RC4是目前公认安全的加密算法之一。AES加密技术AES的全称是Advanced Encryption Standard，即高级加密标准。AES作为新一代的数据加密标准，有强安全性、高性能、高效率、易用和灵活等优点。去隐私化管理是对隐私保护的字段整个流程的控制，去隐私化引擎封装在一个方法函数中，可以使用UDF的方式嵌入到数据仓库中。当隐私保护数

40、据载入到数据仓库时使用此函数完成去隐私化过程。同时会检查校验配置信息，为数据校验数据做数据准备。数据还原还原模块作为单独与各应用系统模块，对外提供统一的数据还原服务，各应用系统可以嗲用数据还原模块进行数据还原。数据还原模块除了负责完成数据还原，还将统一记录数据还原的信息、数据还原后的明细记录。还原管理是针对内、外部系统的需求，把大数据平台中的部分隐私信息还原，并输出给内、外部系统。还原管理从策略管理模块中获取相关的策略、密钥，然后调用还原引擎对相应的隐私信息数据进行还原处理。查询隐私数据，获取字段及版本信息，通过字段及版本信息，读取隐私策略配置信息，获取相关版本及算法、密钥信息，调用解密程序通

41、过密钥解密或通过置换算法将加密数据还原。数据去隐私化管理密钥由密钥程序生成，生成的地方在数器坊产品中生成并保存，密钥可以进行定期修改，修改后需同步修改本周期内的数据任务。秘钥的存储主要通过去隐私化模块（PrivacyProtection）进行统一管理和存放。通过数据隐私化管理模块对数据的隐私化进行集中管理，管理的内容主要包括加密算法的配置功能和加密密钥的存储备份功能。可以通过去去隐私化模块的算法信息维护功能对系统内置的算法进行管理也可自定义配置加密算法。具体配置页面参考如下：可以通过去隐私话模块的策略版本跟新功能对加密算法的秘钥进行管理和变更。记录加密算法的算法名称算法秘钥等信息。具体配置页面

42、参考如下：策略版本更新时，可以填写更新的原因、时间、密钥存储方式等信息。调度任务中的去隐私化在进行数据采集ETL过程配置，可以选择数据转换控件，通过该控件完成对入库文件的字段进行转化。可以选择多种加密去隐私化的方式，如MD5、SHA-1、DES、AES等。在平台配置数据采集任务的流程中增加数据转换控件节点，配置接口相关属性对需要加密处理的字段选择加密算法。后续在任务被调度执行时由ETL产品代理节点在在数据采集过程中在内存中处理加密数据不落地到本地数据库。操作流程:在ETL产品流程设计中选择“转换控件-转换计算”拖拽至调度流程区域，放在需要进行去隐私化步骤后。选择需要去隐私化的字段，并将转化规则

43、选择“去隐私化”选择合适是去隐私化算法进行加密，并进行保存。程序代码中的去隐私化在使用平台进行数据加工开发的过程中，可以支持数据库SQL调用去隐私化产品的去隐私化接口进行敏感数据的加密。平台安全模块提供关键字段加密、解密功能，保证用户数据隐私:1、数据加密在数据库底层提供加密程序，对指定敏感字段进行加密。加密时采用此加密程序。支持不可逆加密算法：MD5、SHA-1、AES。2、数据解密在应用系统中嵌入解密程序或由应用程序调用安全模块解密接口服务。当用户使用应用系统查询加密后的数据默认为密文数据，如果用户想查看明文，系统才会调用解密程序将数据解密为明文字段。3、加密算法采用AES加密算法或其它加

44、密算法，对称密码算法，即算法需要一个密钥，加解密共用。具体实现：不可逆加密（HASH计算）在大数据平台DACP开发平台加工过程中可以在SQL语句中调用Gbase数据库加密函数MD5或SHA-1加密函数。实现对敏感数据的加密。MD5为需要加密的字符串计算一个 128 位的 MD5 校验和,结果作为 32 位 16 进制字符串 返回,返回值也可以用作哈希密钥。具体函数演示如下：SHA-1为字符串计算一个 160 位的 SHA1 校验和,结果作为 40 位 16 进制字符串返回。具体函数演示如下：对称加密在大数据平台DACP开发平台加工过程中可以在SQL语句当中调用GP数据库加密函数AES_ENCR

45、YPT在执行SQL语句时实现对敏感数据的加密功能。具体函数：AES_ENCRYPT(str,key_str)函数秘钥调用去隐私化模块的策略管理功能获取。应用中的数据还原在使用大数据云服务平台各应用功能时，如流量运营、位置、市场运营等，可能需要将加密的敏感信息还原展示。在需要真实数据展示时可通过申请验证后调用去隐私化模块的数据还原接口将数据还原。具体实现：应用的还原模块作为单独与各应用系统模块，对外提供统一的数据还原服务，各应用系统可以嗲用数据还原模块进行数据还原。数据还原模块除了负责完成数据还原，还将统一记录数据还原的信息、数据还原后的明细记录。尤其是自助分析工具，需要在数据加工导出和推送时，

46、可以动态的选择需要还原的字段、还原的算法和还原的策略。数据还原模块对外提供的能力主要有以下两种方式：Webservice方式。各应用系统通过调用webservcie接口方式进行数据还原，还原的可以是单个数据、也可以是批量数据。（推荐）文件还原服务方式。通过提供页面用于待还原数据文件上载，后台系统还原后，提供数据还原后的文件下载结果。该两种数据还原方式，需要提供待还原的数据、加密算法、加密的密钥、申请用户ID、申请时间、审批人等信息，用于还原模块进行记录。具体接口如下：接口名称接口类型输入/输出参数接口功能描述备注（约束）根据加密数据获取源数据WS输入：String applyId, Strin

47、g userId,String certifyCode, List encryData, String charsetName根据加密数据获取源数据输出：List根据加密数据获取源数据WS输入：String applyId, String userId,String certifyCode, String encryData, String charsetName根据加密数据获取源数据输出：String根据对外接口，验证是否通过应用审核，并将结果传递给download组件文件输入：String applyId, String userId,String certifyCode, String

48、sql根据对外文件接口，验证是否通过应用审核，并将结果传递给download组件输出：文件日志采集主机和数据库日志采集日志采集原理主机类资源访问流程数据访问管控功能和特点：具备单点登录功能，支持telnet、ssh、ftp等协议，鉴别用户权限，确保用户连接到授权的服务器，完成用户行为分析和控制。支持细粒度命令控制，对用户命令操作精确到命令、参数等，可以设置命令集，对不同部门、不同用户组赋予最小粒度的权限命令控制。按照统一标准格式完整记录用户操作命令，审计用户行为，准确识别操作命令和结果。日志统计和日志内容，保留在线1年，1年以上备份离线。应用类资源访问流程数据访问管控功能和特点：提供软件发布，

49、工具授权，操作授权等功能。支持小批量的敏感数据查询结果进行跟踪记录。将用户的图形化连接转换成统一标准字符型数据格式的操作记录，并进行日志存储，为审计告警、审计分析、审计报表提供原始待审计数据。日志统计和日志内容，保留在线1年，1年以上备份离线。支持应用级、实体级和实体内多种授权方式，实现应用程序授权、从帐号授权和细粒度命令授权。日志采集解决方案为加强大数据平台的安全管控能力，需要采集记录所有对大数据平台主机和数据库（含mysql和gp等）的操作记录、保留所有数据导出的结果文件。大数据平台里的所有主机、数据库的登陆均需要实现单点登录，通过主账号登陆后，实现各客户端工具的单点登录。对大数据平台里所有主机和数据库的命令操作，均需要进行日志采集，并传输至大数据平台的安全模块进行审计对所有的导出操作，导出的文件明细内容需要备份留存，以供后续查询用户日志采集用户的所有操作记录理论上均需要进行采集、整理、分析，并提供按照敏感信息和用户的查询能力。应用日志采集系统安全管理模块对BI系统各层次所产生的日志记录进行获取并整理。其中包括访问层日志记录、应用层日志记录、数据存储层日志记录、数据获取层日志记录以及元数据管理和数据质量监控的日志记录。数据安全统一日志管理模块制定统一日志规范，