大数据平台数据治理体系建设和管理方案

图611所示，数据资产管理系统包括六个部分：注册管理：支持多种方式（采集器、在线维护、提供自助注册接口）注册数据资产，并提供审核及版本控制等功能；变更管理：支持已注册数据资产信息的变更、审核和更新功能；审计管理：支持对数据资产的盘点，以及对数据资产访问记录的审计；资产统计分析：支持数据资产的评估，包括数据质量、访问情况等信息的采集，根据这些信息对数据资产进行综合评估打分；权限管理：对接数据安全管理模块，除了同步数据安全管理模块中用户账户信息及权限外，还会将用户对数据资产访问的申请信息发送给数据安全管理模块进行处理；接口管理：与元数据管理模块、数据质量管理模块、数据安全管理模块对接，收集相关模块的基础数据，用于完成数据资产的注册、稽核及安全管理等工作数据资产化后，将解决目前普遍存在的需求分散重复、口径模糊等问题，实现成果和经验的共享和积累，方便实现应用和数据的生命周期的自动化管理。明确的数据资产信息，将有效支撑公司内部知识系统和资源管理的建设，为业务人员能更快捷、有序、便利地提供资产使用的方式和途径，支撑数据分析、开发、运维的自治。数据资产范围数据资产的范围和形式应包含企业拥有的各类数据，如表、视图、接口、程序等。同时，随着大数据的发展，还应纳入各种非/半结构化的数据形式，如日志、网页、图片、音视频等。数据资产标识是一个有业务含义、分段式、全局唯一的字符串，用来区分识别数据资产的标签。资产标识包含有资产所属业务域、资产类型、提供者等信息。资产标识规范为五段式结构，每段以点分隔。具体格式如REFOLE_LINK26\h图612所示：图STYLEREF1\s612数据资产标识规范{根前缀}：指数据资产全局前缀，以常量表示。其值为com.cmcc.xxx{业务域}：指数据资产所归属的业务系统类别域。其值为BSS,OSS,MSS等{资产类型}：指数据资产模型类别。其值为表、文件、图片、音频等{提供者/租户}：指数据资产的生产者，或者是数据资产的所有者。其值一般是生产者或者所有者的标识。其值为MKT(市场)、GRP(集团)、BASS(经分)等{资产名称}：指数据资产的简短命名。其值一般是资产对象的名称或编码。数据资产标识示例：com.cmcc.xxx.BSS.table.YWB.application_log二维码如REFOLE_LINK33\h图613所示。图STYLEREF1\s613数据资产标识二维码与其它功能模块的关系数据资产管理模块将与元数据、数据质量、数据安全模块通过接口互通，根据需求获取元数据，数据稽核和交互账号权限等信息。在资产注册、变更时，需要从元数据模块获取表、字段、口径、程序等元数据信息，用于数据资产信息的登记和更新。在资产运维时，需要从数据质量模块获取数据质量监控、稽核的结果，用于资产评估。同时，消费者申请访问数据资产，需要从数据安全模块中获取账号信息，相关数据访问申请也需要发送给数据安全模块进行处理。本期数据资产功能需求管理过程数据资产管理过程是一个资产全生命周期的管理过程，资产全生命周期管理以数据资产作为管理对象，以资产战略和资产策略为导向，从系统整体目标出发，统筹考虑资产的规划、投资、设计、建设、运行、维护、稽核、变更、注销的全过程，在满足安全、效能的前提下有效管理与监控数据资产的生产和使用情况，不断优化数据资产质量，实现数据资产的业务价值。其管理过程如REFOLE_LINK27\h图614所示：图STYLEREF1\s614数据资产全生命周期管理过程如REFOLE_LINK27\h图614所示，数据资产全生命周期管理过程分为如下四大阶段：战略规划：该阶段旨在按照业务需要和业务发展要求，建立数据资产总体性、纲要性规划。制定帮助所有的数据资产供应者以及消费者，帮助他们运营，帮助他们长期发展建立清晰的服务战略。该阶段主要包含了制定数据资产战略规划和制定数据资产策略计划等关键任务和活动。注册入库：该阶段旨在按照战略规划和战略计划进行数据资产的设计、建设和交付。针对需求进行分析设计，根据战略阶段的要求与规范，定义数据资产的结构等，是资产管理中的重要组成。该阶段主要包含了设计并生产数据资产和数据资产注册、入库等关键任务和活动。运营维护：该阶段旨在对数据资产的有效使用进行管控，确保数据资产健康运营。运营维护包含数据资产发布、资产稽核、监控告警、资产评估、资产审计、资产变更等方面；提供数据资产给授权的消费者（内部用户、集团用户和外部用户）使用；对数据资产进行盘点，监控数据资产的使用情况，对数据资产访问记录进行审计；对数据资产从规划到运营阶段情况进行全方位、多维度的统计分析，对资产内容标准化、合规性的稽核评价，根据评估结果有目的的对数据资产进行改进和完善。注销报废：该阶段主要是对无效和失效的资产进行清理，主要包括资产注销和报废清除等任务和活动。在注销报废阶段，对已失效的资产，由管理者注销资产，并由运维者销毁资产对象；管理对象图STYLEREF1\s615数据资产管理对象如REFOLE_LINK28\h图615所示,数据资产管理对象是针对纳入企业级大数据平台进行存储、访问、操作的结构化和非结构化数据，包括但不限于：IT支撑系统（含业务支撑、运营支撑、管理支撑等）所产生的业务数据、交易数据、分析数据、流程数据等，简称B域数据；网络运行管理和分析系统所产生生业务数据、交易数据、分析数据、流程数据等；以及各类网元设备所产生的话单、信令、上网日志、性能检测数据，简称O域数据；业务平台（含管理平台、能力平台、应用平台等）对内进行发布和共享的特定业务数据，简称业务平台数据；其它纳入企业级大数据平台管理的外部引入数据，简称外部引入数据。管理角色数据资产管理过程中，应包含如REF_Ref428628467\h表66相关的角色:表STYLEREF1\s6SEQ表\*ARABIC\s16人员角色职责角色主要职责数据资产规划者制定数据资产模型规范；规划数据资产建设方案；数据资产提供者提交数据资产相关信息到数据资产管控平台进行数据资产注册；确保数据资产提交的信息和注册信息一致；数据资产消费者查看可用的数据资产；申请使用数据资产服务；订阅并使用数据资产服务；数据资产管理者数据资产的注册管理和变更管理；数据资产的稽核审计和监控告警；数据服务的创建、发布、下线管理；数据服务申请审批；数据资产运维期的使用跟踪分析和优化；数据资产运维者数据资产的保护，如备份、加密、脱敏和安全管理；数据资产的销毁；本期建设内容本期数据资产管理模块重点从规划、注册、运维到注销的全流程管理功能进行建设，使数据资产管理系统化、可视化。数据安全管理数据安全概述根据集团公司信息安全管理要求，大数据平台必须建立完整的信息安全管理措施和技术方案，加强大数据平台与其它系统之间的数据信息安全管控。为了进一步明确和加强信息安全管理的规范性，通过制定并执行数据安全政策和安全策略措施，为企业级大数据平台的数据和信息提供行之有效的认证、授权、访问和审计。实现对敏感数据访问和隐私保护技术实现和管理措施保护客户隐私信息的详细实现方案，深化数据安全的技术防护措施。建设原则旨在完善数据体系化的安全策略，全方位进行安全管控，通过多种手段保障数据安全，做到事前可管、事中可控、事后可查。事前可管全面分析系统，及时发现存在安全风险的环节设置防线，防患于未然。事中可控通过4A、金库模式、敏感数据管控、隐私信息保护等手段，密切关注用户操作，确保安全实施。事后可查记录用户所有访问痕迹，保留用户操作日志提供审计。目标建立完善的体系化的安全策略措施，全方位进行安全管控，通过多种手段保障大数据平台数据治理中的数据安全，完成数据“存、管、用”的数据治理安全，做到“事前可管、事中可控、事后可查”。建设内容数据安全主要内容包括：客户的隐私保护，采用加密等技术手段对涉及的隐私信息进行防护。数据权限控制，对用户的数据访问权限进行细粒度的控制管理。隐私信息配置，提供隐私数据的配置服务，为隐私数据的转化服务提供识别依据。隐私信息转化，为数据治理相关环节提供隐私信息的去隐私化或还原服务。日志记录服务，对数据治理各环节所产生的日志记录进行获取并整理。应用权限控制，为用户的应用功能访问权限的控制管理提供服务。离线文件加密服务，对后台的数据导出行为控制提供数据文件的加密服务。边界关系数据安全关注数据治理过程中与数据相关的安全保障技术及相应的管理办法，包括：数据权限控制、数据去隐私化、数据加解密等。数据安全为数据治理各环节提供数据安全保障机制及技术手段，重点关注数据治理过程中大数据平台访问策略及数据资产环节的安全保障，示例如下：1、数据安全对大数据平台的访问账号、功能权限进行安全保护，如：大数据平台的账号管理；大数据平台敏感行为的控制管理；大数据平台数据去隐私化；2、数据安全对资产管理涉及的数据及业务过程行为进行数据安全保护，并实现相关的安全防护工作，如：数据资产的增加、删除、变更过程的数据权限控制工作；数据使用过程中的防泄漏保护工作；数据资产变更过程的记录及追踪；数据粒度的权限控制管理；相关系统应用、数据访问行为的日志记录等工作；技术功能数据安全需求图STYLEREF1\s616数据治理全程的安全需求数据安全需求如REFOLE_LINK29\h图616所示。数据存储：存储设备访问控制：身份识别、权限控制、访问控制、操作审计、金库模式；数据安全防护：数据脱敏、数据加密；数据处理：数据安全防护：业务逻辑安全；数据封装：数据安全防护：数据最小化、数据脱敏、数据文件加水印；数据使用：接入安全控制：身份识别、权限控制、访问控制、操作日志；数据安全防护：数据脱敏、数据加密、传输通道加密。数据安全管理办法从数据层面为大数据平台提供安全防护能力，包括数据层的大数据平台核心数据防护措施和配套安全系统等。所有软硬件设备均需要能够满足XXX公司所提出的各项安全功能规范要求，具体详见规范性引用文件。管理要求隐私信息保护管理措施隐私保护的重要管理制度是三权分立管控制度。三权是指：数据库管理权限、隐私数据安全管理权限以及审计权限。三个权限分别掌握在不同的管理员手上，三个管理角色的权限相互独立、互不重叠，不允许越权，且相互制衡。三权分立管控制度示意图如REFOLE_LINK30\h图617所示：图STYLEREF1\s617三权分立制度数据库管理员（DBA）角色：数据库管理员主要负责大数据平台的维护和管理，数据库设计方案及规划。DBA拥有数据库最高的操作权限。经过隐私保护实施后，数据库中将不包含任何隐私信息。DBA角色能够获取所有的数据但无法读懂隐私信息，DBA无法获取隐私信息保护的策略和密钥信息。安全管理员（SA）角色：是隐私数据保护专用管理角色，主要负责获取隐私信息属性，管理和配置去隐私处理的策略和密钥信息，制定版本更新计划和历史版本归档工作。SA掌握所有去隐私处理使用的策略和密钥，但SA没有访问大数据平台任何主数据库的权限，无法获取隐私信息。审计专员角色：属于4A管理平台的专门的事后审计管理角色，审计专员有权限对DBA和SA的任何操作进行审计。一旦发现违规的行为可以及时通告和升级处理。建立三权分立管控制度的目的就是要建立权力制衡的机制，进一步保证隐私信息的安全。各省分公司实施过程中，必须要明确三个角色权限由不同的人员担任，三个角色的权限不能有任何的设置重叠，需配套建立相应版本更新、数据需求、后台运维、日志审计管理流程。隐私数据安全原则对大数据平台开发及维护人员进行常态化的客户隐私数据相关安全管理制度及相关知识的宣贯，加强相关人员的安全意识。隐私数据安全知识包含但不限于如下内容：《中华人民共和国刑法修正案（七）》、《中华人民共和国电信条例》等国家法律法规中有关信息安全及泄露或出售公民个人信息行为的相关规定；总部下发的“五条禁令”及违规判定相关文件，并且签订“保密承诺书”相关文件；总部下发的《客户信息安全保护管理规定》、《第三方安全管理办法》等相关管理办法；电信企业近年来发生的客户信息泄露相关案例；各省公司内部的客户信息安全保护管理规定。日志审计管理流程 审计员需定期对程序运行日志和用户操作日志进行安全审计和检查工作，并形成正式的审计报告。通过对日志中涉足敏感区域访问的行为以及客户隐私数据的访问日志进行详细分析，初步判断是否危及信息安全，若有安全问题的可疑情况，需及时上报相关领导，并触发后续处理流程。日志审计场景如REFOLE_LINK31\h图618所示：图STYLEREF1\s618日志审计流程图安全保障制度安全策略集中管理大数据平台需要综合考虑系统安全管理策略，做到集中管理、集中修订、集中更新安全规则，从而实现统一的安全策略实施，安全管理员可以在中央控制端进行全系统的监控。其具体要求如下：各安全产品应具备集中管理功能，可以支持远程的配置、修订安全规则；应支持系统范围内集中的用户帐户管理，包括帐户的创建、删除、修改、角色划分、权限授予等工作；应提供必要的手段，能够对整个XXX大数据平台中出现的任何涉及安全的事件信息及时通报给指定管理员，并保存相关记录，供日后查询；应提供单次登录服务，允许用户只需要一个用户名和口令就可以访问系统中所有被许可的访问资源。应提供必要的手段，能够对外网访问策略进行管理，加强外网接口服务器的访问策略管理工作。应提供移动终端应用上线审批的管理，对于用户的访问权限和访问内容提供相应的管理措施。安全保障要求系统安全保障要求如下：按照大数据平台的实现应用流程以及机构的设置，严格划分所有用户的角色，并据此设定不同的权限，确保用户只能访问权限许可范围内的资源；禁止在生产系统中使用未经批准的应用程序，禁止在生产系统上加载无关软件，严禁擅自修改系统的有关参数；用于开发、测试的系统必须与生产系统严格分开；监视系统运行记录，及时审查日志文件，认真分析告警信息，及时掌握运行状况，对系统可能发生的故障做好应急方案；软件程序的修改或增加功能时，须提出修改理由、方案、实施时间，报上级主管部门批准；程序修改后，须在测试系统上进行调试，确认无误经批准后方可投入生产应用；软件修改、升级前后的程序版本须存档备查，软件修改、升级时须有应急补救方案；建立严格的机房安全管理制度，非工作人员未经许可不准进入机房，任何人不准将有关XXX大数据平台资料泄密、任意抄录或复制。项目实施安全要求系统建设阶段：系统建设阶段，开发商必须与移动公司签订系统建设/实施的保密协议，确保系统的建设内容不会被泄漏出去；实施系统的开发商项目组人员要和建设单位签署个人保密协议，避免将系统的建设内容向外界透露；提供给实施系统的开发商的测试数据不能外泄。系统运行阶段：用于开发、测试的系统必须与生产系统严格分开；系统运行后，必须由本公司的内部正式员工负责系统运行的各种实际数据，从而安全地进行控制和使用；系统运行后，系统上需要严格划分所有用户的角色，并据此设定不同的权限，确保用户只能访问权限许可范围内的资源；系统运行后，系统涉及所有数据库的管理和对表、视图、记录和域的授权工作统一由数据库管理员执行。数据治理场景背景描述移动业务发展多年，在多年的用户发展和经营中，积累了大量的用户数据。特别是移动互联网的兴起，带来了海量实时的用户行为信息，具备极高的商业价值。在未来的大数据生态中，移动作为海量数据的拥有方和大数据平台的承建方，占据核心地位，可以为多个行业甚至政府、公安、交通等部门提供多种形式的数据资产服务，如REF_Ref428628609\h图71所示。图STYLEREF1\s7SEQ图\*ARABIC\s11移动大数据生态圈以移动大数据平台为核心，提供多样化的数据资产服务，满足航空、保险、银行等行业不同的数据要求。如下有两个具体的数据资产开放场景，为大家展示完整的移动内外部的业务流程。场景一：银行伪卡交易判别背景介绍银行信用卡盗刷一直以来都是银行非常头疼和难以解决的问题。由于磁条卡复制容易，制作成本低，导致市面上出现大量伪造信用卡。尤其国内旅客在国外消费时，无需输入密码，更加方便了伪卡的制作，从而增加了伪卡交易的几率。每年银行都会因为伪卡交易的问题，白白损失掉许多资产。能否判断信用卡是否是本人交易，成为鉴别伪卡交易的关键点。如果能够在信用卡交易的同时，通过客户的手机位置信息与交易地点进行匹配，那么可大大提升伪卡交易的发现几率，并可及时进行相应的后续处理。场景描述 国内某银行与移动进行数据合作，建立数据合作平台，进行伪卡交易的判断和验证。流程如REF_Ref428628666\h图72所示：图STYLEREF1\s7SEQ图\*ARABIC\s12判别流程A用户在POS上刷卡交易后，银行收到交易请求，发送用户手机号码到数据服务平台，进行请求查询。数据服务平台传递数据查询请求，大数据平台实时采集获取该内该手机号码的位置信息。移动大数据平台采集该手机号码的位置信息后，通过标准化处理和元数据的约束形成标准化数据。标准化数据经过平台数据定价和评估模型，产生有价值的数据资产。数据资产通过预先配置好的数据质量检查规则，形成待服务数据。满足数据质量要求的数据资产经过平台相应数据安全机制验证，输出数据结果并反馈给对端银行系统，判断此笔交易是否为伪卡交易。场景二：银行手机贷业务背景介绍银行的贷款业务是银行收入的重要支撑，但是由于贷款人信用状况多维性和复杂性，银行无法准确判断每个贷款人的信用情况。以至于每年都会有许多的坏账出现，非常影响银行的收益。全面获得贷款人的征信信息，对于银行来说，非常重要。移动具有其客户多年的消费以及通讯数据，从消费能力和交往圈可以有利的支撑客户的信用状况，从而作为银行贷款客户的重要征信依据，移动对该贷款人的信用报告可有利的支撑贷款业务，从而降低银行贷款的风险。场景描述 某银行与移动公司合作推出了手机贷业务，通过手机贷APP终端，可方便的进行无抵押小额贷款。 流程如REF_Ref428628695\h图73所示：图STYLEREF1\s7SEQ图\*ARABIC\s13手机贷流程用户在得到手机贷业务的宣传后，下载安装并实名注册手机贷客户端。APP进行注册后，手机贷APP进行授信请求的推送。用户同意授信后，APP后台发送数据请求到移动大数据平台。大数据平台以该手机号码为关键字，进行用户相关信息的采集和解析。采集后的数据通过数据标准化要求进行数据预处理，通过标准化处理和元数据的约束形成标准化数据。标准化数据经过平台数据数据定价和评估模型，产生有价值的数据资产。数据资产通过预先配置好的数据质量检查规则，形成待服务数据。满足数据质量要求的数据资产经过平台相应数据安全机制验证，产生评估结果。满足评估结果的用户会收到APP的相应推送消息，用户可进行后续的贷款预约和准备，贷款结束。附录附录一：数据标准框架图81数据标准管理框架 数据标准管理的整体框架如所示，包括数据标准规划、数据标准化实施、数据标准支撑三大部分内容。 数据标准规划按照企业级省大数据平台数据治理的规范需求，构建省级数据标准体系，并规划制定数据标准化的实施路线和方案，逐步对企业级省大数据平台数据进行统一标准化数据管理。 数据标准化实施基于数据标准规划，通过数据标准支撑模块，达到数据标准的执行落地，并真正起到数据标准的管理效果。 通过对数据标准化实施过程的支撑，建立数据治理组织架构，制定省级数据标准管理办法和实施流程要求，并最终通过数据标准管理工具进行建设。附录二：数据标准体系定义内容示例1、行业参考模型实体标准定义内容示例：标准定义说明数据标准编码V1000000000分层基础层标准主题事件域标准子类信令中文名称LTE网络S10/S11接口信令英文名称OSS_NES_I_S10S11_XDR_DAY实体编号CYR_ST_002数据版本V1.0数据体系分类行业参考模型实体定义类重要级别一级。数据提供部门网络部数据提供部门负责人张三数据维护部门数据治理中心数据维护部门负责人李四业务主管部门市场部业务主管部门负责人王五数据来源系统网络优化平台系统主要依据参考集团规范《