电信网和互联网数据溯源技术规范

电信网和互联网数据溯源技术规范本文件规定了电信网和互联网数据溯源的技术要求与测试方法。本文件适用于指导电信网和互联网开展数据溯源能力建设及管理，也适用于监管部门第三方机构等组织对数据溯源能力进行监督和评估。2规范性引用文件下列文件中的内容通过文中的规范性引用而构成本文件必不可少的的引用文件，仅该日期对应的版本适用于本文件；不注日期的引用文件，其最新版本(包括所有的修改单)适用于本文件。GB/T34945—2017信息技术数据湖源描述模型GB/T34945—2017界定的以及下列术语和定义适用于本文件。根据数据在整个生存周期内(从产生、传播到消亡)的演变信息和演变处理内容的记录推演数据演变情况的过程。推演数据演变情况所依据的演变信息和演变处理内容的记录。4缩略语下列缩略语适用于本文件。5.1数据溯源类型按照回溯目标不同，数据溯源通常分为数据衍生关系溯源和数据流转路径溯源5.2数据衍生关系溯源数据衍生关系溯源是根据数据在整个生存周期内(从产生、传播到消亡)的演变信息和演变处理内容的记录，推演数据衍生关系的过程。产生数据衍生关系的操作包括数据表的建立、修改等，涉及到数据的收集、存储、使用、加工、提供、删除等活动推演数据衍生关系一般可通过分析日志记录等方式开展。5.3数据流转路径溯源数据流转路径溯源是根据数据在不同系统间，或在同一系统的不同节点之间流转过程的记录，推演数据演变情况的过程。产生数据流转路径的操作包括系统节点间的数据访问、系统间的数据访问等。推演数据流转路径一般可通过分析日志记录的方式开展，适用于组织机构内部。当数据离开组织机构内部进行流转时，外部日志记录难以获取，则需要通过数据水印、文档指纹等技术完成数据路径溯源。不同场景下的数据溯源技术实现方式见附录A。6数据衍生关系溯源6.1溯源对象数据衍生关系溯源的溯源对象可以为表名、字段名等元数据，不包含数据内容。数据衍生关系溯源在开展数据收集、数据存储、数据使用、数据加工、数据传输、数据提供、数据公开等数据处理活动的同时，同步记录并更新溯源信息。针对待溯源的数据，按需获取、分析相应的溯源信息，推演数据衍生关系并进行展示，具体过程示例见图1。需获取、分析相应的溯源信息，推演数据衍生关系并进行展示，具体过程示例见图1。数生关系溯源信息由“数据-活动-执行实体”三个基本构件组成，数据包括“数据集”和“参数”子类；活动指生成数据、使用数据或触发其他活动的动作；执行实体包括“人类执行实体”和“非人类执行实体”,各构件及子类之间关系参考GB/T34945—2017第三章的相关描述。记录测源信息过程中每个构件内容应包括：a)数据构件应包括但不限于数据库名称、数据表名称、数据字段名、字段类型，存储位置，数据表的创建时间、创建账号、创建时使用的参考数据表、来源数据表：b)活动构件应包括但不限于：对数据集的操作名称(如创建、复制、修改、删除)、操作时间、操作涉及的其他数据集等；c)执行实体构件应包括但不限于：操作账号或操作人、操作接口。6.4湖源信息管理要求6.4.1湖源信息获取溯源信息获取应满足以下要求：a)溯源信息获取应支持自动化获取和手动生成两种方式：b)自动化数据源信息获取可通过提取访问SQL语句、解析数据ETL任务、日志分析等方式中的任意一种或多种实现，溯源信息的获取过程应保持对业务透明，不应影响业务对数据的正常访问、使用：c)当数据发生修改时，更新溯源记录6.4.2溯源信息存储溯源信息存储应满足以下要求；a)溯源信息应单独存储，不影响原始数据结构b)应对溯源信息实施访问控制等安全措施，确保有权限的用户才能访问相关数据；c)应对溯源信息进行备份并定期更新；d)应支持溯源信息的脱敏展示；e)溯源信息至少保存六个月，到期后可自动或手动删除；0对溯源数据的增加、修改、删除等操作，系统重要的运维操作进行日志记录并定期进行审计，对可能造成数据泄露、数据丢失、数据破坏等风险的操作进行提示，输出审计报告并保存六个月。数据衍生关系回溯，应满足以下要求：a)能够支持对表级别、列级别的原始数据之前的衍生关系进行展示，其中衍生数据(如来源的表或字段)支持表级别、列级别b)支持展示对溯源对象的所有操作，包括操作名称、操作时间、操作账号等；c)展示方式支持湖源记录查看和图形化追溯过程展示。7数据流转路径溯源7.1湖源对象数据流转路径溯源对象可以为数据表、数据字段、不同格式的文件等，是以原始数据作为溯源对象进行溯源。数据流转路径溯源在开展数据收集、数据存储、数据使用、数据加工、数据传输、数据提供、数据公开等数据处理活动的同时，同步记录并更新溯源信息。针对待溯源的数据。按需获取、分析相应的溯源信息，推演数据流转路径并进行展示，具体过程示例见图2。图2数据流转路径溯源流程7.3湖源信息记录要求针对数据在大型系统内流转，或组织机构内部不同系统内流转的情况，数据流转路径测源的溯源信息主要内容包括“数据-活动-执行实体”三个基本构件，具体包括：a)数据构件应包括：待回溯的原始数据集：b)活动构件应包括但不限于：访问数据的服务器IP、位置、所属组件、操作时间等：c)执行实体构件应包括但不限于：操作账号或操作人、操作接口。7.4湖源信息管理要求7.4.1溯源信息获取数据流转路径溯源信息的获取可通过提取访问数据的SQL语句或分析操作日志获取，获取过程应满足以下要求：a)溯源信息获取应支持自动化获取和手动生成两种方式；b)自动化数据源信息获取可通过提取访问SQL语句、解析数据ETL任务、日志分析等方式中的任意一种或多种实现，溯源信息的获取过程应保持对业务通明，不应影响业务对数据的正常访问、使用；c)当数据发生修改时，更新溯源记录7.4.2湖源信息存储测源信息存储应满足以下要求：a)溯源信息应单独存储，不影响原始数据：b)应对溯源信息实施访问控制等安全措施，确保有权限的用户才能访问相关数据；c)因溯源信息包含原始数据内容，溯源信息的防护级别、防护手段应与原始数据相同d)当原始数据因业务下线、到达保存期限等原因删除时，测源信息应同步删除；c)应支持溯源信息的脱敏展示；0应对溯源信息进行备份并定期更新；g)对溯源数据的增加、修改、删除等操作，系统重要的运维操作进行日志记录并定期进行审计，对可能造成数据泄露、数据丢失、数据破坏等风险的操作进行提示，输出审计报告并保存个月。数据流转路径溯源的回溯主要对数据流经的节点进行展示，应满足以下要求：测试目的：验证湖源信息能够通过手动、自动方式生成2)选择数据库，加载待测试数据1,选择自动生成溯源信息，3)选择数据库，加载待测试数据2,选择手动生成溯源信息4)对加载的测试数据进行修改操作，回到湖源系5)对加载的测试数据进行删除操作，回到湖源系1)溯源系统可对加载的数据自动生成溯源信息，溯源信息结构满足6.2要求：2)可提供页面手动输入溯源信息，溯源信息结构满足6.2要求；测试编号：6.4.2-a)1)待测试数据准备就绪；4)准备测试数据库普通权限账号，可查看数3)登录溯源系统数据库，查看溯源信息存储情况，得到预期结果1:25)登录测试数据库，对数据进行删除操作；1)溯源信息单独存储；测试编号：6.4.2-b)2)准备溯源系统普通权限账号和具有溯源信息访问3)准备溯源信息备份系统的普通权限账号和具有访问备份信息4)准备溯源信息系统承载主机普通账号和1)登录溯源系统，使用普通账号登录溯源系统，查看溯源信息，得到预期结果1;3)使用普通权限登录备份系统，查看备份数据，得到预期结果3;4)使用具有访问备份信息权限的账号，查看备份数据，得到5)通过溯源信息系统主机的普通权限访问溯源系统数据库文件6)通过溯源信息备份系统主机的普通权限访问备份数据文件，得到预期结果1)溯源信息实施了访问控制，普通账号无法查看溯源信息2)溯源信息实施了访问控制，仅具有溯源信息访问权限的账号可查看溯源信息；3)对溯源信息备份数据实施了访问控制，普通账号无法查看备份数据；4)对溯源信息备份数据实施了访问控制，仅具有访问权限的账号可查5)溯源系统主机普通权限无法访问溯源信息数据库文件；2)待测试数据准备就绪；3)登录测试数据库，执行新增或删除等操作；测试编号：6.4.2-d)2)查看备份数据与备份操作记录，看到预期结果1。1)溯源备份数据为定期更新，备份记录可看到定2)打开数据溯源信息生成页面，生产溯源信息；测试编号：6.4.2-f)1)测试数据库接入湖源系统；1)登录溯源系统设置溯源信息保存期限(如1天);3)登录溯源系统，尝试删除未到期溯源信息果3.测试编号：6.4.2-)个月1)测试数据库接入溯源系统；2)查看溯源系统高风险提示信息，得到预期结果1;3)查看溯源系统审计报告，得到预期结果2:测试目的：验证回溯支持表级别、列级别的1)登录溯源系统，筛选某一种数据表进行回湖，查看溯源记录，得到预期结果1:2)登录溯源系统，筛选某一个字段进行回湖，查看湖源记录，得到预期结果2。3)登录溯源系统，筛选某一种数据表进行回湖，查看衍生视图4)登录溯源系统，筛选某一个数据列进行回湖，查看衍生视图，得到之间的生成关系等，溯源记录和过程回湖满足6.2溯源信息记录的要求；3)溯源系统回湖，能够按照表级别进行图形化展示数据之间的衍生；测试目的：验证湖源信息能够通过手动、自动方式生成2)准备集群1和集群2,两个可互相访问；1)启动溯源系统，打开数据溯源信息生成页面；结果1:果2:4)集群1中的待测试数据导出到集群2中进行存储，再从集群2导出到集群1)溯源系统可对加载的数据自动生成溯源信息，溯源信息结构满足7.2要求：2)可提供页面手动输入溯源信息，溯源信息结构满足7.2要求：3)溯源信息中自动添加数据从集群1到集群2,集群2到集群3的记录：1)选择测试数据，将测试数据备份；1)测试数据形成湖源信息后原始结构和内容测试编号：7.4.2-b)2)准备溯源系统普通权限账号和具有溯源信息访问3)准备溯源信息备份系统的普通权限账号和具有访问备份信息4)准备溯源信息系统承载主机普通账号和1)登录溯源系统，使用普通账号登录溯源系统，查看溯源信息，得到预期结果1:3)使用普通权限登录备份系统，查看备份数据，得到预期结果3;4)使用具有访问备份信息权限的账号，查看备份数据，得到5)通过溯源信息系统主机的普通权限访问湖源系统数据库文件，得到预期结果5;6)通过溯源信息备份系统主机的普通权限访问备份数据文件，1)溯源信息实施了访问控制，普通账号无法查看湖源信息；2)溯源信息实施了访问控制，仅具有溯源信息访问权限的账号可查看溯源信息；3)对溯源信息备份数据实施了访问控制，普通账号4)对溯源信息备份数据实施了访问控制，仅具有访问权限的账号可查5)溯源系统主机普通权限无法访问溯源信息数据库文件；测试编号：74.2-c)2)查看数据集1的溯源信息：3)查看数据分类分级目录，查找数据集1的分级信1测试编号：7.4.2-d)5)登录溯源系统设置测源信息保存期限(如1天);7)登录溯源系统，尝试删除未到期溯源信息果3.3)溯源信息未到期，不能够被手动删除；测试编号：7.4.2-e)1)溯源系统正常运行；5)打开数据溯源信息生成页面，生产溯源信息；测试编号：7.4.2-f)1)使用管理员账号登录系统；测试编号：7.4.2-g)个月1)测试数据库接入湖源系统；2)溯源系统已生成湖源信息；1)登录溯源系统对湖源测试数据进行增加、修改、删除操作；2)查看溯源系统高风险提示信息，得到预期结果1;3)查看溯源系统审计报告，得到预期结果2;2)溯系统能够定期生成审计报告，且信息没有遗漏；1)数据库中存储的数据已经形成溯源记录；1)从己完成溯源记录的数据中选择一张数据2)从步骤1)的数据表中选择一个字段进行回溯，3)从已完成溯源记录的数据中选择一个文档，点击回测，看到预期结果3。典型场景下的数据溯源A.1大数据平台内部的数据潮源基础电信企业通过建设集团/省专业等多级大数据平台，对其在生产和运营过程中产生的大量数据进行集中存储和使用。这些数据包括用户相关数据，如身份数据、服务内容数据和用户服务衍生数据等企业自身数据，如网络与系统类数据、企业管理类数据、合作伙伴数据等等。这些数据来源于不同的业务系统，支撑电信企业内部的各类生产经营活动，并会以结构化或非结构化形式进行存储。这些数据在大数据平台内部经过采集、预处理、转换、存储和使用等处理过程，经由多个组件进行数据处理，宜展开以衍生关系为主的溯源，流转关系溯源可同时开展。在大数据平台中，会有多种组件同时存在，支撑多个业务系统运行，适合建立独立的溯源模块对整个平台的数据集进行统一溯源管理。大数据平台中开展衍生关系溯源，对数据在数据库中和跨数据库的活动均提供溯源能力，通过直接记录并结合日志分析的方式实现。为有效对数据使用进行管控，宜通过数据流转路径溯源提供数据在集群中不同节点间的流转记A.2数据跨平台共享时的数据潮源基础电信企业具有业务线条多、数据系统数据量大且分散的特点。为了支撑