交通行业数据共享和分析服务平台建设需求

交通行业数据共享和分析服务平台建设需求一、项目概况及内容与本项目相关信息系统介绍本项目涉及系统对接，主要对接大数据平台和信息安全管控平台，系统对接过程中涉及在现有系统源代码基础上开发的，采购人可提供源代码、数据字典、说明书等技术资料供服务单位使用，同时负责提供对接所需的原系统相关技术资料及相关协调工作，费用由服务单位承担。两个系统情况说明如下：大数据平台本文件所指的大数据平台，是指基于交通行业数据共享和分析服务平台和交通数据资源与分析模型服务系统的整体建设成果，共同构成的统一的大数据平台。本项目将对大数据平台的1000多张数据表约3万个字段数据进行分类分级管理，对敏感数据发现、确认与标记，输出数据分类分级结果，并根据数据安全分级防护规范与要求，对数据配置差异化的安全监测与防护策略以及管理措施。交通行业数据共享和分析服务平台介绍项目完成了数据资源目录梳理，数据标准规范的制定，数据资源库设计及建设，数据采集、标准化和数据管理功能，基于ESB的数据共享功能，交通行业数据统计及应用服务功能，平台二次开发环境搭建，接入平台的外部系统数据共享接口改造，交通行业数据主题分析与展示功能，平台监控功能，平台管理等建设内容。交通行业数据共享和分析服务平台构建市交通行业数据标准规范、数据资源目录、数据资源共享和基础应用服务等核心体系，实现市交通行业结构化数据的管理及共享。统筹管理全市交通行业数据资源和信息化系统的数据共享；实现交通行业数据与市信息共享平台的共享；有效提升交通行业管理水平，加强交通信息资源管理，实现跨部门、跨系统和跨单位的信息共享和业务协同。平台主要功能如下表：序号功能模块功能说明1数据资源目录梳理对系统进行调研，根据要求建设资源目录。2数据标准规范的制定为平台建立数据项标准、数据共享交换标准等内容。3数据资源库设计及建设为平台建立基础库、标准库、关联库，并对建设的资源库做数据的整合与优化。4数据采集、标准化和数据管理功能对市交通运输的单位数据行采信、对原有的新增数据项进行管理包括申报、审核、变更等内容。5基于ESB的数据共享功能为平台建立一套共享服务，为市信息共享平台提供数据交换，为提供数据共享。6交通行业数据统计及应用服务功能提供数据的统计功能和报表展示功能可通了解平台的实际情况，并提供一些基础应用服务。7平台二次开发环境搭建搭建一个面开发人员的二次环境，开发一些基础的应用服务。8接入平台的外部系统数据共享接口改造完成对需要将数据接入共享平台的系统进行数据共享接口改造。9交通行业数据主题分析与展示功能建设对应的业务分析模型。10平台监控功能建设平台监控功能，运维人员可通过平台实时查看数据的流向与实际工作情况。11平台管理为平台建设用户管理、权限管理、信息管理功能。交通数据资源与分析模型服务系统介绍项目完成了交通数据资源目录管理应用、交通基础信息资源管理应用建设、交通联合分析管理应用、交通分析知识管理应用、系统接口等建设内容。交通数据资源与分析模型服务系统进一步完善和夯实数据质量、数据目录衔接、交通要素信息等基础数据资源整合，搭建数据分析支撑环境，为交通数据创新分析、模型制定和知识沉淀等方面进一步奠定基础，促进“创新管理、创新决策、创新服务”的关键性支撑作用。系统主要功能如下表：序号功能模块功能说明1交通数据资源目录管理应用包含目录编目管理、目录注册服务、目录服务、目录同步和应用域管理。2交通基础信息资源管理应用建设包含交通基础信息内容管理、全局归集中心、信息资源服务。3交通联合分析管理应用包含分析任务调度管理、分析过程管理、分析结果管理。4交通分析知识管理应用包含分析模型构建管理、分析模型管理、分析算法管理、模型和算法评价管理。5系统接口包含市大数据综合应用管理平台接口（本方）对接、与相关内部系统对接。信息安全管控平台信息安全管控平台将的重要信息系统做统一安全纳管，对归集的海量安全数据进行关联分析和智能学习，形成威胁感知和安全告警能力，纳管云上云下主要系统，对下属单位实现安全监管，并对平台监测预警、安全分析、联动防护、日常管理等功能进行优化和补充，平台分两期建设。信息安全管控平台一期信息安全管控平台一期项目于2018年建设。信息安全管控平台一期包含安全信息采集管理、安全事件管理、安全风险监测、安全预警管理、安全响应管理、安全信息展示、系统基础管理、系统接口等建设内容。信息安全管控平台二期信息安全管控平台二期于2021年建设。主要包含平台授权和性能扩容、流量采集探针、日志采集探针、网站监测模块、终端安全检测与响应模块、远程接入管理模块、安全检查评估模块、平台功能定制开发及优化等建设内容。信息安全管控平台二期流量监测覆盖了局系统所有直属单位，与全市统一安全运营服务平台实现联动互补，对市交通运输局信息系统进行安全管理、实时监测、封堵恶意IP、发出告警工单等，有效防范和处置信息安全风险，保障重要信息系统安全稳定运行，形成统一、智能、高效的信息安全运营能力。信息安全管控平台主要功能如下表：序号功能模块功能说明1平台授权和性能扩容对安全管控平台进行扩容，将主要信息化系统及下属单位核心系统都接入平台，平台功能模块进行扩展。通过对安全数据、情报的扩充采集，进一步提升对整体网络安全能力，并能掌握更深、更细致的网络安全态势，充分、真实反映网络安全状况。2流量采集探针增加流量采集探针，实现对本地、云端、下属单位流量进行安全监测。3日志采集探针增加日志采集探针，对监管资产的日志进行采集和标准化处理，规则匹配，智能关联分析。3网站监测模块实现及下属单位互联网网站的持续安全监测。4终端安全检测与响应模块提升本地及市政务云端主机安全防护能力。5远程接入管理模块采用SDP技术，实现远程电脑或移动终端安全的访问业务及办公系统。6安全检查评估模块支持主机漏洞扫描、WEB漏洞扫描、基线核查，实现对纳管的业务系统及资产进行安全评估，可按照等保及关键基础设施等安全防护要求定期对信息资产进行安全评估并形成检查报告。7平台功能定制开发及优化资产安全检查评估、安全报表查询输出、安全态势感知大屏、网站安全监测管理、应急预案管理、联动防护等功能定制开发及优化，进一步提升网络安全处置效率。项目建设目标在大数据治理以及网络安全建设基础上，充分发挥“技防”和“人防”作用，建设大数据平台数据分级治理及安全防护系统，建立健全数据分级治理以及数据安全管理体系，对大数据平台资源进行数据分类分级治理，实现对不同类别不同级别的数据采取差异性防护措施，提升数据的安全性及数据安全管理水平。具体目标如下：（一）对数据进行分类分级，形成交通数据分类分级清单，搭建数据分类分级与风险评估子系统，在数据分类分级规范基础上实现大数据平台海量数据分类分级。（二）实现数据分级防护，对不同级别的数据采取差异化保护措施。在对大数据平台海量数据分类分级基础上，融合数据安全监控、数据脱敏、数据防护等技术，构建“数据安全监测”、“数据安全防护”以及“数据安全管理”三位一体的数据安全保障能力，实现对敏感数据重点防护、重要业务数据严格保护，把该管的管住、该放的放开，积极有效防范和解决敏感数据泄露、数据违规操作、数据异常流转等数据处理活动中的数据安全问题。（三）加强数据共享保障，实现数据高效合规共享与安全应用。搭建数据质量监测子系统，从多个维度实现对大数据平台数据质量进行监测和评价，进一步提升数据质量，同时针对数据资产化、资产服务化、数据分析探索等数据共享和数据应用场景提供数据安全防护能力，促进数据高效合规共享与应用创新。项目建设内容2024年大数据平台数据分级治理及安全防护系统建设项目建设内容如下所示：表1.1建设内容一览表序号系统名称功能模块功能说明备注1大数据平台数据分级治理及安全防护系统（新建）定制软件开发服务数据分类分级与风险评估子系统数据源管理数据源配置按国产化适配技术要求实施2数据源导入管理3数据源管理展示4资产发现配置任务5任务管理6资产扫描7任务变更8资产报表分析9分类分级配置行业模板管理10规则因子管理11规则配置12策略配置13分类分级模型管理模型管理14模型版本管理15分类分级管理数据分类分级任务管理16分类分级规则执行17分类分级模型执行18分类分级结果输出19分类分级任务检索20手动终止任务21任务执行结果管理22分类分级报表分析23数据分类分级目录数据源视角展示24分类分级结果目录25行业模板目录26敏感数据目录27数据风险评估任务列表管理28风险扫描29任务查询30任务编辑31图表分析32数据质量监测子系统数据质量监控监控规则管理33内置规则模板管理34监控任务管理35新建监控对象36监控任务调度37监控执行管理38质量监控总览39质量告警管理告警配置40告警通知组管理41告警记录管理42告警外发43表质量评价表质量分析44表质量报告输出45问题和修复表问题管理46表问题修复47数据安全风险应用层防护数据服务防护服务应用管理48加密算法管理49服务加密传输50敏感数据加密51接口服务限流52接口调用解密53服务期限管控54数据权限管控55服务开发防护56接口访问监控57数据资源防护用户分级58数据资源分级管控59敏感标签关联60数据资源脱敏61数据资源访问管控62数据资源共享管控63数据资源申请管控64数据搜索防护主数据应用管理65云搜管控66主数据字段管控67全息图谱数据管控68敏感数据脱敏显示69数据分析防护分析组件配置70用户组管理71组件权限配置72数据读取管控73数据输出管控74模型分享安全管控75数据安全风险处置子系统资产档案网络资产管理76数据资源管理77应用管理78人员账号管理79部门管理80信息采集数据安全信息接收81数据安全信息解析82数据安全信息标准化83数据安全信息过滤处理84数据安全信息聚合处理85数据安全信息缓存86状态检测处理87通信服务组件配置88关联引擎管理89日志代理管理90场景监管业务建模91业务场景分析92规则模型规则管理93预设模型管理94风险管理告警管理95隐患管理96研判分析97事件管理98风险处置安全工作台99工单管理100预警管理101安全报告管理102合规中心安全知识库建设103安全合规检查104数据安全融合分析数据安全总览105敏感数据安全分析106共享数据安全分析107系统对接大数据平台对接108信息安全管控平台对接109商品化应用软件服务数据安全风险监测数据库安全监测系统支持多种数据库协议监测满足国产化适配要求110风险监测111三层关联112查询分析113特殊业务场景支撑114报表分析115API安全监测系统传输文件还原116账号身份关联117敏感操作还原118API数据资产梳理119API资产分类分级120API数据资产全景121风险策略定制122账号行为监测123安全风险分析124数据安全风险底层防护数据静态脱敏系统敏感数据自动发现125脱敏算法管理126数据抽取配置127保证数据完整性128保证业务逻辑关联性129保证数据原始特征130水印与溯源131保证数据保密性132断点续传133脱敏报表分析134数据动态脱敏系统数据识别135数据访问控制136动态脱敏137运维审批138虚拟补丁防护139审计和告警140丰富的内置报表141多设备联动与功能开放142数据安全分类分级实施数据资产梳理143元数据采集144数据分类分级定制软件开发服务数据分类分级与风险评估子系统数据分类是数据保护工作中的一个关键部分，是建立统一、准确、完善的数据架构的基础，是实现集中化、专业化、标准化数据管理的基础。通过对交通行业数据按照统一的数据分类方法，依据自身业务特点对产生、采集、加工、使用或管理的数据进行分类，可以全面清晰地厘清数据资产，对数据资产实现规范化管理，并有利于数据的维护和扩充。数据分类为数据分级管理奠定基础。数据分级是以数据分类为基础，采用规范、明确的方法区分数据的重要性和敏感度差异，并确定数据级别。根据《数据安全管理办法》及数据实际应用情况，可以将数据的安全级别从高到低分为核心数据、重要数据、敏感数据、一般数据4个级别。（1）核心数据：一旦遭到泄露、篡改、毁损、非法使用或共享，可能直接危害政治安全或对国家安全和其他领域安全造成严重危害的数据。（2）重要数据：一旦遭到泄露、篡改、毁损、非法使用或共享，可能直接危害国家安全、经济运行、社会稳定、公共健康和安全的数据。（3）敏感数据：除重要数据、核心数据以外，涉及100万人以上个人信息或10万人以上个人敏感信息的数据。（4）一般数据：除重要数据、核心数据、敏感数据以外的其他数据。实际使用过程中应根据数据的重要性、敏感性、风险性和对业务的影响程度，以及个人信息保护要求，对现有的数据（含个人信息）实施分级管理，管理要求应参照《数据安全管理办法》及其他数据安全相关政策法规。通过智能化手段，基于分类分级规则配置，实现对大数据平台的海量数据资产进行自动数据发现、敏感数据识别，结合人工对自动识别的结果进行确认，从而快速了解数据的分类、等级、敏感性等整体情况，使用数据分类分级标准规范为依据，评估区分数据的重要性和敏感度差异，并确定数据级别。建设数据分类分级与风险评估子系统对系统数据进行自动数据发现、敏感数据识别且可以使用系统支持或用户导入的法规标准进行分类分级操作，生成数据资产目录。系统支持多种识别规则模型，如：基于深度学习+条件随机场的命名实体识别模型，可以更准确、高效的识别中英文姓名、地址、机构名称等。基于NLP技术的文本识别模型、判断敏感文本数据，如：身份证等。此外还支持传统的正则表达式、字典等识别规则。用户可以从不同维度感知到敏感数据情况，如：某个数据库包含多少敏感表、敏感字段、敏感等级。也可以知道单一敏感项的分布、使用情况。如：身份证信息分布在系统的哪些位置、使用热度情况。数据源管理可针对不同的数据源，对数据源连接信息进行维护，可添加附加信息，包括业务系统名称、所属部门、所属责任人。数据源配置输入数据源的相关信息后保存进行新增数据源。新增数据源后，“分类分级管理-任务列表”模块自动生成同名的分类分级任务，“数据安全评估”模块自动生成同名的风险检测任务。数据源导入管理支持单条及批量数据源导入管理，可以按照模板方式填写数据源进行批量或单条导入。数据源管理展示展示添加完成的数据源，列表展示内容需包含：数据源名称、数据源类型并通过字体与颜色区分、主机及端口、创建用户、创建时间、最近同步时间、最近分类分级时间、发现结果、同步状态、同步标识、分类分级状态、同步进度、操作。提供同步数据源、编辑数据源、删除数据源、终止数据源同步等。资产发现资产发现可以针对指定主机进行扫描，从而发现数据库资产。若待扫描的主机范围较大，需要输入指定端口，以有效节省扫描所需时间。配置任务新增任务，配置任务的相关信息，必填字段具有带*的标识；其中主机可以用IP区间的格式填写，也可填写多个IP以逗号隔开。端口也可以使用区间方式填写，或填写多个端口以逗号隔开。扫描周期时间可选择。输入内容时，主机及端口作唯一校验。新增任务内主机具有唯一性校验功能。任务管理新增的任务展示在任务列表内，列表展示内容：任务名称、IP段、周期、服务数、状态、创建时间、最新发现时间、操作。资产扫描支持单个或多个任务进行扫描功能。扫描完成后，查看扫描结果，可将结果添加到数据源中，其中扫描出的结果若已经被添加至数据源中，则其状态为“已添加”且添加按键置灰。任务变更任务编辑，可以对任务进行编辑，修改任务信息。操作方式与新增任务一致。任务的删除，删除任务后，该扫描任务被删除，不影响添加的数据源。资产报表分析扫描任务的结果以报表的方式进行展示。在报表页面中，引导用户进行任务的过滤选择。过滤条件需要有“确定”按钮，点击确定后才刷新数据。过滤条件中，展示所有“完成”状态的任务列表，可以根据任务名称模糊搜索、多选；为清晰展示哪些任务已选，需分组展示已选与未选。内容包含（资产发现概述、数据库类型分布、性能占用、数据库资产网段分布、端口分布、单网段数据库、资产分布、单网段数据库资产分布、协议类型分布）。分类分级配置行业模板管理支持丰富的分类分级模板，可根据行业特性以及业务场景选择合适的分类分级模板开展数据分类分级工作，且支持对规则进行过滤和编辑。行业模板主要分为三个板块功能：1.行业模板，内置了多个行业模板，可以点击“查看”，查看具体模板详情，也可以下载到本地进行查看。2.识别字段列表，识别字段列表包含：识别字段、分级、分类、创建时间、操作。识别字段用于数据的分类分级，每个识别字段绑定了一个级别与分类，命中该识别字段的数据，其分类分级则为该识别字段的分类分级。内置的识别字段，不可进行编辑或删除。3.模板导入与下载，页面中展示了「内置」标志的为内置模板，顺序在自定义模板前面。自定义模板中允许对识别字段进行编辑与删除。自定义模板命名不得与内置模板冲突。规则因子管理包含规则因子新建、规则因子导入、规则因子批量转化为规则配置、规则因子导出等功能模块。规则配置支持对于不同类型的数据进行识别的算法规则进行启用/禁用、修改和删除，支持对敏感数据定义策略进行设定，如大于#级时定义为敏感数据。在该模块创建规则，用于分类分级。新增规则，点击“新增”按键进行新增。新增规则用于系统的分类分级。规则的逻辑配置支持。规则中支持对因子进行and/or的运算；规则列表：展示字段包含：规则ID、规则名称、状态、规则描述、更新时间、操作。规则列表按照更新时间降序排字段。策略配置策略配置主要用于系统内敏感数据及表分类分级的制定。配置修改及时会进行保存。但相关的分类分级任务需要等下一次执行时才应用生效。分类分级模型管理模型管理支持有监督学习模型训练功能，可将一部分打标的数据源导入至指定模型中进行训练，通过AI深度学习，可得到能预测类似数据源分类分级情况的模型，将该模型使用到现有数据源中进行模型执行，便可预测出该数据源的分类分级结果；有了AI加持下的模型管理模块，分类分级梳理不再依赖对行业模板和规则因子的频繁修改，显著提升了字段梳理效率。即使后期分类分级标准规范发生变更，也可通过模型训练快速学习新样本得到新的分类分级模板。模型管理包含创建、删除、修改、查阅自定义模型以及相应的模型参数等版本管理功能。模型版本管理模型首次新增建立一个版本，新版本的模型信息中具有版本名称、类型，以及其他高级参数配置等约定。同一个模型可以训练多个版本，尝试不同的模型类型以及参数设置来调整预测效果，但同一时间只能选择生效其中一个版本。分类分级管理系统支持丰富的分类分级模板，具备AI引擎根据模板更快、更准确的自动发现敏感数据并完成分类分级，对于多次任务扫描的结果提供变化标注，更快速便捷的感知敏感信息的变化情况。在传统进行人工检查核对分类分级结果时，服务人员往往面临着大量重的字段标注，如本人姓名、当事人、从业人员等相同含义但内容不同的字段，容易导致服务人员的标注精力被重复消耗；为此，数据安全分类分级系统推出了基于聚类分析的梳理向导辅助功能，投入较少的人力即可完成大量的数据梳理工作；用户仅需修改单个类别的分类分级信息，即可覆盖其他相似字段/表的分类分级结果，可以在短时间便达到较高的整体梳理率。数据分类分级任务管理展示分类分级任务的各种状态及信息，展示内容包含：任务名称、数据源名称、数据源类型、主机、发现结果、状态、次数、周期、创建时间、最新发现时间、操作。分类分级规则执行需要在数据源管理内数据源同步之后，方可进行分类分级任务的执行，否则无法获取数据源相关数据，分类分级任务管理页中将不展示对应任务。对单个任务点击“执行”按钮进行任务执行，或勾选多个任务后点击“立即执行”进行批量的任务执行。分类分级模型执行除了传统的执行规则方式来进行分类分级以外，可以使用有监督学习模型来完成分类分级自动打标。分为两种情况：1）使用内置的有监督学习模型，直接进行预测。2）自定义训练一个模型，然后进行预测。分类分级结果输出任务分类分级结果具有批量导出功能。一个数据源一个Excel文档。批量导出时如有多个文件则压缩成zip；单个Excel文档的命名规范遵循“任务名_导出操作的时间”。分类分级任务检索分类分级任务查询，可以使用任务名称、数据源名称、任务状态进行查询。手动终止任务执行中的分类分级任务，可以手动终止，包括单个任务、批量任务。任务执行结果管理查看分类分级分析详情：可对不同状态任务进行查看，展示不同结果；分类分级图表展示：默认为关闭状态。仅当手动打开“图表展开”时才进行展示。具有“图表统计模式”、“手动梳理模式”这两种模式展示功能。分类分级报表分析在报表页面具有分条件过滤展示、任务名称模糊搜索、分组展示已选与未选等功能。过滤条件中，展示所有“完成”状态的任务列表，可以根据任务名称模糊搜索、多选；为清晰展示哪些任务已选，需分组展示已选与未选。报表页中有不同的数据模块包含：数据资产、性能占用、敏感数据资产表、分类分级结果、数据分级分布、数据库类型分布、个人信息、重要数据、行业通用数据；各个部分在一个页面中按顺序展示。数据分类分级目录支持数据源，敏感数据和所选定的分级标准等多维度进行展示。支持分级概览，表列分布，级别分布等情况图标展示及详情展示，方便使用者了解数据资产的分布情况，同时提供对敏感列识别规则及分类分级信息修改功能。数据分类分级目录可与数据应用层防护系统进行API对接，如数据的细粒度访问控制，数据脱敏等，从而达到对数据进一步分级保护的目的。数据源视角展示数据源区域：数据源视角展示主要分为四个板块：1.数据源区域2.数据源概览3.数据源查询4.数据源信息列表。数据源概览：数据源概览展示字段为数据库、敏感表、所有字段、敏感字段、已梳理字段占比、表级别分布、字段级别分布。默认显示所有数据源的数据，选择特定数据源后，展示当前数据源的数据情况。分类分级结果目录分类分级结果信息列表展示字段包含：数据源名、库别名、Schema、表名、表别名、行业模板、数据源名称、主机、字段数、敏感字段数、分级、是否梳理、已梳理占比、分类、操作，可以对字段的字段别名、识别字段、分级、分类结果进行人工确认与修正调整。行业模板目录行业模板目录功能模块页面分为左右两个区域进行划分，左侧区域为多棵树，展示所有已添加数据源同步后所对应的模板。右侧增加一个开关“隐藏或展示空值”，默认隐藏空值，即对树形结构中没有数据的项做隐藏。敏感数据目录敏感数据目录模块具有“隐藏或展示空值”开关功能，默认隐藏空值，即对树形结构中没有数据的项做隐藏敏感数据的数据源区域会显示分类分级模块内的所有规则。数据风险评估基于数据分类分级结果，提供对基线检测、敏感数据、漏洞扫描方面进行数据风险扫描与评估，掌握数据源存在的敏感字段分布占比以及评估存在的风险点。任务列表管理任务列表展示字段包含：任务名称、数据源名称、数据源主机、风险评分、风险数、状态、更新时间、操作。风险扫描具有单个或多个任务扫描功能，默认扫描范围为基线检测、敏感数据、漏洞扫描范围可选择。任务查询任务查询可以使用任务名称、数据源名称、状态进行查询，任务名称及数据源名称支持模糊查询。任务编辑对任务名称及检测范围等进行编辑操作。图表分析图表分析具有展示漏洞、基线、弱密码三种风险及其数据源的排名情况等功能，列表内所有扫描已完成的数据会计算在该排名内，扫描失败的任务不计算在内。数据质量监测子系统数据安全最基础的要素是数据本身，交通数据资源与分析模型服务系统汇聚了海量的交通行业大数据，在对数据进行安全监测与防护过程中，实现对数据质量的监测与告警也是数据流转过程管理中不可或缺的一部分。建立数据质量监控能力，对纳入安全监管与防护的数据，配置监控规则以及定时任务，可查看表质量监控执行结果，结果异常自动发送告警通知，根据表监控结果对表质量进行不同等级的评价。建立数据质量监测子系统，对数据完整性、准确性、及时性、唯一性各维度建立基于业务需求以及数据自身特点的灵活的监控规则，及时发现监测对象存在的数据问题并针对性分发告警信息给关注此数据的人员，让数据保障更高效，不断提升数据质量，为支撑上层业务应用提供稳定、高质量的数据赋能。数据质量系统需要保障大数据平台的数据质量，以此支撑穗智管一体化平台、智慧交通、交通慧眼等重点信息化平台数据服务，并且在重大节假日、重大活动、重要演示等场景要提供24小时质量数据重点保障。数据质量监控可对监控规则进行管理，可新增监控对象，选择监控规则进行配置定时执行监控任务，可查看监控结果。监控规则管理可对数据质量监控规则模板进行新增、编辑管理，可从数据的完整性、准确性、唯一性以及及时性等维度，从表级、行级、字段级等监控粒度分类管理，可查看监控规则被监控任务引用的情况。内置规则模板管理内置开发多种从数据的完整性、准确性、唯一性以及及时性等维度，从表级、行级、字段级等监控粒度的规则模板，更加方便数据监控管理人员对表的监控管理配置。监控任务管理可对数据质量监控任务明细进行查看，可对数据质量监控任务进行编辑和批量删除管理，可控制监控任务的上下线。新建监控对象可选择数据库表作为监控对象，关联监控规则，可灵活编写执行代码，配置执行结果的期望范围，执行结果期望支持对于具体阀值范围或者命中比例两种方式配置。监控任务调度可通过配置定时任务的频次，开启与关闭数据质量监控任务。根据数据更新的频率等业务信息，配置合适的监控调度频率，实现对数据质量的定时监控。监控执行管理可查看监控任务执行的结果，不符合期望范围的执行结果被标记异常状态，可查看详细的执行日志信息。同一个监控对象表支持配置多个监控规则，在监控数据体量比较大的情况下，同一个监控执行时间节点可能会对多张数据表进行同时监控判断，采用多节点分布执行，同时一个监控对象若配置了多个规则，只要其中一个规则执行异常则停止判断其他规则将该对象的监控结果判断为异常，避免监测链路阻塞，保障数据质量监控效率。质量监控总览分析数据表质量规则引用情况，分析数据质量任务总数量、调度执行成功率、调度总数量、监控任务状态异常任务占比。数据质量告警管理可配置告警通知频率、通知方式以及通知人员范围，可查看告警列表信息。告警配置可配置开启或关闭监控告警功能，支持告警阀值与告警沉默通道的规则设置，从而控制告警的频次；可发送告警到通知组或单个用户，告警方式支持系统消息、短信、邮件等方式。通过配置告警沉默通道，可避免对于同一告警的反复告警提醒，让数据质量告警更有针对性，通过及时的告警通知，可让数据实施人员第一时间了解数据作业存在的问题，并根据告警通知的日志信息，辅助快速定位解决问题。告警通知组管理可配置告警通知组，将关注相同数据告警需求的多个用户配置到同一个告警通知组，实现按分组批量发送告警通知，提高了对告警通知对象配置的效率。告警记录管理可查看通过各种方式发送的告警通知历史记录以及处理结果，支持对告警通知进行系统自动处理以及人工处理反馈，支持按照监控名称、监控对象、监控状态以及处理时间段进行告警信息查询。告警外发通过系统消息、短信、邮件等方式向数据质量管理人下发数据质量告警，通过告警可以直观了解数据质量情况，异常类型和原因。表质量评价表质量分析通过对表质量进行监控分析可监控结果分布情况，根据表历史监控结果，对比监测结果为异常的频次，以每个表的每月监测异常次数占比指标作为对数据表的质量评价基础，分不同的梯度对表质量进行评价，整体掌握数据资源质量状况，辅助对于质量较差的表进行溯源了解以及数据作业维护优化针对性工作。表质量报告输出通过对数据分析结果进行可视化报告输出，方便管理员掌握数据整体质量情况。问题和修复表问题管理可通过对数据监控状态异常的任务，形成表问题列表，管理员分析后标记表质量问题类型。表问题修复表的相关负责人修复表的异常问题后，进行问题修复登记，记录表异常解决方案。数据安全风险应用层防护除了底层技术数据安全监测与防护能力的建立，还需要与现有大数据平台进行实施对接，建立在大数据平台数据应用层面的安全防护能力，以便充分保障大数据平台数据应用层面上的安全，包括不限于对用户在数据的服务调用、数据资源查看、数据搜索、数据分析等场景下的数据安全进行更细粒度的管控与防护，实现用户的分级与数据分级的数据安全使用相匹配，保障数据应用层面的安全。数据服务防护新增数据服务防护功能，可以与大数据平台中数据共享服务系统进行深度对接整合，使其满足数据共享应用层安全防护要求。服务应用管理可对服务应用进行管理，可配置各服务应用下的用户组成员以及数据源，数据源支持表级粒度的授权管控，可查看各应用已授权的接口服务清单。服务应用管理提供了对于数据开发应用以及数据服务共享的应用进行统一管理，应用系统将纳入整个数据共享体系的各组织、各用户紧密的联系在了一起，通过应用所属的单位，应用授权的用户，应用所授权的接口服务等关联信息，能快速了解数据的归属、数据的分发、数据的服务等数据流转链路。统一的服务应用管理与授权，避免同一机构或者用户建立多个类似重复的业务应用，从而降低数据服务流转链路梳理的复杂度。加密算法管理可对加密算法进行管理，支持国密算法，可对加密算法进行导入和导出，建立加密算法库，对算法密钥进行查看，若服务应用系统启用了加密防护并绑定了加密算法，则可在该模块查看引用了该加密算法的服务应用系统。服务加密传输可通过开关控制是否启用对各应用的接口服务加密功能，开启后可选择加密算法并生成密钥。加密开通的配置，能够在保护接口服务数据安全的前提下，更能够适应目前支撑各内部以及外部应用系统的实际现状。由于开启数据接口加密后，调用的应用系统也需要同步改造接口调用代码来适配接解密过程，为了不影响之前已经授权服务的应用系统业务正常使用，可对涉及到敏感数据的接口才开启加密。敏感数据加密对于敏感数据需要启用加密防护，支持对敏感数据的接口服务数据按照加密算法进行数据的加密处理防护与解密后的完整数据返回。目前支持对接口服务返回的数据进行整体加密与解密，加解密效果示例如下图：接口服务限流可针对应用调用的服务开启接口限流，主要从数据返回的流量大小以及调用接口的频次两方面进行限制。针对单次请求返回数据量进行流量限制，比如一次最大返回10M的数据量，超出则接口进行超过流量提醒。针对调用次数的限制，提供配置限流的策略，通过配置接口请求的间隔与阀值，可实现对应用调用接口的限流管控，防止数据接口被业务应用超出正常业务需求的高频调用行为，保护数据接口安全。接口限流的管控粒度控制到单个应用对象调用的单个接口，通过灵活的策略开启与关闭，适用于动态变化的业务需求与安全防护场景。接口请求次数限制场景如下图：假设用户在0：19时间点访问接口，经检查其前10秒内访问次数为5次，则允许本次访问。假设用户0：20时间点访问接口，经检查其前10秒内访问次数为6次（超出限流次数5次），则不允许本次访问。接口调用解密支持对调用接口服务的应用启用加密防护，基于数据安全分类分级结果，采用对称加密算法技术，对敏感数据的接口服务数据除了调用的应用id以及授权密钥的认证，还需要输入与加密算法对应的解密密钥才能获取完整的接口数据。支持主流对称加密算法，加密解密效率高，速度快，适合交通行业大数据的数据应用场景。通过数据加密技术防止接口恶意调用攻击以及数据泄露风险。服务期限管控可对接口服务授权的期限进行管控，若授权的使用期限超出申请审批阶段的授权期限，授权密钥将到期自动失效。支持应用对过期的接口授权进行续期申请，审批通过后密钥将自动恢复有效，不会对应用系统调用服务产生变更与影响。对于服务期限的精细化管控，可适应于需要临时支撑的应用场景，提供差异化的授权周期服务，遵循即开即用，即关即停的原则，避免数据超期供应带来的数据泄露风险。数据权限管控可针对不同应用进行接口开发平台的数据源以及数据表的权限管控，实现不同应用之间的数据隔离。各应用组下的开发成员，仅能使用应用下授权的数据表进行接口服务的开发，接口保存上线后会系统会自动分配密钥给该应用，实现应用组内自己开发接口自己使用的场景，且同一应用组下的成员可共同查看、编辑与调用开发的接口服务。支持将接口服务发布共享，其他应用可进行申请授权调用，实现接口服务的自主开发与赋能输出。服务开发防护对接口开发代码输入页面防止SQL注入，仅允许操作select查询语句，每次只允许执行一条SQL，限制开发人员对于系统敏感变量的访问，采用有效的SQL防注入手段，保护数据服务对应的数据库数据安全。接口访问监控支持对每个接口服务被各应用系统调用的趋势监控，可输入自定义日期段进行查询，支持按天、小时、分钟等不同时间细粒度查询条件，可查看被限流、已成功等不同调用状态的趋势统计，通过接口调用监控及时实现存在异常调用的应用以及服务，快速定位异常调用的时间线，减少接口数据泄露风险。数据资源防护结合数据分类分级结果，对大数据平台中数据资源相关系统各个业务环节进行全面防护，使其满足数据资源管理应用安全防护要求。用户分级除了对数据进行分级管控，对数据流转过程中相关的用户也需要进行分级。可对用户密级进行配置，用户的密级可分为公开、内部、敏感数据等不同的安全防护等级，不同密级的用户需要与数据密级匹配。数据资源分级管控针对不同分类分级的数据资源，匹配用户的密级以及数据的脱敏策略，当用户密级比数据密级小时，将无法查看到该数据资源；当用户密级大于等于数据密级时，将可以查看到该数据资源，从而实现在保障数据访问安全的前提下对不同用户访问平台数据资源的差异化显示。敏感标签关联基于数据分类分级结果，可对敏感数据字段关联敏感数据标签，并将敏感标签配置对应的脱敏规则，实现管理对敏感数据字段的脱敏规则配置。常用的数据脱敏处理方式有关系映射、常量替换、随机替换、截断、泛化、浮动、掩码等。数据资源脱敏基于数据所关联的脱敏标签以及脱敏规则，对数据表敏感数据字段的数值进行脱敏显示。交通行业数据敏感数据的主要字段为从业人员身份证、联系方式、住址、车牌号码、企业名称以及营业执照等基础监管主体对象信息，针对用户查看数据资源的场景，敏感数据也需要进行脱敏处理，以保障营运个体对象的隐私。在数据展示层面的数据脱敏，主要采用动态脱敏的形式，通过动态配置与关联脱敏方案，实现对敏感数据的脱敏处理。数据资源访问管控可通过灵活的后台配置，控制数据资源的展示条数，例如样例数据只访问20条，防止数据资源在平台展示层面的泄露风险。数据资源共享管控支持对数据资源的发布与取消发布，发布后的数据资源才会显示在数据资产清单中。数据仓库中的数据表是全量且不规整的，通过数据治理形成可用的数据资产，针对数据应用需求场景以及数据分类分级结果，对可内部开放的数据资产清单进行发布，供内部以及外部相关各应用系统进行数据资产的申请与查看数据资源详情。数据资源申请管控提供对数据资产申请的审批管控机制，数据需求方在平台申请数据资源需要明确数据交换方式、授权周期、应用系统名称以及申请附件资料证明，通过多级审批通过后，方能进行数据共享的实施工作。建立一套线上数据申请审批机制，并提供审批流程跟踪，避免在数据共享过程中的超范围共享。数据搜索防护对大数据平台中数据搜索平台相关功能进行安全能力保障，可以分主题、分用户进行数据权限控制，使其满足数据分析搜索应用安全防护要求。主数据应用管理可对主数据应用组进行管理，可配置各主数据应用组下的用户成员，可对应用组下可搜索的主数据主题进行配置管理，动态实现根据业务需求对相同主数据的不同应用用户检索数据的差异化安全管控。云搜管控基于给不同用户访问的主数据列表进行安全权限管控，在数据云搜环节对应匹配返回相应权限内的主数据搜索结果，实现用户仅能搜索和查看到权限范围内的数据内容，保障数据检索环节的数据安全。主数据通过定时调度抽取到ES中，采用多索引联合搜索，在搜索返回环节进行用户权限判断，无权限的索引将不参与搜索，从而实现对不同权限用户的差异化检索结果返回。主数据字段管控支持对主数据搜索环节的字段进行是否展示的管控，且支持对字段值域进行动态字典翻译配置，可实现对核心或敏感数据字段进行快速屏蔽以及值域转换。全息图谱数据管控可对不同板块的全息图谱详情页的数据安全进行管控，用户通过云搜数据结果跳转到全息图谱详情页，无访问权限的用户将无法实现跳转。敏感数据脱敏显示对搜索到的敏感数据字段数据进行脱敏展示，保护各主题数据的例如人员身份证、车牌号码等隐私信息，避免数据展示层面的隐私泄露风险。数据分析防护对大数据平台中的数据分析应用平台中数据权限、应用权限、分析组件权限、输出权限等进行全面防护，使其满足数据分析应用层应用安全防护要求。分析组件配置可对系统的分析组件进行配置管理，支持对组件名称、前端组件以及排序进行配置，支持对分析组件的分类添加。通过对分析组件的配置，可实现面向用户的组件清单范围动态管控。用户组管理可对数据分析用户组进行新增、编辑管理，可给每个用户组分配用户，实现基于用户组对同一业务需求用户的数据安全进行批量管控。组件权限配置可对用户组的可访问的组件权限进行管控，可通过组件分类进行批量授权勾选，支持对已授权、未授权的组件进行快速查询。数据读取管控可对数据查询的数据库以及表级粒度访问进行安全防护管控，控制不同数据访问权限的用户对数据库数据的访问，避免在平台应用层的数据分析环节造成数据泄露。数据输出管控可对数据分析结果输出写库环节进行数据库层面的安全管控，避免造成输出冗余不合规的数据分析数据，对数据库造成影响。模型分享安全管控可对分享的数据模型进行安全管控，对于分享模型中涉及到的非权限内的数据进行修改限制，避免用户查看到权限以外的数据以及分析组件。数据安全风险处置子系统资产档案网络资产管理采用手工录入、批量导入等方式，对纳入安全监管的信息系统基础网络资产信息（包括主机、安全设备资产等）进行统一梳理和统计，以图表形式帮助数据安全主管人员整体掌握当前组织结构下，资产总量、系统数量、系统所使用的资产数量等信息，从不同维度对基础资产进行分析，帮助使用者直观、快速地掌握资产整体情况。数据资源管理数据分级治理，始于数据资产梳理。数据资源管理模块可通过扫描用户的数据库表，可按照多种维度梳理并形成大数据平台的数据资源目录，并内置了敏感数据识别规则，可以有效识别敏感数据在系统内的分布情况，同时支持对数据库、表、字段的备注定义和分类打标，可根据数据价值和特征，对数据资源进行分类分级，从而落实对数据更为精细的安全管理措施。应用管理采用手工录入、批量导入等方式，对用户的应用服务、接口进行统一梳理。对应用服务（如API接口服务、应用服务等）的流量和日志进行监测，对接口访问进行统计，结合业务规则对高频的访问行为进行及时的告警。对接口的健康状况进行实时监测，包括高延时、返回报错、404异常访问进行监测和记录，及时告警。人员账号管理对数据库、应用、主机账号进行集中管理，并对账号权限进行梳理，关联到责任人基本信息、角色、单位，定义人员尤其是开发测试人员的合法数据操作权限范围，对其数据访问操作行为进行监督审核，确保相关人员，尤其是特权人员的操作及行为是否在权限范围内，操作是否合理合规，同时可对越权行为及高危操作进行告警和记录。部门管理根据部门组织机构权限对部门进行统一管理，对每个部门建立部门的档案，档案内容包含部门的基本信息、部门下的系统情况分析、人员情况分析、网络资产分析、数据资产分析情况。信息采集信息采集通过对接网络设备、数据安全设备、主机和应用系统数据日志进行全面的标准化处理，及时发现各种安全威胁、异常行为事件，为管理人员提供全局的视角，确保业务的不间断运营安全；信息采集通过基于标准化的关联分析引擎，为提供全维度、跨设备、细粒度的关联分析，透过事件的表象真实地还原事件背后的信息，为提供真正可信赖的事件追责依据和业务运行的深度安全。同时提供集中化的统一管理平台，将所有的日志信息收集到平台中，实现信息资产的统一管理、监控资产的运行状况，协助用户全面审计信息系统整体安全状况。信息采集采取旁路部署形式，各类数据通过网络可多形式传输。整体由采集器、通信服务组件、关联引擎及代理组成。（1）采集器主要实现日志采集、日志解析与格式统一、日志预处理、完成日志向平台的传送等功能，被监控设备分为标准设备和非标设备；采集器主要完成标准设备日志的收集功能。把采集的日志数据过滤并转化为统一定义的标准数据格式；完成日志压缩和归并。（2）通信服务模块通信服务模块主要用于完成采集器与平台间的通信，将格式统一后的日志直接写入数据库并且同时提交给关联分析模块进行分析处理。通信服务组件可以接收多个采集器的日志；在平台尚未支持统一日志格式时，能够根据要求，将定义的统一日志转换为所需要的日志格式。（3）预处理引擎对于整个数据采集系统收集到的事件种类多，数量大，为了更有效地对这些海量的事件进行分析和处理，确保第一时间对各种存在的安全问题采取措施，平台必须具有强大的事件处理和分析功能。目前对实践进行处理和分析最有效的方法就是做事件的关联。包括实时进行关联分析、跨设备关联分析、基于事件因果关系、事件安全要素、跨协议层、多层架构、时间回溯以及关联结果的回放等内容。（4）终端采集器采集器主要完成非标准设备的安全日志采集，采集器采集到日志信息后，通过SYSLOG日志发送给采集器。主要包括文件型、数据库型、API型的开发工作，至少支持windows主机日志及性能采集；支持通过SNMPGet方式对主流安全设备、网络设备的性能数据采集；IIS、Apacheweb服务器日志收集；数据库日志采集。数据安全信息接收根据采集器的配置，日志信息接收模块可以监听在相应的端口上。收到相应的数据报文后，转换为相应的格式标准，并且附加上来源地址信息。如果有必要，需要对收到的报文中文本信息进行正确的解码处理，保证不出现乱码现象。数据安全信息解析接收到的原始日志信息，经过解析规则的模式匹配，提取出直接信息和非直接信息，最终就得到了解析后的通用事件。日志信息解析模块启动的时候，需要首先进行规则库的加载，加载各种日志格式的解析、映射定义。加载完成后，才能进行日志的解析处理。当原始日志无法匹配规则库中任何一个规则时，就会生成一个未识别日志信息。用户收到未识别日志信息后，应该更新规则库，以支持这种日志格式。数据安全信息标准化完成解析后的通用事件，可以根据规则库，进行标准化处理。标准化主要是对解析后的日志，根据标准化的通用事件格式，对各个标准化字段，进行信息的直接映射、非直接映射处理。映射处理基于预先定义的标准。标准基于对安全领域的技术、威胁、模式以及网络层、应用层的抽象。标准化过程，也会进行字段的格式处理，如时间戳的format、locale的处理。经过映射处理后，就得到了最终的通用事件。数据安全信息过滤处理采集器为了消除不必要的日志事件，或者去掉不重要的日志事件，可以设定过滤规则。任何标准化完成后的通用事件，都会经过过滤规则匹配。当满足匹配后，此事件就会被过滤，直接过滤掉，不会进入后续模块进行处理。当不满足匹配，此事件就不会被过滤，直接进行后续模块处理。数据安全信息聚合处理采集器为了减少重复日志事件的数量，会在处理流程中，通过设定一个聚合周期、聚合规则，对于在聚合周期内，所有满足聚合规则的事件，进行聚合处理，得到聚合事件。聚合事件中的事件计数字段，会记录本次聚合的源事件的数量。聚合处理不会影响后续关联分析等处理。数据安全信息缓存为了实现日志缓存的需求，需要对队列进行持久化处理。采集器日志缓存基于状态驱动。当队列的空闲状态较低时，超过最低阈值后，会触发回写模块，把内存队列中的事件持久化到设备磁盘系统上。当队列的空闲状态较高时，超过最高阈值后，会触发加载模块，把磁盘系统上持久化的数据，加载到内存队列中。状态检测处理为了实现状态检测处理，需要维护每个资产的状态信息。当收到设备的原始日志后，会更新此设备的事件计数、最后活跃时间等信息。当状态检测周期到达后，采集器会把每个设备的状态信息组装成心跳事件，上送给上层设备。通信服务组件配置通信服务组件接收各个采集器上发的通用事件，汇总后进行存储。通信服务组件处理收到的心跳事件，更新对应资产的心跳状态，并持久化心跳信息到数据库中。通信服务组件处理配置同步请求。当用户或管理员在界面上新增、删除、修改了客户、资产、规则库后，通信服务组件应该能够把这些改动同步到各个连接的采集器上。关联引擎管理关联引擎从接收到的通用事件中，基于关联规则，发现关联事件。关联事件包括各个原始事件列表。关联引擎产生的关联事件，能够支持入库接口，进行持久化处理。关联引擎支持自定义的关联规则，支持规则的启用、禁用。日志代理管理当某些设备无法主动发送SYSLOG日志或者由于配置等原因（如不允许直接网络访问）的时候，在目标对象主机上部署一个轻量级的代理进程，用于主动抓取日志。探针采集到日志信息后，通过SYSLOG日志发送给采集器。场景监管业务建模面向业务场景或复杂的数据流转场景，根据数据的流向，利用数据流节点，采用简单的元件拖拽、连线的操作方式对其数据流转进行可视化的拓扑配置和统一管理，基于业务需求对其节点及节点之间的数据流转设置监控策略。基于业务的数据流转拓扑作为数据、业务和人员安全监控的参考基线，包括节点对象的访问量、访问流量、访问速率、请求延时、异常访问和敏感数据访问的监控。业务场景分析经过业务建模后可直观展现出该业务场景下敏感数据流动安全的情况。主要由数据库异常TOP、API访问异常TOP、权限身份异常访问TOP、数据流动实时风险监控等几部分组成。规则模型规则管理针对数据流转场景下某个单一节点的上下跳进行合规定义，识别和发现一些恶意攻击和潜在的风险问题，以达到提前预警的能力。用户根据自身业务特性，可通过【规则匹配】、【规则抽取】、【规则统计】、【规则判断】四大引擎编排内容，对来源目标、标签等因子的自由定义组合成规则，再针对不同场景匹配不同规则组合形成对请求端信息、访问请求、行为特征，目标端所返回的数据量、数据敏感度等进行管控的针对性策略，灵活自定义数据安全场景规则，变动告警阈值和告警生效节点。（1）规则匹配引擎设置规则匹配引擎，日志解包后，利用规则匹配从网络或数据报文中匹配数据安全事件的关键因子，判断报文中是否含有某些关键字段，包括但不限于：HTTP类型：源IP、源IP标签、源IP所属系统、源IP所属部门、HTTP协议版本、HTTP请求URL、接口组、接口标签、HTTPRefer、来源用户名、目的IP、目的IP标签、目的IP所属系统、目的IP所属部门、目的端口、HTTP请求域名、目的用户名、规则ID、告警等级、应用协议、流量方向、HTTP请求方法、HTTP响应码、HTTP响应体、敏感等级、敏感数据类型、平均执行时长等。SQL类型：源IP标签、源IP所属系统、源IP所属部门、源主机名、来源用户名、数据库用户名、数据库用户名组、客户端工具名、操作系统用户名、目的IP、目的IP标签、目的IP所属系统、目的IP所属部门、目的端口、数据库名/实例名、表名、字段名、SQL模板ID、SQL组、SQL标签、规则ID、告警等级、应用协议、流量方向、返回码、操作类型ID、敏感等级、敏感数据类型、影响行数、平均执行时长等。（2）规则抽取引擎一旦报文内容与关键因子匹配完成，告警内容需要使用规则抽取引擎抽取与匹配因子相关的和具体字段值，支持解析json、xml等多种格式请求，抽取请求报文中的源端信息如源端IP、源端主机名、源端设备类型、请求协议与方法等信息；响应报文中如身份证、电话、用户名等敏感数据类型字段、影响行数、执行时长等信息，完成告警信息的预处理，以方便进行下一步统计判断。（3）规则统计引擎规则统计引擎基于数学统计方法开发，在一个周期内（如分钟、小时、天），对规则抽取完成的字段采用Kohonen聚类、K-means聚类、线性回归、Logistic模型、关联统计等方法进行计算统计，形成安全事件。（4）规则判断引擎规则判断引擎根据统计结果进行危险程度判断，用于安全事件的定性。判断标准可以自由定义阈值，也可由AI算法想学习生成规则基线，一旦到达规则设定的判断阈值或者基线值，最终生成风险事件。预设模型管理支持多种针对数据安全的场景化事件规则模型，包括但不限于登录爆破、撞库、账号共用行为、数据泄露事件、敏感数据访问事件、越权请求事件、接口异常事件、业务异常事件。通过内置模型可以发现大量和敏感信息查询及返回风险、数据服务登录爆破风险、多人共用账号风险、特权账号越权操作风险等多种数据安全场景特有的复杂安全事件。风险管理告警管理对探针发现的、平台规则生效检测出告警事件进行统一管理并提供各维度的查询功能。（1）海量数据高速检索经过预处理之后的安全数据以结构化的形式分布式存储在系统大数据库中，对外提供数据查询与统计服务，从而实现海量数据检索与挖掘。对安全告警的分类检索。支持数据搜索输入框，可输入关键字包括不限于设备IP、日志发生时间、原始信息等进行检索；支持输入时间段、表达式等条件进行检索；支持快速选项卡检索；可指定多个查询条件进行组合查询；搜索结果以列表方式实现清晰展示，可在前端页面直接导出检索结果。（2）丰富的规则库支持支持各种数据安全事件告警，包括越权访问、越权操作、业务异常、敏感数据访问、账户隐患、数据泄漏、敏感数据大量返回、数据遍历、暴力破解、SQL注入、漏洞攻击、违规应用、弱口令风险、明文传输风险、HTTP配置风险、数据库配置风险、登录异常、行为异常、web攻击等。（3）告警事件聚合从安全事件视角对所有安全告警进行事件聚合，对某一类高发的数据安全事件进行名称、类型、告警等级、告警次数、处理状态等维度的统计合并，避免多次重复告警。隐患管理以资产和漏洞为视角，结合内部管理制度和流程，通过内置工单系统，实现资产弱点的全生命周期管理。通过弱点标准化引擎，资产对扫描器扫描发现漏洞、安全服务人工渗透漏洞、内部运维人员发现漏洞、互联网公布漏洞等不同的漏洞进行统一管理。扫描能力如下：（1）全方位安全评估提供对主流操作系统、中间件、服务器以及Office等常用软件进行漏洞、弱口令、安全配置扫描检查。（2）Web弱点检测提供对WEB应用弱点检测，支持OWASPTOP10等主流安全漏洞，如：SQL注入、Cookie注入、CSRF跨站伪造请求、命令注入、命令执行、代码注入、遍历目录、弱口令、其他各类CGI漏洞等各种类型。（3）数据库弱点检测提供支持主流数据库（包含达梦等国产数据库）的漏洞扫描。（4）三高一弱管理提供支持对高危漏洞、高危端口、违规外联、弱口令的管理，支持批量导入、导出，且支持多个隐患。一键生成一个工单进行统一处理。研判分析（1）数据泄漏支持根据内置数据泄露安全分析规则，对数据泄露告警进行快速聚合分析，并支持一键验证生成数据安全事件。（2）僵尸接口支持根据内置僵尸接口安全分析规则，识别7天内无访问接口，并支持一键验证生成数据安全事件。事件管理支持数据泄露、僵尸接口、账户安全、越权访问、批量删除操作、批量修改操作、数据库暴力破解等安全分析场景，支持事件快速生成工单，支持事件结果导出。风险处置安全工作台工作台提供了个人账号下的工单、预警情况快速查看情况处理工单功能。主要包括工单的各状态情况统计并可链接查看；各级别预警单情况统计并可链接查看；待办工单快速处理和最新预警查看通道，方便用户快速进行风险处置。工单管理可通过工单处理流程，将风险、预警项快速安排具体人员进行跟踪处理，实现责任到人，形成风险闭环。（1）一键生成工单支持对扫描发现的资产弱点、告警事件一键生成工单，使其进入工单处理流程。（2）工单处理流程从未处理->处理中->已完成->已关闭，可对所有工单状态进行跟踪处理，实现责任到人，形成风险闭环。预警管理对于高发的、突发的网络数据安全事件，如0Day漏洞、未知勒索病毒、近日高危IP、社会热点数据、紧急安全事件等，预警管理模块提供下发通报功能，将各类安全事件分为紧急、警告、一般，同时把事件背景、易发情况、防范措施等随同进行流转下发，高危易发风险提早防范。安全报告管理报告管理模块提供综合报表模板自定义组合排版功能。可根据用户需求自行组合综合性报表模板，如：安全总体分析报告等。提供Word、PDF等多种格式下载功能，且综合报表的子模块支持自定义。报告订阅模块支持综合报表周期性生成，如日报、周报、月报，且支持自动投递邮箱功能。合规中心安全知识库建设建立一个安全知识库，管理维护安全相关的标准、指导性文件等，支持上传、下载和在线阅读。建立安全知识库：组织机构安全文档集中存储，统一管理，便于知识查找和应用。建立安全知识学习平台：给内部成员提供统一的安全学习资源的下载途径，为数据安全专项培训提供教材资料。安全合规检查内置数据安全检查模板和检查要求，可自行配置形成数据安全检查表，下发至各级部门（子平台），并支持在平台完成检查项确认和材料上传，形成检查一体化、标准化。合规总览：提供检查任务的完成率、得分情况进行总览。合规自查：被检查单位收到安全检查表，根据自身的情况在平台完成检查项确认和材料上传。检查标准：内置数据安全检查模板和检查要求，可自行配置形成数据安全检查表。对检查标准进行管理。数据安全融合分析融合数据库、敏感数据、接口服务、账号权限等多种安全监测风险，采用大数据手段对风险行为和事件进行关联分析与挖掘，从数据安全管理实际业务需求，总结概括对于数据安全风险的核心数据指标，提炼有价值的信息，并对指标进行可视化的集中展示，便于数据安全主管部门以及运维人员直观快速定位数据安全风险，便于快速响应进行安全风险的处置与反馈。数据安全总览基于的实际业务需求出发，以安全事件与威胁风险监测为驱动，通过数据采集器，捕获数据流经下的各个节点的日志信息，并结合API调用日志信息及风险规则进行快速匹配，将命中的数据报文作为疑似安全事件上报到数据融合分析子系统进行统计分析和关联分析，并基于大数据分析和数据挖掘技术输出各种分析结果，用于对安全事件进行追踪和事件规模评估等。通过地图、热力图、柱形图、折线图、饼图、仪表盘等方式有效地展示出复杂数据中蕴含的最有价值的信息，实时展示大数据平台数据不同维度的安全态势信息。风险与事件分析通过采集各数据安全组件发现的安全风险，采用大数据手段对风险行为和事件进行分析挖掘，分析风险隐患和安全事件，便于数据安全运维人员快速研判分析和处置。数据泄露风险分析通过汇总所有数据风险，重点分析数据泄露情况，挖掘潜在的数据泄露分析，形成数据泄露分析指标，便于数据安全运维人员快速研判分析和处置。数据库漏洞风险分析通过汇总所有数据库监测系统监测的风险，重点分析数据库漏洞风险情况，挖掘潜在的数据库漏洞分析，形成数据库漏洞分析指标，便于数据库运维人员快速研判分析和处置。数据及资产总览分析分析网络中重要数据、个人信息、行业通用数据的情况；展示应用系统数量、数据库数量、接口API数量等数据及资产总览指标。API数据泄漏事件分析通过汇总所有数据服务访问风险，重点分析数据服务泄露情况，挖掘潜在的数据服务泄露事件形成数据服务泄露事件分析指标，便于数据安全运维人员快速研判分析和处置。账号安全事件分析通过对数据账号信息进行分析，重点分析账号安全情况，挖掘潜在的账号安全事件，形成数据泄露分析指标，便于数据安全运维人员快速研判分析和处置。展示数据库、数据表、数据量数量。敏感数据安全分析识别敏感数据在系统内的分布情况，分析不同级别敏感表及敏感字段的占比、分布、访问频次高低、访问趋势走向，通过可视化大屏以敏感数据为核心实时展现告警，支持告警详情下发，掌握敏感数据风险，快速定位告警事件。敏感数据概览分析分析敏感库、敏感表、敏感字段的数量、数据库、数据表、数据字段的数量，便于快速了解数据分布概率。敏感数据分布分析分析敏感数据库的敏感表数量和敏感字段数量、数据库的访问信息，包括今日访问该数据库的次数和总访问次数。敏感数据告警分析分析敏感数据的相关告警信息，包含告警名称、告警时间、来源IP、数据库、数据表，支持点击下钻展示对应的告警详情，便于运维人员快速研判分析和处置。敏感数据访问热度分析分析数据资源的元数据管理的敏感字段的访问情况，便于了解数据反问情况。敏感信息分级分布分析分析展示敏感表和敏感字段的分级分布以及占比情况，便于了解数据现状。敏感标签分析分析敏感标签和敏感标签的数据、敏感标签总数量，并对数据分结果进行可视化展示。共享数据安全分析数据在共享交换场景下多使用接口调用数据，敏感接口监控能够梳理接口关系，展现接口访问量及访问趋势并支持下钻到具体访问部门的内部访问情况；对敏感接口进行风险管理和安全事件展示，并支持下钻到告警详情，展示在当前业务场景下数据的数据流动风险，掌握接口数据来源与去向整体风险。接口数据流转分析根据接口的数据来源和接口数据赋能统计接口数量流转情况，直观了解数据流向。数据来源分析（1）接口今日访问分析分析数据来源接口今日访问情况，分析数据来源所有接口。（2）接口访问量及访问趋势分析根据选择的具体的接口和访问量数字，展示数据来源接口访问趋势；分析数据来源接口和敏感接口的数量以及之间的占比以及接口访问趋势。数据赋能分析（1）接口今日访问分析分析数据赋能接口今日访问情况，分析数据赋能所有接口。（2）接口访问量及访问趋势分析根据选择的具体的接口和访问量数字，分析数据赋能接口访问趋势；分析数据赋能接口和敏感接口的数量以及之间的占比以及接口访问趋势。最新接口告警及详情分析分析接口告警的最近告警；展示更多告警区域，分析最近告警，点击单条告警展示分析告警详情信息。数据流动监管分析数据来源：分析库表交换条数和接口访问、数据来源的单位部门。数据赋能：分析库表交换条数和接口访问、数据赋能的单位部门。告警数据分析分析据告警的数量、本周告警数量、本月告警数量。对数据告警的告警类型进行分析，按高、中、低趋势进行分析。工单状态分析分析工单总数、未处理、处理中、已完成和已关闭的工单数。系统对接大数据平台对接与大数据平台对接，实现对该平台数据分类分级治理，数据安全监测和防护，主要包含如下几个方面：元数据信息对接对接大数据平台元数据信息，并定时更新，为大数据平台数据分级治理及安全防护系统数据分类分级提供数据基础。数据分类分级清单结果对接将大数据平台数据分级治理及安全防护系统的数据分类分级清单结果输出，对接给大数据平台，并实现大数据平台数据资源分类分级管理，保障数据使用权限和数据安全。数据脱敏与加密策略对接将大数据平台数据分级治理及安全防护系统的数据脱敏与加密策略以及规则对接给大数据平台，为应用层面的数据防护提供策略依据，在大数据平台应用层实施数据安全应用。数据库安全监测及防护对接对接大数据平台数据库，对数据库进行数据安全监测管理与防护。数据服务接口对接对接大数据平台的数据接口服务，将目前建立的数据接口服务纳入API安全监测系统管理范围。信息安全管控平台对接对接信息安全管控平台，对信息安全管控平台的网络安全指标进行统一展示和查看，便于从全局角度集中、统一查看网络与数据安全情况，同时与信息安全管控平台进行风险联动，通过相关指标数据对接，实现“风险发现多源，拦截封堵统一”等效果。主要包含如下几个方面：综合态势对接对接被攻击业务系统、攻击来源、联动封堵、管控资源、脆弱性防范等相关指标。防护指标对接对接信息化资产、防护措施、安全保障人员、安全保障制度等相关指标。威胁监控指标对接对接攻击监测、风险网站列表、待处理告警数、最新处置工单等相关指标。安全处置指标对接对接告警处置、脆弱性整改、单位工单处置情况、未闭环通告等相关指标。商品化应用软件服务数据安全风险监测数据库安全监测系统系统具备多种安全规则，系统会将规则与审计到的流量进行匹配，未成功匹配的流量会留存审计日志，记录详细信息，匹配成功的流量不仅会留存审计日志，也会产生相应的告警信息并留存告警日志。在告警信息生成后，会通过响应的消息通知模块完成告警信息的发送，同时控制相关数据的存储。对于系统的控制模块和配置入口，可以对消息通知和数据存储进行相应的管控，实现数据的有效存留和妥善保存。支持多种数据库协议监测数据库安全监测系统对数据库的操作行为进行全面、精准的监测，包括DCL、DDL、DML操作；支持审计常见的数据库类型（包含国产化数据库），数据库安全监测系统具备强大的检索引擎，支持丰富的检索的条件，可以从海量的日志中快速、精准地检索到操作信息。风险监测数据库安全监测系统支持实时发现对数据库的外部攻击行为和违规操作行为，外部攻击行为包括SQL注入攻击、数据库漏洞攻击、遍历目录等，违规运维操作包括恶意Drop库，表、批量下载敏感数据、同一IP使用不同客户端工具等。同时系统支持多种方式进行风险预警，支持常见的短信、邮件等推送方式。三层关联数据库安全监测系统支持将客户端访问Web服务器的URL与应用服务器访问数据库的SQL语句进行关联，从而审计完整的业务链信息。查询分析数据库安全监测系统可以根据不同的IP、账号等，对一次查询的结果集进行二次分析，有利于将查询动作价值最大化、查询行为效率最高化、查询结果展示精细化。特殊业务场景支撑由于业务范围较广，存在单数据库流量巨大的场景，尤其是业务高峰期，流量甚至超过10w条/s，此类大流量场景最容易丢包、漏审情况。在代理抓取流量的部署模式下，代理的性能也直接影响了数据库安全监测系统的性能，因为性能限制而没有捕获的流量中，或许就隐藏着数据安全隐患。本系统支持特殊大流量模式下的流量抓取，保证实时流量同步被转发，避免漏审。报表分析数据库安全监测系统支持多种类型报表，同时报表信息页面可钻取，有效提升报表阅读效率，并且支持丰富的导出方式：HTML、PDF、Word等（1）综合报表：全方位展示当前数据库访问情况；（2）性能分析报表：反映当前数据库系统的负载情况，为DBA提供调优依据；（3）合规类报表：等级保护参考报表，符合行业安全规范；（4）分析类报表：从会话、告警、语句执行情况等多维度展示当前数据库的访问情况。API安全监测系统API安全监测系统以流量解析还原和敏感数据识别打标为基础，帮助自动识别梳理API以及业务系统用户，可自动检测API上存在的脆弱性，防止发生因API自身脆弱性造成的数据泄漏事件产生，并且系统可对各种违规使用数据行为进行监控告警，防止相关数据以违反安全策略规定的方式流出。在当数据泄漏事件发生时，系统支持快速对数据泄漏事件进行溯源分析，可帮助快速定位泄漏源同时评估事件影响面大小。传输文件还原系统支持识别的文档类型覆盖日常使用文档类型，例如word、PDF、纯文本等。账号身份关联基于账号自动解析技术，自动识别流量中的操作日志用户身份（IP、账号），对于账号类用户自动关联账号身份信息及组织架构信息，记录包括操作时间、访问系统、操作接口、请求方法、操作用户、操作IP等信息，用于系统分析绘制行为画像、发现风险行为。敏感操作还原自动将网络上流动的敏感数据进行记录。自动识别多种敏感数据，解析还原操作事件，可从网络流量中还原真实系统的账号并关联账号身份、组织架构信息。API数据资产梳理基于网络流量解析还原技术，对网络环境流动的接口服务数据资产进行梳理并形成数据资产目录。支持对流量中发现的API、应用、文件进行自动还原梳理，统计展示资产基本信息包括不限于：名称、类型、IP端口、数据标签、关联资源等。基于自主研发的划分引擎，能够有效区分API和应用URL。API资产分类分级根据数据资产的数据价值和特征，梳理出本单位的接口服务数据资产，对其执行分类分级操作，并对分类分级结果进行统计展示。支持多种维度的打标体系，如：API类型、访问域、部署域、敏感等级、生命周期、自定义标记等，支持根据行业特点和客户需求，梳理关键资产，根据重要性进行划分。完成接口服务数据的分类分级梳理后，用户还能够基于分类分级结果来完成后续接口服务资产的防护及监管工作，例如根据接口服务资产暴露面灵活制定安全防护策略，根据打标的生命周期对API进行针对性的审计，根据透出的敏感数据类别制定脱敏方案等。API数据资产全景提供数据资产可视化能力，系统提供接口服务数据资产全景图（包括API资产台账、敏感数据分布、API分类分级等）。同时，还包括资产的变更、数据流向情况、风险和安全事件等内容的监控告警能力。风险策略定制对于脆弱性规则可灵活配置到请求body、url、method、header、四元组等，支持正则、敏感数据标签匹配等多种配置方式，能够在新脆弱性公布时根据脆弱性特征进行自定义配置，第一时间对内部的业务资产进行脆弱性检测。对于风险规则可根据IP、账号、同应用同IP、同接口同IP维度进行风险配置，可根据访问时间、访问IP、访问敏感数据种类、访问敏感数据数量、访问频次等多种方式进行组合，用户可根据自身实际的业务场景进行自定义风险配置，对账号异常、高危操作进行严格管控。系统协助用户加强数据安全管理机制，通过定期开展风险评估，及时发现数据安全风险，支持数据安全策略包含且不限于：（一）脆弱性策略（1）明文密码传输；（2）接口伪脱敏；（3）接口未鉴权；（4）数据库查询接口。（二）风险策略（1）账号在2个IP以上访问；（2）账号暴力破解；（3）账号单日下载文件个数超过10个；（4）IP单日下载文件个数超过10个。账号行为监测系统通过使用用户实体行为分析技术监测人员数据访问情况，针对已建立的账号监视分析用户行为。通过对正常行为和人员进行抽象归纳，利用聚合分析技术生成个体行为画像。在此基础上，对比账户的活动是否存在异