数据治理工具项目投标书技术部分

(1)具备数据抽取转换装载、元数据管理、数据标准管理和数(2)采用B/S模式，浏览器端兼容Chrome、FireFox等主流浏Tomcat7.0以上，JDK版本为1.7以上，数据库为0racle或MySQL。(3)支持集群模式。保证7×24小时不间断持续运行，且计划外宕机时间控制在全年的0.2%以内、计划外宕机次数控制在全年4次(4)支持高并发。页面查询不高于2秒，复杂查询不高于5秒，一般页面数据更新处理时间不高于3秒，复杂数据更新不高于5秒。(5)数据抽取速率高。数据库到数据库不低于1000条/秒，文件到数据库不低于1000条/秒。(6)根据以上性能指标要求提出硬件及网络的性能及规模配套投标产品需具有与国内自主成熟的数据交换共享平台和大数据3.2成熟度要求3.3技术要求支持连接到源数据库系统，把元数据抽取到统一的元数据>提供多种采集适配器，支持从主流关系型数据库、Hadoop支持采集任务配置，可实现一次性和定时采集，支持采集可通过界面创建、维护元数据模型，支持业务模型和技术支持通过界面创建并维护元数据模型间关系，包括组合关提供将常用建模工具(包括PowerDesigner等)设计的数支持元数据版本管理，包括：版本号的设置，历史版本的●数据关联分析>提供数据地图功能，用于展示元数据间关系，支持系统、●其他功能>将元数据以系统为单位导出到Excel;>提供多维度的元数据检索查询功能。●数据标准维护>支持通过Excel模板导入数据标准模型；支持代码标准的元模型定义与标准维护，包括代码和代码●数据标准映射●质量规则管理●质量规则检核●质量分析报告支持考核算法和策略配置，对质量规则执行结果进行量化1)开放性引入业界开放的、成熟的标准，从而保证系统成为符合标准又不2)先进性各工具基于统一的整体架构，采用先进的、成熟的、可靠的技术3)可扩展性随着新的业务需求的不断产生，支持基础数据模型、应用分析模4)安全性5)可维护性建立统一化可视化的运维体系，数据处理各个环节，能对系统进星环科技提供数据处理工具包是一款基于大数据技术的专业数据务建设的要求。名称供应商说明星环科技元数据管理、数据治理、数据目录工具。(丰富元数据管理、增加数据源管理、数据资产目录、数据标准管理、数据质量管理等功 服务器端可运行在Linux、Windows系统上，应用服务器兼容数据治理工具包支持集群模式，可保证7×24小时不间断持续于5秒。SpringFrameworkUI&RestfulAPI提供DataCatalog的UI界面MetadataIntegration&NotificationAPI提供Messaging消息队列(目前使用Kafka)以及API接口(HTTP或REST方式)的元数据67.4%46.2%88.9%OAnalshihhohohdnnnoh1)元数据采集支持元数据人工采集和自动化采集，支持对多数据源的元数据采TD、Hbase、Teradata、PilotEnterprise以及第三方报表工具。支已障入日620调0000白白tpeipnetnst0e00新建连接新建连接选择连按类型连接类型DB2“数据库0全部2)元数据管理功能×取消取消B目censusjinfoA同事业务字A0成3)元数据维护insertintotableacidjoinexecuteimmediate'truncatetabinsertintotableacidjoin3selectsfds,adbms_output.put_line('SQL%ROWCOUNT='llSQL%ROWCOUNT)时间行为课7-02-2414712OREATE_PLSQLAEAEATE08REPLACEPROCEDUREdutayInsertProcedure()ASdbes_output.put_line('5QLNROMCOUNTexecuteinrediote'trdbms_output.put_1ine('SQLsROMCOUNT1|sQLNROMCOUNT)updateocidsjoin3setage=105wenddummyInsertProcedure时间持续时间2016-08-17T13:48.41.348ZANON_EXEC2016-08-17T13:46:41.348ZANON_EXE2016-08-17T13:48.41.348ZANON_EXEC2016-08-17T13:46:41.348ZANON_EXE4)元数据浏览●概览信息TRAMa业ANP总质自定义产品0Educationnsurance06实例12)率0HunterLane默盗产/改照率/inuurance/detult/段登法/censu■census_info★1161212概览列信8(5)采样数据(100)关系表使用记录数据持证采样数据(5/100)4Betty21emaleTABLE2回四视面日存储过程日NSERT_TABLE1资产//D82-48st/062NST17目ADDREsswAROHWR50TABLE1度0000关联户●采样数据n曲四日n2wea四n_aja_inatn00 unlvenitmurmugehe12h66522212响A第三方产品●使用记录SELECTPersonsbastName,Persons.FirstName,Orders..adminSQL2018.10.1113SELECTPersons.LastName,Persons.FirstName,Orders.OrderNoFROMPersALTERTABLEtOrdersWHEREPersons.IALTERTABLEtable_nameDROPSELECTPersons.LastName,Persons.FirstName,Orders...adselect*fromperson.StateProvincewhere...5)系统管理供文件、库、表、字段级的数据权限控制能力，权限控制能精确到申计6)元数据应用TRANStARPC人工智产晶三STUDENTD82-test/■detault/STuseinlopeapleColegD82-test/曲default/STUDENT重catalog-tah-01有者DB2INST1时间2019/3/2510:05unerinlopeoplColtge7)元数据导入导出支持元数据的导入导出(全量与指定元数据备份与恢复等)。出0函A2条词2白不量2亩白2亩AongyP调调券228)元数据模型管理型连入时间更新时间回1除数述大零告信告审批大零告信货审比大零售信货审批柜面业务平台柜面业务平台基金代病基金代销基金代消adm客户信息管理客户信息管理客户信息管理9)数据地图10)血缘分析●支持视图View的血缘影响分析(包括展示已delete删除的表●支持数据库中表和字段的血缘分析和影响分析。支持对电子●支持对ETL流程的血缘、影响分析。●支持手动对血缘信息进行增加，删除，修改等操作。●支持自动化实时同步更新血缘、影响数据。DataCatalog支持数据表的血缘影响分析，通过整合分散在各个变化关系图谱，使用户更全面的掌握数据，把握数据变化。DataCatalog使用血缘分析和影响分析来描绘元数据间的关联图谱，包括元数据来源于哪些表，又去往了哪些表。其中血缘分析关注当前对以目标对象的第一代祖先为起点，以目标分析1b0e95af-b430-4230-aftable_1INCEPTOR_TABLEmtestttable_1@ctable_1此外，血缘影响分析图还支持列的血缘影响分析。点击血缘图中丽table_1丽table_1table_2table_2其idid11)关联分析12)关系过滤该元数据管理工具支持基于Process对血缘图以及影响分析图进血缘分析和影响分析关注的是分析对象的数据是如何从上游对输出到tb2的这条血缘分支；而不关注tb2的其他输入来源。另外需要注意，Process的输出对象(即tb2)的后续血缘链不会受到影响，12)数据治理可视化●支持自定义业务目录结构以及内容，并提供相应的查询，浏●支持业务词条的以EXCEL文件格式的导入导出功能。●默认内置金融、政府等行业业务术语。●支持根据业务需求，创建新的字典，使用方法与内置默认业●支持自定义业务元数据的存储、展示格式和类型。●支持将业务元数据与任意资产进行关联。1)新建业务字典新建业务字典2)添加目录及编辑属性业务字典支持自定义目录的结构和属性。属性规定了该目录以及添加目录X目录名称目录描述自定义屈性0该目录允许自定义属性字段名字段类型操作没有内容十添加压性添加目录添加目录添加属性XX目录名称目录名称是否必填是否必填可选项O必填项 X每周X每周十添加枚举值十添加枚举值确定取消目录名称目录描述自定义属性0该目录不允许操作属性可能是自动继承或者目录非空字段名字段类型取消确定3)词条管理业务字典目录的详情页展示了目录的描述、包含的词条和子目录等信息。词条的展示格式由用户定义的目录属性决定。该页面支持Q和和adnn管理寻本校国解高2019520具mn用的和商进行62019320白adnaadnn证由国政府支持2019320e自详情解释/.自定义的字段举例取消确定关4)导入导出由动n构发行6e2222三..擅素结果(共计202个)D82-test/adefault/STUDuserinfopeopleColegeD82-test/票default/丽STUuserinlopeopleColege报目云平台草1)数据质量思想一性验意量数据的唯一性：不同来源的数据在DW中出现重复的情况；数据的合法性：获取的数据指标与常识不相符合，如年龄>150岁数据的一致性：不同来源的不同指标数据其内涵是一样的(数据发现);或者同一指标的数据内涵不同。●通过其他信息补全：例如，使用身份证号码推算性别，籍用前后记录的均值补全，或根据缺失跨度平滑处理.●按主键去重，利用sql的groupby<col1>,<col2>,..,<col●按规则去重，编写一系列的规则，对重复情况复杂的数据去重，例如不同来源的客户数据，可通过相同的关键信息进行施，强制转换为最大/最小值，或判定为无效(供人工检查)。例如：格式规则(日期类)"yyyy-MM-dd";内容规则：性别in(男，女，未知);出生日期<=today●设置告警规则：对超越数值范围的记录做报警处理，导出错●对字段的内容(数值类)做离群值检查：使用分箱，聚类，回2)质量管理规则及流程数据加工处理数据质量检查政振质量报告政振质量报告菜菜数据质量考核数据质量考核上图展示了Datacatalog数据质量控制采用检测到的8条违反规则数据将全部进入该表。 ReadeWhe质量统计表：用ColumnMap算子从总的原始数据中过滤统计的有效字段，将其与用ColumnMap算子从有效数据中过滤出用合法数据表：通过Filter定义出符合要求的元数据标准，例如类同时将经过合法处理后的非法数据汇入该表进入最终的数据表非法数据表：通过Filter_Neg过滤所有非法数据，接入表3)数据稽查进行数据稽查时，系统将对如下问题数据报错并记录至Error对不符合NOTNULL限制的记录报错。用户可以在创建一个外表的同时指定LogErrorTable。无效数据，就将该数据写入ErrorTable。允许指定REJECT策略，即当错误率达到一定的行数或者比例3)数据质量管理功能●支持内置检查规则以及自定义质量规则(如空值、值域、规●支持自动或人工执行数据质量检核任务，支持定时调度时间●对质量规则执行结果进行量化打分；检查完成后自动生成质TRAMskArPTRAMskArP仪表盘印数施全局参数一连接管理目日●具备根据质量问题改善数据质量的能力，能够使用算子修改●支持在ETL流程中进行数据质量管控的功能，使得数据质量1)数据资产门户ANANAM品通市场四全部类型四全部类型政据源(0)四数据表(0)全绝径象经营主题/market数民库者Wayne视图(0)存储过程(2)存储过程(2)业务字典(2)径：经营主题/market展开描述展开描述路径：经营主题/marketing业务词条者：ustin但时间：2018.3.195323数据家表业务字典经营分析日报路径：》经分系统/经营主题/经营分析日报型：数我报表时者：Ken器marketing路径：0sales/statistieymarket具备支持数据大屏的功能，以RestAPI的形式提供数据资产相2)业务目录编目体需求对目录进行编目，并将对应的数据资产放入编目好的目录中.三人三数据库数据服表业务字典华东区辆售博8a华东区19年一手实报表罪上海地区纳售数据责罪无地地区纳儒数据华北区纳告情兄华老区码店镇况华中区辆售博况/业务行电京地区辆售政配8兴型Db2表0Hunter十emaleenuleSuite4801,4thfloor,GaoyangOffce1004.BoruiPluzaA26E3)标签管理Oa产//inorpto/tost名8器型2日tabet88系电空DataCatalog基于机器学习相关技术提供资产相似性分析和数接跳转至该资产的页面浏览。■数据表HuntertaneHuntertane“/N/inurane/delout//cmunjo@血缘分析@血缘分析Thsdatabasecollectsalldatarelatedtotheoplolddrugepidemk.In8拥有者8拥有者Db2表8数监源123/FJingAnKerryCentreTo2Suite4801,4thfioot,GaoyangBuilding.813437/39,ruedeNeuillyBP523/FJingAnKerryCentreTShanghaiXuhuiMddleSchCaygifcationIsformutionofUniProfessionalemploymProleutionulEmploymentPrn天1034)使用教程于教程列表新建教程新建分类目录20ataCxtalog安222日有结过程Xtable_1ddtring0d合CA三方君基t户Ldotaut预消试连接建消试连接建44m述这是一个数据中请这是一段为什么申请执行信8.u国目标数配inceptor2自标洞库database_test3目标数配inceptor2自标洞库database_test3为满足招标书的技术指标，集群系统必须是4台(含4台)以上物理●2颗8核心或以上带超线程x86指令集CPU的服务器(比如五、团队及培训售后服售后服务组数据服务组培训组实施组(1)项目负责人(项目经理1名):受企业法人委托全权负责项(2)技术负责人(1名):负责数据治理工具全过程的技术指导，(3)实施组(2名):基于我公司提供数据治理工具，指导用户(4)培训组(2名):针对招标方不同业务人员，负责数据治理(5)数据服务组(2名):负责配合完成至少两个业务系统的数(6)售后服务组(1名):负责工具售后服务。5.2培训方案对数据治理工具最大的考验之一就是系统使用者对应用软件的理解1)工具原理及需求相关的培训(针对业务分析人员)2)工具原理及需求相关的培训(针对系统管理人员);3)工具部署及技术维护的培训(针对运维管理人员);护经验，主要承担IT运维原理、系统安装部署、日常运营维护、一星环科技为了使用户能够熟练掌握和使用星环大数据平台的开星环科技针对TranswarpDataHub以及ApacheHadoop相关的技基础培大数据生态圈2天训以及原理构架HDFS技术原理、集群架构析培训数据治理工具培训3天数据探索与数用案例3天数据治理案例培训●星环培训课课程表如下：基础培训集群架构技术开发培训数据治理工具包安装培训0.5天提供数据治理工具包的安装、配置、