金证数据中心运维管理平台白皮书

金证数据中心运维管理平台白皮书 金证数据中心运维管理平台产品白皮书WWW.SZKINGDOM.COM2012年目录1. 产品白皮书 31.1. 关于本产品 31.2. 关于白皮书 31.3. 关于阅读者 31.4. 版权声明 31.5. 商标声明 42. 产品简介 42.1. 产品背景 42.2. 产品概述 52.3. 产品总体构成 63. 产品功能 63.1. 元数据管理 63.2. 数据质量管理 73.3. 运维监控 84. 总体技术架构 105. 产品配置 115.1. 服务器环境 115.2. 客户端环境 11产品白皮书关于本产品金证数据中心运维管理平台是针对企业IT环境中备受关注的数据治理问题所提出的一整套端到端的解决方案。数据治理涵盖于企业的整个信息化建设过程，它涉及每个系统，包括所有业务核心系统、数据仓库、CIF、风险管理、合规支持等等，它需要一个统一的管理平台进行管理，其范围涵盖对数据的集成、整合、交换、同步和应用。金证数据中心运维管理平台由元数据管理、数据质量管理和运维监控管理三大模块组成，形成完整的企业数据治理解决方案。关于白皮书本白皮书旨在帮助读者了解产品能力，确定工具平台构建的要素，包含：技术架构、应用构建策略、产品特性、关键技术原理和平台环境等。关于阅读者本手册的目标读者包括企业决策人员、市场分析人员、营销服务人员，以及系统架构人员、应用架构人员、应用开发人员和应用实施人员。除了第一章的特性之外，其他各章节之间的内容是基本独立的。管理人员和决策人员可以浏览各个章节的概述部分来了解整章的内容。业务分析人员可以直接阅读产品特性部分，架构设计人员可以直接阅读应用构建策略和平台环境部分或者架构策略和技术架构部分，应用开发人员可以直接阅读产品特性和关键技术原理部分，应用实施人员可以阅读应用构建策略、产品特性和关键技术原理部分。版权声明本文包含的信息代表金证公司目前对本文所涉及内容的观点，由于用户需求、市场和产品情况的不断变化，本文中的信息并不代表金证公司未来的观点，金证公司不能保证本文信息在未来时间的有效性。本文包含的内容，无论是明确陈述的内容或隐含的内容，都不能理解为金证公司的正式商业承诺。本文包含敏感信息，须限制使用。扩散或复制本文须得到金证公司的书面认可，严禁以任何形式印刷或出版本文的全部或部分内容。本文中提及的有关产品和名称为相应公司或机构的（注册）商标。本文信息若有变动，恕不另行通知。商标声明为金证公司在中华人民共和国国家商标局登记注册的商标，其所有权由本公司合法拥有，受法律保护。未经本公司书面许可或授权，任何单位及个人不得以任何方式或理由对该商标的任何部分进行使用、复制、修改、传播、抄录或与其它产品捆绑使用。侵犯本公司商标权，本公司将依法追究其法律责任。产品简介产品背景长期以来，企业受到“凭经验、靠感觉、轻数据”的工作习惯影响，数据远未发挥其应有价值，数据问题未受到足够重视。虽然开发并应用了多者上百套业务处理系统，产生大量数据，但是这些数据所带来的各种问题却成为企业提高竞争力的巨大障碍。这些问题主要表现在以下4个方面。数据分散、重复、不一致。信息系统的开发和应用按部门开展，各系统的数据定义、数据采集流程自成体系，缺少一致性，形成一个个“信息孤岛”；不能把分散的数据依据其内在逻辑聚集关联成一个完整的数据源，难以建立全面、准确、完整反映企业经营状况的单一数据视图。关键业务数据不准确。前台人员不关心数据质量，其控制未融入到业务流程中；企业缺乏规范的数据质量控制流程和考核机制，数据质量问题不能及时发现并解决。数据处理难以满足需要。交易系统设计侧重于特定功能的实现和处理效率的保证，其数据处理难以满足业务发展、经营决策和管理考核的需要。缺乏数据规划，数据管理成本高。缺乏对数据采集、分布、流转及应用的合理规划，部门间、总分行缺乏数据共享及协调机制。数据需求、数据质量、数据应用等问题的管理和解决分散在不同项目、业务和技术部门，没有一个明确的组织对相关问题提供协调机制和统一的报告渠道，并跟踪解决数据相关问题。上述问题最终导致企业运用数据时，存在大量的数据缺失、重复、矛盾、失真现象。导致花了大代价积累的历史数据不可用、不敢用，无法转化成有用的信息，进而无法对决策、营销、考核等管理工作起到有效支撑。为解决上述问题，企业多年来付出了种种努力，包括信息系统升级改造、数据清洗等，投入大量的人力物力，成本巨大。但由于未采用系统性的管控治理，数据问题并未能从根本上解决，已阻碍了企业管理精细化的进程。显然，企业急需建立一种新的数据管理机制来改善这种状况。金证数据运营平台正是通过从全企业的视角协调、统领各个层面的数据管理工作，建立人、数据、系统之间的和谐关系，保证企业内部各类人员在正确的时间、正确的环境得到正确的数据支持及服务。产品概述数据治理是企业全面的信息技术（IT）管控的一个主要部分，本产品的目标是建立一个元数据管理、数据质量管理和运维监控管理所构成的企业数据管理和控制的完整体系。提升企业整体视角的数据环境规划能力；建立企业视角的通用数据标准提升统一有序的业务系统和信息管理系统的管理能力；建立统一有序的数据仓库系统的管理能力；提升企业信息的质量（可访问性、可用性、正确性、一致性等）；提升数据的安全性（数据、硬件、软件、应用系统、使用者）；提升企业内部不同职能部门之间的共享数据和协同工作能力；增加有效工作时间用于分析数据，减少用于在复杂企业数据环境中搜索数据的时间。产品总体构成金证数据中心运维管理平台包括元数据管理、数据质量管理和运维监控管理三大重点模块。元数据管理：元数据架构、元数据标准、元数据生成获取和维护、元数据存储、整合和共享、元数据查询和报表、数据术语及字典管理、元数据知识库管理数据质量管理：业务数据标准、技术数据标准、数据标准的范围（公共代码标准、通用数据标准、共享数据标准和特定数据标准）；数据质量检核问题查询、数据质量指标趋势分析及报告等。运维监控管理：元数据变化监控，数据质量监控，服务器监控和数据库监控。 产品功能元数据管理元数据管理提供跨工具和应用的企业级的元数据统一视图，提供了清晰定义和分析跟踪业务运作历史数据的实际可行的解决方案。本模块提供企业数据仓库环境内置的元数据类型支持；支持用户按需定制元模型结构，形成统一的元数据模型，特别适合支持业务元数据的管理，同时多样性的类关系管理支持灵活、规范的元数据项关联关系。本模块可连接各种数据源和接口，自动获取元数据，保证了元数据的最新、一致、可用、极大减少人工维护工作量。元数据管理模块包含如下几层架构：数据源层。提供元数据的各个源系统。采集适配器层。通过配置统一的接口配置器，对各个源系统进行元数据采集。元数据存储层。存储从各个源系统中采集到的元数据。应用功能层。元数据的应用功能，包括元数据维护，元数据分析，元数据检索，版本管理，ODS层的快速建立，血缘分析和影响分析等。展现层。为应用功能提供统一展现。数据质量管理数据质量管理模块分为数据标准管理和数据质量分析两部分。数据标准管理：检核指标的配置。配置相关的技术和业务指标对仓库中的数据进行质量检查。检核指标执行。解析检核指标的规则并执行。检核指标的调度。完成对检核指标的调度，可设为定时触发和手工触发。数据质量分析：检核问题查询。查询检核指标执行后产生的检核问题。检核日志查询。查询检核指标执行的日志。指标趋势分析。分析检核指标的结果异常率趋势。单表数据分析。分析单表的检核结果异常率。问题处理率分析。分析检核异常结果的处理率。数据质量报告。根据数据质量检核的结果生成数据质量报告。运维监控通过监控模块，可以对包括BI系统在内的大型数据库应用系统进行有效的实时监控。通过数据集中监控，可以对数据的整体处理流程进行定量把握；将元数据管理和数据质量管理程序化和流程化；用户可以对处理过程实施监控，对于数据异常能够及时得到告警信息和错误报告。本模块分为四部分内容：元数据变化监控。通过监控元数据的变化，使得管理维护人员能及早的发现源系统的结构变化，从而修改相应的ETL程序。定期发送元数据版本变化报告。数据质量监控。通过监控检核指标的运行结果，发现数据质量问题，及早反馈、解决，避免数据质量问题的扩散。定期发送质量检核报告。服务器监控。监控服务器的状态，包括CPU利用率、IO压力、内存利用率和网络压力。数据库监控。监控各个系统的数据库状态，包括表空间每日增长情况、表空间统计信息、表空间使用情况。结合服务器监控信息定期发送性能优化报告。总体技术架构系统层次：1、源系统层，为运维平台提供数据。2、资料库，通过JDBC、SQLXML、SDKAPI和文本文件从源系统获取数据，包含了存储大量数据处理逻辑的LBM和存储过程。3、系统核心层，通过BP/XP调用资料库中的LBM和存储过程，并完成业务功能的处理，之后用4种前段技术进行统一展现。4、展示媒介，浏览器、邮件、短信平台等。关键技术LBM：通用的逻辑处理功能模块。KCXP/KCBP：金证通讯中间件和业务中间件层，是调用后台业务的通道C3P0：检核任务调度器的数据库连接池。KDE：核心处理模块，由多个java类组成，并包含与KCXP通讯的JNI的调用和JNI的连接池。产品配置服务器环境

组件要求处理器推荐2CPU，P4以上内存最低2G，推荐4G以上磁盘空间300MB操作系统Windows2000/2003/2008HP-UNIXLinuxAIX网络连接TCP/IP应用服务器Tomcat3.2.6以上WebSphere6.1应用服务器标准版或企业版或以上BEAWebLogic9.0或以上关系数据库服务器OracleDB2TeradataMicrosoftSQLServerInformixSybaseMySQL客户